Четыре поста на Хабре про А/Б-тестирование 🆎
Первые три — с видео!
В одном из наших недавних текстов (https://ya.cc/7UNzW) мы подробно рассказывали про А/Б-эксперименты. Они нужны для проверки изменений на сервисах — сначала новую версию видит лишь небольшая часть пользователей, и по их реакции команда принимает решение о публикации на всю аудиторию. Чтобы ещё лучше разобраться в сути А/Б-тестирования, прочитайте эти материалы специалистов из разных уголков Яндекса, опубликованные на Хабре.
1. Как у нас устроено A/Б-тестирование
https://habr.com/ru/company/yandex/blog/342704/
Материал 2017 года, где разработчики Сергей Мыц и Данил Валгушев описывают нашу инфраструктуру экспериментов (ту версию, которая использовалась тогда). Сейчас отдельные блоки поменялись, но основная методика осталась прежней. Вы узнаете, как команды сервисов Яндекса в единой системе тестируют апдейты и управляют ходом эксперимента.
2. Инфраструктура А/Б-экспериментов в большом Поиске
https://habr.com/ru/company/yandex/blog/465929/
Яндекс.Поиск — многомиллионный сервис, в котором результатам A/Б-тестов уделяют максимум внимания. Одной из групп поисковых интерфейсов управляет Алексей Хохулин. В конце лета Лёша прочитал доклад об экспериментах, которые проводит он и его команда в процессе развития поисковой выдачи. Видео выступления Лёши уже встречалось в одной из наших подборок — мы ссылке вы можете почитать подробный конспект.
3. Как Браузер для iOS А/Б-тестирование улучшал
https://habr.com/ru/company/yandex/blog/475012/
А вот как общую А/Б-методику адаптируют под себя создатели мобильных приложений. iOS-разработчики сталкиваются с ограничениями, которые накладывает Apple, а в Браузере специфика продиктована ещё и связкой с проектом Chromium. Руководитель бригады разработки iOS-версии Браузера Андрей Сикерин объяснил, как ребята обратили зависимость сразу от двух платформ себе в плюс и построили гибкую систему тестов.
4. Множественные эксперименты: теория и практика
https://habr.com/ru/company/yandex/blog/476826/
Но кто сказал, что нельзя сравнивать больше двух решений одновременно, если у команды остался ресурс на разработку? Способы есть, просто они более сложные — и достойны отдельной хабрастатьи. Автор — Дарья Чиркина, аналитик подразделения ИТ-инфраструктуры Яндекса. В статье Даша постепенно переходит от теории к коду, показывая, как реализовать множественный эксперимент с помощью Python.
