Возвращаемость в Пробках

Предположим, что вы руководите Пробками в Яндекс.Картах. Вы увидели, что показатель возвращаемости пользователей к этой функциональности на веб-сервисе maps.yandex.ru снизился с 50% до 28%. Приведите список гипотез, объясняющих, с чем может быть связано такое изменение, и механику, по которой вы будете их проверять.

Если при выполнении задания вам нужно опереться на какую-то дополнительную статистику сервиса – укажите, какие именно показатели вы бы смотрели и почему, а также какие выводы вы бы получили при том или ином значении.

 

Для того, чтобы было проще придумывать гипотезы и не оставлять слепых пятен, разобьём все возможные причины в зависимости от их источника:

  1. Данные — ошибки в данных или их интерпретации.

  2. Компания — действия нашей компании.

  3. Другие агенты — действия конкурентов, СМИ и других компаний и людей.

  4. Среда — события и изменения в среде: обществе, погоде, экономической ситуации, законодательстве и прочем.

В задании не уточнено за какой период рассматривается возвращаемость. Исходя из цикла использования Яндекс.Карт, я решил, что это должна быть неделя или месяц.

Данные

  1. Отчётный период ещё не закончился, ещё не все пользователи успели зайти на сайт. Посмотреть, какой период имеется в виду и закончился ли он.

  2. Счётчики не работали какое-то время или функционал был недоступен. Проверить, были ли жалобы на недоступность сервиса; нет ли аномальных падений в статистике просмотра пробок.

  3. Между периодами поменялось определение возвращаемости или понятия, из которого оно выводится. Например, раньше учитывалось любое посещение сайта, а теперь только посещения дольше десяти секунд. Узнать у коллег, не было ли подобных изменений.

  4. Был заблокирован доступ с ряда IP-адресов, так как пользователи с этих адресов вели себя как боты. Узнать у коллег, не было ли подобных блокировок и были ли они достаточно массовые, что объяснит это падение.

Компания

  1. На сайте поменялся интерфейс или изменилось поведение сайта:

    • Например, кнопка «показать пробки» переместилась и стала менее заметной.

    • Или раньше при открытии Яндекс.Карт пробки отображались или не отображались как в прошлую сессию, а теперь их нужно каждый раз включать.

    Узнать, были ли изменения и, если да, совпадает ли падение в использовании пробок со временем, когда изменения были введены.

  2. Канибализация другим продуктом Яндекса

    • На главной Яндекса или на табло в Яндекс.Браузере теперь размещается больше информации о пробках и люди меньше заходят за ней на сайт Яндекс.Карт.

    • У мобильных приложений Яндекс.Карт появились виджеты или сильно упростился доступ к информации о пробкам по пути домой или на работу.

    Узнать были ли такие изменения и как изменилась статистика просмотра пробок среди людей, зашедших с главной и через Яндекс.Браузер; стали ли люди, залогиненные одновременно в мобильных приложениях Яндекс.Карт и на сайте, меньше просматривать пробки на сайте? Также на это могло повлиять не появление этих функций у мобильных приложений, а активное продвижение этих функций или самих мобильных приложений.


Другие агенты

  1. Часть пользователей попадает на maps.yandex.ru введя в поиске «пробки»; в интернете появился сайт, который обходит Яндекс.Карты в поиске Яндекса или Гугла (и возможно выдаёт себя за сайт Яндекса); вместо сайта Яндекс.Карт люди стали смотреть пробки через этот сайт.

Проверить, какие результаты выдаются в Яндексе и Гугле на запросы, связанные с пробками; узнать, какой процент пользователей, просматривающих пробки на сайте сейчас и раньше, попадали на сайт через поисковый запрос.

Среда

  1. Возможно это была праздничная неделя, следовательно:

  • Люди меньше ездили на автомобилях (и соответственно, меньше проверяли пробки)

  • Те, кто ездили, меньше проверяли пробки, так как рассчитывали, что их не будет

  • Те, кто проверяли пробки, меньше делали это с рабочих компьютеров, как неделей раньше, так как не выходили на работу, и их просмотры не влияли на возвращаемость.


Проверить, не было ли праздников, было ли меньше пробок и как изменилось использование Яндекс.Навигатора. Подождать неделю несколько недель и посмотреть, не вернулась ли ситуация в норму.

Примечания

  • Заранее выписать все гипотезы и проверять только их — не лучшая стратегия. Сначала лучше погрузиться в контекст.

    • Насколько аномальная величина 50%?

    • Давно ли она на таком уровне и насколько резко стала такой?

    • Насколько аномальное значение 28%?

    • Был ли показатель когда-либо на таком уровне и когда?

    • Были ли подобные падения раньше?

    • Какое самое сильное падение было до этого и чем оно было обусловлено?

    • Наблюдались ли падения ранее (возможно, менее сильные) в этом же сезоне (например, если это неделя после Нового года) или при похожих обстоятельствах (например, при аномальной метели и пробок)?

    • В каких регионах изменение было наиболее сильное и какие проценты от общих изменений пришлись на них?

    • С каких источников чаще всего попадают на сайт и как изменилось возвращаемость для каждой из них?

    • Как изменялась частота просмотра пробок в течение рассматриваемого периода; был ли какой-то заметный провал или момент после которого использование стало снижаться?

    • Что пишут пользователи в службу поддержки и в социальных сетях?

    • Какие в последнее время были изменения в продуктах Яндекса, связанных с Яндекс.Картами?

    • Какие были новости у конкурентов?

    • Как изменялась ситуация стране?

    После ответа на эти вопроса многие возможные гипотезы сразу отпадут, но, вероятно, возникнут и новые — которые нельзя предугадать заранее.

  • Если ни одна гипотеза не подтвердится, можно пойти на крайнюю меру и попытаться найти решение через краудсорсинг, создав вакансию с соответствующим вопросом в тестовом задании.