Финальный босс, часть 3: дашборд и записка Фрее

Фрея · риск-менеджер необанка «Монетка»

Цифры я видела. Завтра правление: мне нужен дашборд, который я покажу, и одна страница с решением, под которой я подпишусь.

Это последняя часть финального босса. В разведке мы почистили тест, в бою посчитали эффект и деньги. Осталась фаза 3, трофей: дашборд на четыре карточки с параметром периода, как в уроке про параметры, и записка с решением в формате урока 57.

Фаза 3. Трофей

Дашборд для одного читателя

Фрея не будет крутить двадцать фильтров. Ей нужно за минуту увидеть ответ и показать его правлению. Поэтому, как учил урок про дашборд, каждая карточка отвечает на один вопрос, и порядок карточек повторяет логику рассуждения:

1. Траты в кафе на клиента по неделям. Сработал ли стимул? Линия теста выше контроля в 13 неделях из 14.
2. Все траты на клиента по неделям. Вырос ли оборот? Линии переплетаются: не вырос.
3. Выплаты кешбэка по месяцам. Сколько это стоило? У теста столбцы вдвое выше: около 150 тысяч ₽ в месяц против 80 тысяч.
4. Чистая выручка банка на клиента за период. Итог: тест в минусе, контроль в плюсе.

У всех карточек один параметр, период. Он подставляется в запросы как $period_from и $period_to (значения приходят в базу отдельно от SQL, как в уроке про параметры), поэтому все четыре карточки всегда считают один и тот же отрезок, и цифры между ними сходятся. Чистка та же, что в бою: двойные клиенты исключены, только approved, без фрод-магазина, на клиента делим размер всей группы.

Есть оговорка: выплаты кешбэка в базе помесячные. Если выбрать период с середины месяца, карточка выплат покажет весь месяц, а траты только его часть. Поэтому смотреть экономику имеет смысл целыми месяцами; в записке это одно из ограничений.

Самый сильный кадр получается, если переключить период на январь-март, до теста: чистая выручка на клиента 113 ₽ у будущего теста и 117 ₽ у контроля, почти одинаково. С 1 апреля тест уходит в минус 106 ₽, контроль остаётся на 120 ₽. Это и есть эффект кешбэка в одной картинке.

Записка

Записка для правления строится как новость: вывод первым, потом три-четыре цифры, которые его доказывают, потом рекомендация, в конце ограничения. Никаких «сначала мы почистили данные». Ход работы интересен аналитику, читателю нужно решение.

У нашего вывода две половины, и обе важны. Кешбэк работает как стимул: траты в кафе выросли на 18,6%, и это не случайность. Кешбэк не работает как бизнес: оборот не вырос, и банк теряет на каждом клиенте теста 226 ₽ за квартал по сравнению с контролем. Записка, где есть только первая половина, приведёт к раскатке и убыткам. Записка, где есть только вторая, выбросит рабочий инструмент вместо того, чтобы его починить.

Что можно предложить вместо «закрыть»? Это решать продукту, но аналитик называет рычаги, которые видны в данных: кешбэк за счёт партнёров-кафе, а не банка; меньшая ставка или меньший лимит; кешбэк только за траты сверх обычного уровня клиента. Любой вариант стоит проверить новым тестом с той же главной метрикой.

Перед отправкой пройди чек-лист из урока про ловушки данных: все ли болячки финала учтены в цифрах записки, от двойных клиентов до фрод-магазина. Одна пропущенная чистка, и правление увидит «+10%» продукта вместо настоящей картины.

Ограничения в нашей записке: ставка комиссии 1,5% это допущение, а не данные; тест шёл один квартал, долгий эффект неизвестен; выплаты помесячные.

Ошибка аналитика