Блок L закончился: стенд держит нагрузку, права проверены, ломающие изменения API ловятся по диффу. Савва радуется и хочет понять, как всё это измерить. Вопрос честный: команде нужно видеть, становится ли лучше. И страх за ним тоже честный: в ночь продаж Савва будет смотреть не в код, а в цифры на стене, и по ним решать, спать ему или отвечать на письма зрителей.
Но у метрик качества есть неприятное свойство. Савва пока считает, что 100% покрытия значит 0 багов, а за три недели до ночи такая цифра может успокоить ровно тогда, когда надо тревожиться. Сегодня разберём это свойство, прежде чем вешать цифры на стену.
Книга жалоб
В фойе театра лежит книга жалоб. Директор решает: администратору смены премия, если за месяц в книге ни одной записи. Через месяц записей ноль. Зрители не стали довольнее. Просто книгу убрали из фойе в ящик стола, а на вопрос «где книга?» администратор отвечает «сейчас поищем».
Число записей было хорошим признаком, пока за ним никто не охотился. Как только оно стало целью, оно перестало что-либо сообщать о зрителях.
Это закон Гудхарта. Экономист Чарльз Гудхарт сформулировал его в 1975 году про денежную статистику, а самую известную короткую форму дала антрополог Мэрилин Стратерн: когда мера становится целью, она перестаёт быть хорошей мерой.
урок из курса
Урок из курса «Автотестирование с нуля». Курс покупается один раз и остаётся навсегда: 500 ₽.
Оплата пока не подключена: премиум и курсы открываются промокодом.