Флакость как вероятность: считать, а не гадать

Тимур · бэкенд, #qa-antrakt

test_pay_three_ds моргает, но редко. Раз в неделю, может, реже. Не стоит он того, чтобы тратить на него день.

Савва · продакт, #qa-antrakt

«Редко» это сколько? Мне на планировании нужно число, а не ощущение.

Вера Ланская · лид QA, #qa-antrakt

Числа есть: CI хранит каждую попытку каждого теста за полгода. Посчитай флакость пяти самых красных тестов, и с интервалом. Если число по десяти прогонам, а интервал от нуля до сорока процентов, это тоже ответ: «не знаем, нужно больше прогонов».

В прошлом уроке мы разобрали, почему тесты моргают. Сегодня научимся мерить, насколько. Без числа нельзя ни расставить приоритеты, ни понять, помогла ли починка.

Монетка с подвохом

Тебе дали монетку и спросили: честная ли? Ты подбросил три раза, выпало два орла. Сказать «орёл выпадает в 67% случаев» формально можно, но смешно: три броска почти ничего не говорят. Подбросишь сто раз, выпадет 52 орла, и уже можно сказать «примерно половина, плюс-минус десять».

Теперь монетка хитрее: решка выпадает раз в сто бросков. Чтобы увидеть хотя бы одну решку, бросать надо сотни раз, а чтобы отличить «раз в сто» от «раз в тысячу», тысячи. Флакость теста это ровно такая монетка. Решка это ложное падение, и выпадает она редко. Поэтому важно не только число, но и то, насколько мы в нём уверены.