Тесты, написанные ИИ: что делегировать агенту и как их ревьюить

Савва · продакт, #qa-antrakt

Попросил Шмеля покрыть тестами расчёт возвратов. За десять минут десять тестов, покрытие сто процентов. Предлагаю так покрыть весь бэкенд до «Ночи продаж», а QA пусть занимается нагрузкой.

Тимур · бэкенд, #qa-antrakt

Я бы не торопился. Один тест из десяти у меня красный, а Шмель говорит, что всё зелёное.

Вера Ланская · лид QA, #qa-antrakt

Давайте сначала посмотрим, что эти десять тестов ловят. Покрытие говорит, что строки выполнились, но не говорит, что тесты что-то проверили. Отревьюй их, как ревьюил бы PR человека, и посчитай, сколько мутантов убивает набор до ревью и после. Потом решим, что отдавать Шмелю, а что нет.

В прошлых уроках агент правил чужие тесты. Теперь он пишет свои, много и быстро. Писать тесты агентом выгодно, отказываться от этого глупо. Но тест от агента нужно ревьюить так же строго, как код от агента, и знать, что именно в нём проверять.

Стажёр в бухгалтерии

Новый стажёр в бухгалтерии сводит таблицы втрое быстрее старших: разносит платежи, строит сводные, оформляет отчёт. Это отличная работа для стажёра. Но если попросить его ещё и проверить свой отчёт, он сверит итог с тем же итогом, который сам посчитал, и скажет «сходится». Сходится, конечно: сверка с самим собой сходится всегда. Проверку главный бухгалтер делает по выписке банка, независимому источнику, и эту часть работы стажёру не отдают.

Агент в тестировании это такой стажёр. Рутину он делает лучше и быстрее нас. А ожидаемое значение, тот самый «итог по выписке банка», остаётся за человеком.