Окружения: dev, stage, превью веток, флаги функций и тестовые данные на общем стенде

Савва · продакт, #qa-antrakt

На stage лист ожидания работал, я сам проверял. В проде первый же зритель получил 500. Зачем нам stage, если он врёт?

Оля · DevOps, #qa-antrakt

Stage не врёт, он другой. На нём флаг waitlist включён месяц, а в проде его включили вчера вместе с флагом new-checkout. Вместе они на stage ни разу не жили.

Ника · фронтенд, #qa-antrakt

А ещё на stage кто-то гоняет автотесты, которые удаляют пользователей. Я вчера полчаса искала, куда делся мой тестовый организатор.

Вера Ланская · лид QA, #qa-antrakt

Это моё упущение: мы перенесли тесты в CI, но так и не договорились, какой тест где живёт. Давайте разложим окружения и решим, что в каждом проверяем и что там запрещено.

В уроке 100 автотесты переехали с общего стенда в job, и ночная война за базу закончилась. Но общие окружения никуда не делись: на них живут ручные проверки, демо, интеграции с партнёрами и последняя проверка перед выкладкой. Сегодня рисуем карту: какие окружения бывают, чем они отличаются от прода и какой тест где уместен.

Репетиция, прогон, премьера

В театре спектакль не выходит на сцену сразу. Сначала актёры репетируют в классе: без декораций, в своей одежде, по кускам. Потом прогон на сцене в костюмах и со светом, но без зрителей. Потом генеральная репетиция: всё как на премьере, иногда даже с приглашёнными зрителями. И только потом премьера.

На каждом этапе ловят своё. В классе ловят, что актёр не знает текст. На прогоне ловят, что декорация не успевает уехать за кулисы. На генеральной ловят, что свет слепит третий ряд. Ни один этап не заменяет другие, и ни один не похож на премьеру полностью: в классе нет света, а на генеральной нет полного зала. Окружения устроены так же.