Шарды, матрицы и отчёты: e2e на четырёх машинах и итог прямо в PR

Ника · фронтенд, #qa-antrakt

Честно: я перестала ждать e2e. Они идут 36 минут, я мержу после юнитов и API, а e2e досматриваю, если вспомню.

Оля · DevOps, #qa-antrakt

Дам четыре машины на e2e. Будет 10 минут.

Вера Ланская · лид QA, #qa-antrakt

Будет, если разложить честно. Четыре машины не значат «вчетверо быстрее»: прогон закончится, когда закончит самая медленная. И ещё: когда e2e упадут на третьей машине, Ника должна увидеть это в PR, а не искать по четырём логам.

После прошлого урока у каждой job свой стенд. Значит, e2e можно гонять на нескольких машинах сразу: им не на чем мешать друг другу. Осталось решить, как разложить тесты и как собрать результат обратно в одно место.

Четыре кассы

В супермаркете открыли четыре кассы вместо одной. Очередь из сорока человек должна рассосаться вчетверо быстрее. Но если покупателей раздавать по кассам строго по очереди, первый, пятый и девятый, может случиться так, что к одной кассе попадут три тележки с недельными закупками, а к соседней люди с бутылкой воды. Соседняя касса закроется через пять минут, а эта будет работать полчаса. Магазин закроется, когда закончит последняя касса.

Тесты на машинах устроены так же. Один e2e «оплата с 3-D Secure» с ожиданием вебхука идёт полминуты, а «страница входа доступна» идёт две секунды. Делить надо не по штукам, а по секундам.