Идемпотентность и повторные запуски

Ночью 3 октября загрузка «Гонца» упала на последней минуте: сеть моргнула, и Airflow, как мы и настроили, повторил задачу. Утром Отто увидел, что 3 октября «Гонец» заработал в два раза больше обычного. Никакого чуда: повтор дописал заказы дня во второй раз. А через неделю бухгалтерия попросит перезалить первую неделю октября, и это будет третий раз. Повторы и перезаливки у дата-инженера случаются постоянно, поэтому каждая задача должна их переживать.

Кнопка лифта

Ты вызываешь лифт и жмёшь кнопку. Лифт не едет, и ты жмёшь ещё три раза. Приедет всё равно один лифт: повторное нажатие ничего не меняет, кнопка уже горит.

А теперь представь, что каждое нажатие вызывает отдельный лифт. Нервный пассажир собрал бы у своего этажа все лифты дома.

Кнопка лифта идемпотентна: сколько ни нажимай, результат один. Задача пайплайна должна быть такой же: запусти её за 3 октября один раз или пять, в хранилище окажутся одни и те же заказы.

Посмотри сам

Две загрузки одного дня, 1 июня, обе запущены дважды. Первая просто дописывает строки. Вторая сначала удаляет строки своего дня, потом вставляет заново, и всё это в одной транзакции.

Загрузка дня, запущенная дважды

База · courier

На весь экран

ТаблицыВыбери таблицу

DROP TABLE IF EXISTS fact_naive; DROP TABLE IF EXISTS fact_safe; CREATE TABLE fact_naive (order_id int, day date, price_rub numeric); CREATE TABLE fact_safe (order_id int, day date, price_rub numeric); -- Дописать: запуск и его повтор INSERT INTO fact_naive SELECT id, created_at::date, price_rub FROM orders WHERE created_at >= '2026-06-01' AND created_at < '2026-06-02'; INSERT INTO fact_naive SELECT id, created_at::date, price_rub FROM orders WHERE created_at >= '2026-06-01' AND created_at < '2026-06-02'; -- Удалить день и вставить заново: запуск и его повтор BEGIN; DELETE FROM fact_safe WHERE day = '2026-06-01'; INSERT INTO fact_safe SELECT id, created_at::date, price_rub FROM orders WHERE created_at >= '2026-06-01' AND created_at < '2026-06-02'; COMMIT; BEGIN; DELETE FROM fact_safe WHERE day = '2026-06-01'; INSERT INTO fact_safe SELECT id, created_at::date, price_rub FROM orders WHERE created_at >= '2026-06-01' AND created_at < '2026-06-02'; COMMIT; SELECT (SELECT count(*) FROM fact_naive) AS naive_rows, (SELECT sum(price_rub) FROM fact_naive) AS naive_revenue, (SELECT count(*) FROM fact_safe) AS safe_rows, (SELECT sum(price_rub) FROM fact_safe) AS safe_revenue;

Загружаю редактор…

ВыполнитьОткрыть базуСбросить базуВернуть запрос

База загрузится, когда ты выполнишь запрос или откроешь таблицы.

РезультатГрафикДанныеСтруктура

Выполни запрос, чтобы увидеть результат.

Выполни весь запрос кнопкой или Ctrl/Cmd+Enter. Ctrl+Space открывает подсказки. Можно писать несколько команд через точку с запятой, менять данные и открывать транзакции. У каждой песочницы своя база, изменения живут до ухода со страницы. «Сбросить базу» возвращает учебные данные, но не меняет SQL.

В наивной таблице 666 строк и выручка 141 390 рублей, ровно вдвое больше настоящей. Во второй 333 строки и 70 695 рублей, сколько бы раз ни выполнить блок между BEGIN и COMMIT. Попробуй скопировать его ещё пару раз и проверь.