Где живут данные

Бран · продюсер «Хроник Пограничья»

Мне программисты дали доступ к «боевой базе», говорят, там всё есть. Подключись и посчитай выручку за полгода, это же один запрос?

Звучит заманчиво: вот база, вот запрос, вот ответ. Но в прошлом уроке мы видели, что аналитик отвечает за решения, а не за скорость нажатия кнопки. Сегодня разберёмся, где живут данные компании, чем «боевая база» отличается от хранилища и почему аналитику в неё лучше не ходить. В конце ответим Брану.

Касса, бухгалтерия и камера

Представь магазин. На кассе стоит компьютер, который пробивает чеки. Ему нужно одно: быстро записать покупку и выдать чек, пока покупатель не ушёл. Раз в день данные с кассы уезжают в бухгалтерию, где их складывают в большие папки, по которым удобно считать итоги месяца. А под потолком висит камера и пишет всё подряд: кто подошёл к полке, кто взял товар и положил обратно.

В игровой студии есть все три места.

Боевая база

Касса это продовая база, на сленге «прод» (от production). В неё пишет сама игра: игрок зарегистрировался, создал персонажа, купил сундук. Она хранит текущее состояние: сколько золота у персонажа сейчас, какой у него уровень.

У продовой базы одна задача: за миллисекунды отвечать игре, пока игрок нажимает кнопки. Таких систем ещё называют OLTP: много мелких быстрых операций.

Почему аналитику туда не надо:

• Тяжёлый запрос тормозит игру. Посчитать выручку за полгода значит перебрать миллионы строк. Пока база это делает, игроки ждут, когда откроется магазин.
• Данные меняются под ногами. Уровень персонажа в проде это уровень сейчас. Каким он был месяц назад, прод не помнит.
• Риск сломать. Одна случайная команда, и в боевой базе пропадут покупки живых людей.

Хранилище

Бухгалтерия это хранилище данных (data warehouse, DWH). Это отдельная база, куда инженеры данных регулярно, например каждую ночь, копируют данные из прода и других систем. Там хранится история, таблицы устроены для подсчётов, а тяжёлый запрос аналитика никому не помешает.

Такие системы называют OLAP: мало, но тяжёлых запросов по большим объёмам. Здесь и работает аналитик.