В прошлом уроке у «Гонца» был один источник: рабочая база приложения. Но Отто хочет знать, почему в снег курьеры опаздывают, а погоды в базе приложения нет. Рестораны-партнёры присылают свои меню и цены файлами. А приложение курьера каждые десять секунд шлёт координаты. Данные приходят отовсюду и в разном виде, и прежде чем строить пайплайн, их надо разглядеть.
Склад и поставщики
Представь склад магазина. Молоко привозит молокозавод каждое утро в ящиках. Хлеб пекарня два раза в день, на тележках. Мелкий фермер раз в неделю, как придётся, и иногда путает накладные. А товар со склада уезжает в магазины, в интернет-заказы и обратно поставщикам на возврат.
Кладовщик не может принимать всех одинаково. Он знает, когда приходит каждый поставщик, сколько привозит, кому звонить, если накладная не сходится, и как понять, что из привезённого новое.
Дата-инженер это кладовщик. Поставщики это источники, магазины это приёмники.
урок из курса
Урок из курса «Data Engineering». Курс покупается один раз и остаётся навсегда: 500 ₽.
Оплата пока не подключена: премиум и курсы открываются промокодом.