Инженерия данных. Паттерны проектирования
| ISBN | 978-601-12-9089-0 |
| Количество страниц | n/a |
| Формат издания | n/a |
| Печать | Черно-белая |
Бартош Конечны
Основополагающая книга по паттернам проектирования систем инженерии данных. Рассматриваются различные шаблоны и рецепты для решения типичных задач в области инженерии данных, организации конвейеров данных, очистки, классификации и отслеживания данных в высоконагруженных системах. Материал сопровождается архитектурными диаграммами и минимальными примерами кода, иллюстрирующими каждый паттерн.
Для специалистов в области данных
Проекты, связанные с обработкой данных, сегодня являются органичной частью любой технической экосистемы. Но во многих компаниях специалисты по инженерии данных занимаются решением проблем, которые уже решены. В этом прикладном руководстве показано, как предоставлять максимально ценные данные, фокусируясь на различных аспектах инженерии данных, а именно: поглощении данных, качестве данных, идемпотентности и многих других.
Автор от начала и до конца демонстрирует весь цикл создания надежного проекта в области инженерии данных, от сбора данных до их мониторинга. В книге собраны реальные паттерны проектирования, то есть, предложены способы решения типичных бизнес-задач. Применяя паттерны, можно добиться безопасной работы с учётом оптимального расхода дискового пространства. При разборе каждого паттерна проблема описывается с точки зрения пользователя, далее предлагается ее решение и рассказывается о результатах применения каждого паттерна в реалистичных сценариях.
Работая с книгой, вы будете пользоваться инструментарием для обработки данных с открытым исходным кодом и общедоступными облачными сервисами. Вы узнаете:
• С какими вызовами приходится сталкиваться дата-инженеру, и как они сказываются на проектируемых системах
• Как эти вызовы соотносятся с различными компонентами систем обработки данных
• Полезные примеры применения паттернов инженерии данных
• Как выявлять и решать проблемы, возникающие в уже имеющихся компонентах данных
• Решения, применимые с различными технологиями, как для новых, так и уже существующих проектов обработки данных, сопровождаемые примерами реализации с открытым исходным кодом
