[SkillFactory] Профессия Data Engineer

Robot · 13 Авг 2021

Упоминание Data Engineer как профессии выросло на 88% за 2 года
Средний уровень окладов — 180 000Р/месяц
Программа курса:

Спойлер: 1. Введение
• Профессия Data Engineer
• Обзор задач, которые решает Data Engineer
• Обзор инструментов
• Будущее Data Engineering

Спойлер: 2. Хранилища данных
• Реляционные базы данных и основы SQL
• Data Warehouse (DWH) и его эволюция
• Data Lake
• Data Lineage, Data Governance

Спойлер: 3. Экосистема Hadoop
• Обзор Hadoop
• Погружение в HDFS
• Map Reduce и его альтернативы
• Погружение в Yarn и Hive
• Apache Spark
• Обзор Zookeeper, Sqoop, Impala, Hue, HBase

Спойлер: 4. Python
• Введение в программирование на Python
• Основы синтаксиса
• Практика программирования

Спойлер: 5. Пайплайны данных
• Что такое ETL-процессы?
• Apache Airflow
• NiFi и Kafka
• Работа со слабо структурированными данными
• Загрузка данных из web
• noSQL хранилища (MongoDB, Cassandra)
• Cхемы данных (снежика, датасет, датаволт)

Спойлер: 6. Cloud-платформы
• Работа с Amazon, Google, Microsoft, Yandex
• Практика с aws-cli, boto3, Google Composer
• Сравнение производительности