Главная
/
Каталог
/
Инженер данных (Data Engineer)

Инженер данных (Data Engineer)

Научитесь создавать инфраструктуру для работы с большими данными

140 000
Инженер данных (Data Engineer)
Формат обучения
Онлайн (с преподавателем)
Длительность программы
10 месяцев
Занятость
2-4 раза в неделю по 4 ак. часа

Инженер данных (Data Engineer) занимается разработкой и обслуживанием инфраструктуры для сбора, обработки, хранения и анализа больших объёмов данных. Он создаёт и настраивает инструменты для сбора, сортировки и передачи данных, поддерживает существующие базы данных и оптимизирует их производительность.

  1. Диплом Санкт-Петербургского политехнического университета Петра Великого — ведущего вуза страны
  2. Преподаватели-практики с большим опытом
  3. Практико-ориентированные предметы, самые важные и необходимые знания для специалиста

Кому подойдет программа

IT-специалистам

Чтобы расширить профессиональные горизонты, основы администрирования операционных систем Linux, научиться использовать язык SQL и PL/pgSQL для работы с БД PostgreSQL, получить навыки по администрированию СУБД PostgreSQL.

Что вы будете уметь по окончании программы?

1
Проектирование и разработка хранилища и витрин данных.
2
Организация сбора данных. Данные из множества различных источников должны попадать в общее хранилище.
3
Организация очистки данных: удаление дубликатов, выявление и устранение ошибок.
4
Организация структуры данных, пригодной для аналитики.
5
Проектирование и реализация ETL/ELT pipeline для загрузки данных и их движения между инструментами.
6
Обновление используемых инструментов и поиск способов повышения эффективности и автоматизации существующих процессов.

Специальности и направления деятельности выпускников программы

Junior Data Engineer

Программа

Проектирование хранилищ данных
36

Тема 1. Введение в специальность.
Тема 2. Введение в архитектуру хранилищ данных.
Тема 3. Классические методологии моделирования данных для хранилищ данных.
Тема 4. Современные гибкие подходы к проектированию хранилищ данных.
Тема 5. Разработка стратегии резервного копирования и восстановления хранилища данных.

Реализация хранилища данных на базе СУБД ClickHouse
40

Тема 1. Введение в ClickHouse.
Тема 2. Создание таблиц БД.
Тема 3. Партиционированные таблицы.
Тема 4. Манипулирование данными в ClickHouse.
Тема 5. Aналитические функции.

Проектирование и реализация ETL/ELT пайплайнов
40

Тема 1. Введение в ETL/ELT.
Тема 2. Введение в Airflow.
Тема 3. Работа с источниками данных.
Тема 4. Брокер сообщений Kafka.
Тема 5. Обработка больших данных с помощью Spark.
Тема 6. Введение в очистку и подготовку данных. Мониторинг данных и системы.

Визуализация и анализ данных
44

Тема 1.    Введение в аналитику.
Тема 2.    Что такое BI.
Тема 3.    Основы статистики.
Тема 4.    Базовые принципы визуализации данных.
Тема 5.    Введение в Real-time аналитику.

Учебный модуль «Проектная работа»
40

Тема 1.    Сбор требований по проекту.
Тема 2.    Формулирование требований (описание целевого дашборда).
Тема 3.    Исследование источников данных.
Тема 4.    Выработка целевого решения.
Тема 5.    Разработка требований к ETL процессу.

Диплом о профессиональной переподготовке Санкт-Петербургского политехнического университета Петра Великого

Документ об окончании курса

Санкт-Петербургский политехнический университет Петра Великого — крупнейший технический вуз страны, опирающийся на традиции сильнейших научных школ, создающий прорывные технологии для российской экономики и промышленности. В рейтинге университетов России СПбПУ неизменно занимает ведущие позиции. Политехнический университет стремится с максимальной ответственностью реализовывать ключевую цель в сфере высшего образования — создание новой экономики: экономики знаний, лидерства и инноваций. И ключевым звеном здесь становятся высококвалифицированные кадры, владеющие передовыми мировыми технологиями, способные решать новые комплексные задачи промышленности и готовые вывести российскую экономику на новый уровень развития.

Мы всегда на связи
Румянцева Екатерина
Румянцева Екатерина
Специалист