Данные и аналитика
Инженер данных
Делает данные доступными, свежими и надёжными: строит хранилище, загрузку и обработку.
Открыть интерактивный профильуровни, самопроверка, сравнение
Где работают
- Продуктовые IT-компании
- Банки
- Телеком
- Ритейл
Типичные задачи
- Подключить новый источник данныхНастроить загрузку данных из источника в хранилище.Стандартная · с уровня Junior
- Построить пайплайн обработки данныхСобрать обработку с проверками, повторами и мониторингом.Комплексная · с уровня Middle
- Разобрать сбой загрузки данныхНайти причину, восстановить данные и предотвратить повтор.Комплексная · с уровня Middle
- Настроить потоковую обработку событийОбрабатывать события в реальном времени без потерь и дублей.Комплексная · с уровня Middle
- Оптимизировать стоимость и скорость обработкиПерестроить расчёты и хранение под меньшие затраты.Комплексная · с уровня Middle
- Подготовить данные для моделей и ранжированияСобрать и проверить данные для ML-команды.Комплексная · с уровня Middle
- Привести обработку персональных данных в своей работе к требованиям законаС 2025 года за утечки персональных данных действуют оборотные штрафы: проверить, какие данные вы собираете, кто к ним имеет доступ и есть ли согласия.Комплексная · с уровня Middle
- Спроектировать архитектуру хранилищаВыбрать слои, форматы и технологии под рост данных.Системная · с уровня Senior
- Развернуть платформу данных для командДать командам самообслуживание в работе с данными.Системная · с уровня Senior
- Собрать и развивать команду аналитикиНанимать людей, давать обратную связь, растить их до следующей ступени и расставаться с теми, кто не справляется.Комплексная · с уровня Team Lead
Ключевые навыки
- Разработка и поддержка ETL-процессов
- Обеспечение качества и SLA данных
- Построение и поддержка DWH и аналитических витрин
- Работа с очередями сообщений
- Работа с системами хранения данных
- Эксплуатация и масштабирование хранилищ данных
- Проектирование схем данных
- Python, Scala или Java
- Написание SQL-запросов
- Контейнеризация и оркестрация
Предметные области
- Инженерия данных
- Хранилища данных (DWH)
- Потоковая обработка
- Платформа данных
Ступени роста
- JuniorЗадача, расчёт
- MiddleИсследование, модель или пайплайн
- SeniorОбласть продукта и смежники
- LeadНесколько направлений
- Team LeadКоманда (5–8)
- Head of DataНесколько команд
- CDOДанные компании
С кем работают
- Аналитики
- Инженеры машинного обучения
- Бэкенд-разработчики
- Девопс-инженеры