Работа: в Москве и Московской области , 2 вакансии

Обязанности:

• Оценка качества данных. Разработка методологических критериев контроля качества данных: полнота, актуальность, согласованность, уникальность, логическая сходимость показателей между источниками;
• Обеспечение высокого уровня качества данных. Разработка алгоритмов валидации и верификации данных, процедур обеспечения качества согласно выставленным критериям;
• Технический контроль и автоматизация. Самостоятельное написание SQL-запросов и скриптов на Python для автоматической проверки качества данных после каждого цикла загрузки. Создание DQ-автотестов;
• Мониторинг и

...

Основные обязанности:

• Архитектурное проектирование БД: Разработка концептуальной, логической и физической моделей данных единого хранилища. Проектирование топологии таблиц, схем данных и связей между ними. Оптимизация хранилищ данных, оптимизация производительности базы данных при тяжелых еженедельных инкрементальных загрузках;
• Разработка и поддержка ETL/ELT пайплайнов: Написание надежных скриптов на Python для еженедельной выгрузки данных из 10 сторонних API, обработки JSON/XML-ответов и обработки ошибок связи;

• Оркестрация

...