Junior Data Engineer

#onsiteonly #офисный_формат #полный_день #fulltimeПозиция: Data EngineerКомпания: ТОО "Alldata" (Adata. kz). О компании: Компания Adata. kz занимается разработкой информационных сервисов. • Проверка юридических лиц на благонадёжность и аффилированность. • Проверка на наличие штрафов. • Поиск и аналитика тендеров. • Поиск вакансий и резюме. • Аналитика по внешней экономической деятельности компаний (импортно-экспортные отношения). • Автоматизация проверок комплаенс рисков. Описание позиции: Инженер данных, специализирующийся на построении эффективных пайплайнов для сбора, обработки, хранения и предоставления данных конечным пользователям. Обязанности: • сбор данных из различных источников и предварительная обработка• разработка и автоматизация ETL пайплайнов• разработка микросервисов• проектирование архитектуры базы данных• написание запросов и формирование выгрузокТребования: • уверенное владение Python• уверенное владение SQL (желателен опыт с PostgreSQL)• опыт работы с Git• опыт работы с инструментами Postman/InsomniaБудет плюсом: • знание C#, Go• опыт проектирования Data Warehouse, Data Lake, Data Lakehouse• опыт работы с ElasticSearch, Data Build Tool(DBT), ClickHouse• опыт реализации ETL пайпланов с помощью инструмента Talend DI или его аналогов• понимание микросервисной архитектуры и опыт работы с gRPC фреймворком• опыт работы с Linux• понимание контейнеризации и опыт работы с Docker и K8S• опыт работы с очередями и брокерами сообщений (RabbitMQ, Kafka)• опыт работы с Apache Airflow• опыт работы с Big Data и оптимизацией запросов• опыт работы и внедрения Debezium(CDC)• опыт проектирования потоковой(стриминговой) обработки данных с помощью Apache SparkУсловия: • полностью офисный формат• оформление по ТК РК• график работы 5/2, с 09: 00-18: 00• месторасположение офиса: г. Алматы, ул. Ходжанова 79, БЦ "Аврора"