Data Engineer
Мы связываем удивительный мир путешествий и открытий с обычными людьми, предоставляя удобные и полезные инструменты для планирования поездок
Кто мы

> 20
млн

путешественников, пользующихся
нашими мобильными приложениями

>
14 млн

общее количество установок приложений

топ
30

входим в топ крупнейших туристических онлайн-ресурсов в мире


> 6
млн

установок «ПриложенияТуту.ру»
Про команду
Команда платформы аналитики и инструментов для надежной и простой работы с big data (инструменты для ETL)
Используя эти данные, продуктовые аналитики и менеджмент выбирают направления развития нашего сервиса путешествий, а также мониторинг критичных бизнес-показателей.
Состав команды:

Tech lead, два data engineer/backend-разработчика и DevOps. В зависимости от проекта в команду могут добавляться новые роли (аналитика, frontend-разработчика и т.д.). На текущий момент мы активно расширяем команду и планируем добавить еще двух человек.
Про системы, которые делает наша команда:
Обрабатываем потоки данных объемом ~1ТБ в сутки;
400RPS в среднем;
40+ серверов;
DAU нашего сервиса с которого собираем данные 1.3 млн.;
Делаем инструменты для 16 команд (12+ аналитиков и data scientist, 70+ разработчиков);
Также в составе команды нужно принимать участие в развитии инфраструктуры и инструментов для работы с данными.

Стек технологий:

Мы пишем микросервисы и SDK, в зависимости от задач и требований используем языки: Python, GoLang, PHP 7, Node.JS;
В нашей работе используем разнообразные базы данных и хранилища данных под задачи: ClickHouse, Exasol, MariaDb, ElasticSearch, Redis, MongoDb, и S3;
Активно используем очереди сообщений Kafka и RabbitMQ;
Приложения упаковываем в docker-контейнеры и запускаем в OpenShift или на docker-хостах;
Мониторинг приложений реализуем с помощью prometheus и grafana.
Кроме основных проектов, над которыми предстоит работать, будет возможность поработать с такими инструментами как:
Инструменты шедулинга (Airflow);
Инструменты batch/streaming обработки данных (Spark, Kafka Connect, benthos);
MetaBase, SuperSet, Kibana и пр. инструменты визуализации;
В этот список регулярно добавляются новые, прогрессивные технологии и программные решения, которые позволяют решать наши задачи продуктивнее.
Tech radar с технологиями используемыми во всей компании

Чем предстоит заниматься:
Создавать инфраструктур и инструменты для быстрого принятий решений на основе данных.
Системы, которые разрабатывает наша команда, должны справляться с высокими нагрузками, работать с большими объемами данных и гибко масштабироваться.
Нужно будет развивать системы:

  • Система сбора данных со всех сервисов и проектов на основе event driven подходов;

  • Механизм проведения АБ-тестов;

  • Системы отчетности, инструмент построения витрин данных и инфраструктура для BI-инструментов.

Мы ждем от вас
Опыт разработки крупных систем от 2-х лет и более;

Уверенное владение ООП и другими подходами к проектированию;
Умение работать с SQL и NoSQL хранилищами;
Опыт программирования на одном из языков: python, go, php или java/scala;
Применять DevOps практики и принимать активное участие на всех этапах жизни приложения;
Использование вдумчивого и клиентоориентированного подхода в решении задач.
Про наши процессы:
Планы по проектам/спринтам обсуждаются совместно с руководителем команды и конечными пользователями раз в две недели и формируются спринты на две недели;
Мы работаем в bitbucket, jira, confluence и miro;
Непосредственно связанных с Agile встреч не так много: планирование раз в несколько недель, стендапы каждый день, ретро по завершению проекта или раз в несколько недель если проект длинных, демо по завершению проекта если требуется. Все встречи регулярно валадируем на полезность и регулярно меняем процессы чтобы они были полезны для всех участников;
За доставку ценности для пользователей отвечает полностью наша команда от обсуждения идеи, планирование процесса, разработка, тестирование и доставки до боя и эксплуатации;
Если задача требует исследования, после аналитики мы пишем страницу(proposal), если задача более 3-ех дней, составляем детальный план. Задачи проходят code review, если это production код;
Раз в неделю собираемся в офисе, но часть команды в офисе бывает часто. Готовы обсуждать другие форматы.
Мы делаем инструменты для наших коллег и нам нужно много общаться чтобы сделать максимально полезный продукт для пользователя;
Почему мы
Мы против рутинной работы, мы создаем платформу и инструменты для работы с данными, мы делаем инструмент которым пользуется вся компания;
Мы развиваем команду и осознанно инвестируем в это деньги и время — конференции, курсы, профессиональная литература, обмен опытом внутри компании;
Архитектура наших проектов динамично развивается и требования к инструментам постоянно повышаются что ставит перед нами все новые амбициозные цели;
Зарплата белая, ТК в полном виде, индексация зарплаты от 8,2% в год и выше, мы платим премии за прочитанные книги по профессиональной тематике;
У нас удобный офис со всем необходимым рядом с м. Нагатинская, с хорошей библиотекой и собственной кухней, где всегда есть чай-кофе, фрукты-овощи, конфеты-печенья-йогурты и другие вкусности в свободном доступе;
ДМС (включая стоматологию и полис ВЗР;
Помогаем с переездом кандидатам из других городов (оплата билетов, проживания в гостинице на время поиска жилья, выплачиваем «релокационный» бонус);
Зарплата устанавливается после прохождения собеседования и понимания производительности кандидата в системе: оклад + квартальные премии.