Data Warehouse (Big Data) Engineer

Основні обов’язки:

● Підтримка кластерів Hadoop, R&D, участь в проектуванні архітектури додатків, що використовують фреймворки стека Hadoop (HDFS, MapReduce, HBase, Hive, Oozie, Spark, Hue, SolR, Flume);

● Підтримка serverless рішень (AWS EMR);

● Розгортання та підтримка Terraform;

● Організація та підтримка ETL-процесів (NiFi \ Flume) OPS функція;

● Розгортання та масштабування існуючих і нових програмних комплексів банку;

● Впровадження існуючих схем забезпечення відмовостійкості програмних комплексів та вдосконалення цих схем згідно з потребами банку;

● Впровадження існуючих видів моніторингу та оповіщення про роботу програмних комплексів, розробку методів моніторингу для специфічних програмних комплексів банку;

● Проведення регламентних робіт та оперативних робіт з усунення збоїв у роботі програмних комплексів у разі їх виникнення в режимі 24/7/365.

Основні вимоги:

● Розуміння та досвід у побудові процесів Data Warehouse;

● Досвід адміністрування Linux від 3 років;

● Вільне володіння скриптовими мовами: Bash, Ruby або Python, Perl, JavaScript;

● Розуміння принципів побудови відмовостійких систем (High availability);

● Досвід експлуатації дистрибутиву Hadoop (Cloudera, Hortonworks, Mapr, Pivotal) від 2 років;

● Досвід використання систем моніторингу Prometheus, Zabbix, AWS CloudWatch та ін.

Бажані знання та навички;

● Знання та досвід використання систем ETL;

● Знання Git (Github, Gitlab etc.) та досвід налагодження Git flow в команді;

● Знання та досвід роботи з Terraform;

● Досвід використання сервісів хмарних провайдерів (aws, google cloud, azure та ін.) для задач Big Data наявність сертифікатів в даній області;

● Знання англійської мови на рівні Intermediate (B1+).

Основні технології команди:

● Hadoop (HDFS, MapReduce, HBase, Hive, Oozie, Spark, Hue)

● Grafana Stack (Grafana, Prometheus, VM)

● NiFi

● SolR

● Flume

● ZooKeeper

● Java application (HBaseWorkers)

Буде перевагою:

● Досвід роботи в високонавантажених та Big Data проектах

● Наявність сертифікатів AWS, GCP

● наявність досвіду роботи в IT на інших посадах (розробник тощо)