Data Engineer Airflow Kafka

About us:

Founded in 2005, Company is the professional business platform built to help legal, accounting, and other client-focused professionals run stronger, more profitable businesses. Today, more than 250,000 professionals across the U.S. trust us to help them work smarter, serve clients better, and unlock their full potential. We have been recognized as one of Inc 5000’s fastest growing companies in the U.S. for 13 years in a row, and as a result, our teams continue to grow as well! 

About the role: 

As the Senior Data Engineer, you will be hands-on with the creation of data pipelines, maintaining data security, as well as extending our data sources to include technologies like Kafka and event streams. Provide expert guidance and tactical execution to support the near-term data engineering roadmap. 

Essential Functions and Responsibilities 

• Develop and optimize ETL processes 
• Integrate data sources across a broad product portfolio to provide stakeholders access to key information they need to excel at their job 
• Work in close collaboration with operations, product management, data scientists, and analysts to clarify requirements and translate them into robust, scalable, operable data architecture 
• Define and model data architecture for our data warehouse 
• Model data and metadata to support ad-hoc and pre-built reporting facilitating data access for our BI tools and analytical reporting 
• Provide ad-hoc technical expertise on best practices for data platform implementation. 
• Work with engineering to integrate tracking of new functionality into the data ecosystem 
• Optimize the performance of business-critical queries 

Requirements:

• Experienced data engineer with minimum 7+ years working in a data/analytics function
• Strong skills in SQL, Python, AWS (specifically Redshift is required), DBT, Airflow, Kafka 
• Knowledgeable of how real-time streaming works using technologies such as Kafka 
• Business domain knowledge in Fintech, finance, sales, marketing, and Go To Market areas 
• Well-versed in the use and development of various tools in the big data arena 
• Proven experience working in data teams/building out data environments 
• Requires strong collaboration skills to work effectively with operations, product, and engineering teams. 
• Excellent communication and presentation skills, able to discuss problems and opportunities with a technical team 

O nama:

Osnovana 2005. godine, kompanija je poslovna platforma namenjena profesionalcima, razvijena da pomogne pravnim, računovodstvenim i drugim stručnjacima usmerenim na rad sa klijentima da vode snažnije i profitabilnije poslovanje. Danas nam više od 250.000 profesionalaca širom SAD veruje da im pomognemo da rade pametnije, bolje uslužuju klijente i ostvare svoj puni potencijal. Već 13 godina zaredom prepoznati smo kao jedna od najbrže rastućih kompanija u SAD prema listi Inc. 5000, a samim tim i naši timovi nastavljaju da rastu.

O ulozi:
Kao Senior Data Engineer, aktivno ćete raditi na kreiranju data pipeline-ova, održavanju bezbednosti podataka, kao i na proširenju naših izvora podataka kako bi obuhvatili tehnologije poput Kafke i event stream-ova. Pružaćete stručno usmerenje i taktičku realizaciju kao podršku kratkoročnoj mapi razvoja data engineering-a.

Ključne funkcije i odgovornosti:

• Razvoj i optimizacija ETL procesa
• Integracija izvora podataka kroz širok portfolio proizvoda kako bi zainteresovane strane imale pristup ključnim informacijama koje su im potrebne za uspešno obavljanje posla
• Bliska saradnja sa operativnim timovima, product management-om, data scientist-ima i analitičarima radi pojašnjenja zahteva i njihovog pretvaranja u robusnu, skalabilnu i operativnu data arhitekturu
• Definisanje i modelovanje data arhitekture za naš data warehouse
• Modelovanje podataka i metapodataka radi podrške ad-hoc i unapred pripremljenom izveštavanju, čime se olakšava pristup podacima za BI alate i analitičko izveštavanje
• Pružanje ad-hoc tehničke ekspertize o najboljim praksama za implementaciju data platforme
• Saradnja sa engineering timom na integraciji praćenja novih funkcionalnosti u data ekosistem
• Optimizacija performansi poslovno kritičnih upita

Zahtevi:

• Iskusan data engineer sa minimum 7+ godina rada u oblasti podataka / analitike
• Odlično poznavanje SQL-a, Python-a, AWS-a (posebno je obavezno iskustvo sa Redshift-om), DBT-a, Airflow-a i Kafke
• Dobro razumevanje rada real-time streaming sistema uz korišćenje tehnologija kao što je Kafka
• Poznavanje poslovnih domena kao što su Fintech, finansije, prodaja, marketing i Go To Market oblasti
• Dobro poznavanje korišćenja i razvoja različitih alata iz oblasti big data
• Dokazano iskustvo u radu u data timovima i izgradnji data okruženja
• Izražene veštine saradnje za efikasan rad sa operativnim, produkt i engineering timovima
• Odlične komunikacione i prezentacione veštine, uz sposobnost da se problemi i prilike jasno predstave tehničkom timu