Poszukujemy doświadczonego Senior Data Engineera, który dołączy do projektu związanego z budową i rozwojem zaawansowanej platformy zarządzania wiedzą (Enterprise Knowledge Platform) w międzynarodowym środowisku bankowym.
To stanowisko o mocno technicznym charakterze (hands-on), skierowane do osób, które lubią projektować architekturę danych, tworzyć wydajne pipeline’y oraz pracować z grafowymi bazami danych, knowledge graphs i złożonymi modelami danych.
Rola nie wymaga doświadczenia w zarządzaniu zespołem – najważniejsze są kompetencje techniczne, samodzielność i umiejętność rozwiązywania złożonych problemów inżynierskich.
Zakres obowiązków
-
Projektowanie, rozwój i utrzymanie skalowalnych pipeline’ów danych obejmujących ingestowanie, transformację, wzbogacanie i przetwarzanie danych ustrukturyzowanych oraz nieustrukturyzowanych.
-
Projektowanie i optymalizacja modeli danych z wykorzystaniem relacyjnych, grafowych oraz NoSQL baz danych.
-
Praca z grafowymi bazami danych i knowledge graphs, w tym modelowanie encji, relacji oraz projektowanie wydajnych mechanizmów ładowania i odpytywania danych.
-
Tworzenie reużywalnych komponentów do przetwarzania danych oraz integracji z różnymi źródłami danych i API.
-
Implementacja mechanizmów zapewniających jakość danych, walidację, data lineage oraz provenance.
-
Zapewnienie niezawodności i skalowalności pipeline’ów, w tym obsługa przetwarzania przyrostowego, błędów, ponawiania operacji i mechanizmów odzyskiwania danych.
-
Współpraca z architektami, inżynierami i zespołami biznesowymi przy przekładaniu wymagań na rozwiązania techniczne.
-
Udział w automatyzacji testów, procesach CI/CD, monitorowaniu oraz ciągłym doskonaleniu rozwiązań Data Engineering.
Nasze wymagania
-
Kilkuletnie doświadczenie komercyjne na stanowisku Data Engineer / Senior Data Engineer lub podobnym.
-
Bardzo dobra znajomość Pythona i SQL.
-
Praktyczne doświadczenie z grafowymi bazami danych i/lub knowledge graphs (np. Neo4j, Amazon Neptune, JanusGraph lub podobne technologie).
-
Doświadczenie w projektowaniu i rozwijaniu produkcyjnych pipeline’ów ETL/ELT.
-
Dobra znajomość modelowania danych w relacyjnych oraz NoSQL bazach danych.
-
Doświadczenie w pracy z danymi ustrukturyzowanymi i nieustrukturyzowanymi.
-
Znajomość zagadnień związanych z jakością danych, data lineage, ewolucją schematów oraz niezawodnością przetwarzania danych.
-
Doświadczenie w pracy ze środowiskami chmurowymi, narzędziami do orkiestracji danych oraz procesami CI/CD.
-
Umiejętność samodzielnego rozwiązywania złożonych problemów technicznych.
-
Dobre umiejętności komunikacyjne i nastawienie na współpracę.
Mile widziane
-
Doświadczenie z ontologiami, RDF, SPARQL lub technologiami semantycznymi.
-
Znajomość języków zapytań grafowych, takich jak Cypher lub Gremlin.
-
Doświadczenie w budowaniu platform zarządzania wiedzą lub rozwiązań do zarządzania metadanymi.
-
Doświadczenie w sektorze bankowym, finansowym lub innych środowiskach regulowanych.
Dlaczego warto dołączyć?
-
Możliwość pracy przy rozwoju zaawansowanej platformy Enterprise Knowledge Platform w międzynarodowym środowisku bankowym.
-
Udział w ambitnym projekcie wykorzystującym technologie grafowe, nowoczesne architektury danych oraz rozwiązania do zarządzania wiedzą.
-
Rola skoncentrowana na pracy technicznej i rozwiązywaniu złożonych wyzwań inżynierskich, bez konieczności zarządzania zespołem.
-
Współpraca z doświadczonymi inżynierami i architektami.
-
Realny wpływ na projektowanie i rozwój skalowalnych, reużywalnych rozwiązań wykorzystywanych w różnych obszarach organizacji.