Cloud Data Architect + Databricks

Zakres obowiązków:

• Projektowanie i zarządzanie infrastrukturą chmurową w środowisku Microsoft Azure, z uwzględnieniem komponentów danych, sieci i autoryzacji
• Tworzenie oraz rozwój rozwiązań opartych o Azure Synapse (w tym Serverless i Pipelines), Databricks (DLT Pipelines, Workflows, administracja) oraz architekturę Data Lakehouse
• Projektowanie i implementacja procesów ETL/ELT w oparciu o podejście Metadata Driven ETL i Medalion Architecture
• Rozwój i optymalizacja kodu w Pythonie oraz projektowanie procesów przetwarzania danych w Apache Spark
• Tworzenie, optymalizacja i zarządzanie zapytaniami SQL, w tym praca z SQL Server oraz jego integracja z chmurą
• Implementacja procesów CI/CD dla usług takich jak Synapse i Databricks, w tym logowanie, monitoring oraz optymalizacja
• Projektowanie raportów i analiz przy użyciu Power BI
• Projektowanie skalowalnych platform danych z wykorzystaniem dobrych praktyk inżynierii oprogramowania
• Praca z GIT i strategią branchowania w Azure DevOps
• Tworzenie dokumentacji technicznej oraz dzielenie się wiedzą wewnątrz zespołu
• Mentoring i wspieranie rozwoju innych członków zespołu
• Prowadzenie projektów technicznych oraz współpraca z interesariuszami biznesowymi jako Lead Engineer

Wymagania:

• Dogłębna znajomość środowiska Microsoft Azure, w tym: Azure Infrastructure, Networking i Authorization w Azure, Zarządzanie oraz projektowanie infrastruktury chmurowej
• Znajomość i doświadczenie z platformami danych: Azure Synapse (w szczególności Synapse Serverless i Synapse Pipelines), Databricks (w tym DLT Pipeline, Workflows oraz Administracja), Data Lakehouse i jego architektury, koncepty Medalion Architecture i Metadata Driven ETL
• Doświadczenie w pracy z Python'em (programowanie oraz optymalizacja kodu), Apache Spark (projektowanie i rozwój procesów przetwarzania danych) oraz SQL (tworzenie, optymalizacja zapytań oraz zarządzanie bazami danych)
• Doświadczenie z SQL Server oraz jego integracją z usługami chmurowymi
• Biegłość w projektowaniu i implementacji procesów ETL / ELT
• Zrozumienie najlepszych praktyk związanych z projektowaniem hurtowni danych
• Umiejętność zarządzania dużymi zbiorami danych w ramach podejścia Data Lakehouse
• Umiejętność tworzenia i wdrażania procesów CI/CD dla Synapse, Databricks oraz innych usług
• Doświadczenie w optymalizacji kodu i procesów przetwarzania danych
• Umiejętność implementacji rozwiązań do logowania i monitoringu procesów oraz aplikacji
• Umiejętność korzystania z Power BI oraz projektowanie raportów na platformach analitycznych
• Praktyczne doświadczenie w projektowaniu skalowalnych rozwiązań, platform danych oraz stosowanie najlepszych praktyk inżynierii oprogramowania (best code practices)
• Bardzo dobra znajomość GIT oraz strategii tworzenia branching strategy w Azure DevOps
• Silne umiejętności komunikacyjne i interpersonalne
• Zdolność do dokumentowania projektów oraz dzielenia się wiedzą (dokumentacja techniczna, prezentacje)
• Mentoring i szkolenie zespołu – wspieranie innych członków zespołu w rozwoju
• Umiejętność pełnienia roli Lead Engineer
• Doświadczenie w zarządzanie zespołem projektowym oraz prowadzenie projektów od strony technicznej
• Doświadczenie we współpracy z interesariuszami biznesowymi w celu dostarczenia odpowiednich rozwiązań technologicznych
• Bardzo dobra znajomość języka angielskiego (minimum B2)

Oferujemy:

• Prywatną opiekę medyczną
• Dofinansowanie karty sportowej
• Stałe wsparcie konsultanta
• Program rekomendacji pracowników