Data Engineer - Data Management

This request is closed
Click to see all jobs
Request ID: 24-01-2036
Published: 11.01.2024

Dagens dataplattformer skal moderniseres ved at det etableres en ny dataplattform i skyen (Azure) i perioden 2024 til 2026. Dagens løsninger skal bygges på nytt på ny dataplattform for å ikke ta med seg teknisk- og data-gjeld. 

Løsningen består av om lag 100 integrasjoner og 450 datasett som i dag benyttes til økonomiske modeller og analyser. Antall brukere er om lag 200. 

Moderniseringen er organisert som et prosjekt med varighet på 2,5 år. Det er lagt opp til en trinnvis implementering av virksomhetsprosesser. Prosjektet vil forvalte produksjonssatte løsninger i på ny dataplattform i prosjektperioden etter prinsippet «You build it – your run it». Dagens og ny dataplattform vil leve i parallell mens dagens plattform gradvis fases ut. 

Det vil være behov for integrasjoner mellom ny og eksisterende løsning i denne perioden. 
I dette arbeidet er det behov for å styrke teamet med to Data Engineer på 100% til enheten Data Management. 

ANSVAR OG OPPGAVER
Relevante oppgaver blir:
Som Data Engineer vil du ha fokus på det tekniske arbeidet “i maskinrommet”. 

  • Innhente data primært fra eksterne kilder (DataFactory, Python m.m.)
  • Standardisere dataintegrasjoner (primært API og filbasert)
  • Vaske, bearbeide og klargjøre data (Python)
  • Tilgjengeliggjøre data i henhold til «medalion»- og lakehouse arkitektur
  • Sørge for teknisk kvalitet på data.
  • Veilede brukere av dataene

HOVEDKVALIFIKASJONER OG FERDIGHETER
Kompetanser: 

  • Utviklingsmetodikk og rammeverk for data engineering
  • Datamodellering - relasjonsmodeller, stjerneskjema, fakta og dimensjoner o.l.
  • Dataarkitektur og historisering / versjonering av data
  • Database/tabell/schema administrasjon
  • CI/CD og DataOps 
  • Python biblioteker for gjenbruk
  • Konvertering av ulike filformater til parquet

Ønskelige kompetanser:

  • Skyteknologi fortrinnsvis Azure
  • Databricks Unity Catalog
  • Airflow/python for orkestrering
  • Azure Data Factory
  • Azure DevOps/GitHub

Utdanning:

  • Utdanning (fortrinnsvis master) innen datateknologi eller lignende retninger

Personlige egenskaper:

  • Lagspiller
  • Selvstendig
  • Løsningsorientert

Required skills:
Datamodellering Data engineering Dataarkitektur CI/CD DataOps Python

Desired skills:
Azure

Competence area

Data warehouse and BI

Location

Oslo

Workload

100%

Languages

Norsk

Startdate

01.02.2024

Enddate

31.01.2025

Apply before

16.01.2024

Contact person:
Marthon Hermansen
Sourcing Manager
Similar assignments

Data Engineers

Request ID: 24-04-8935 Published: 2024-04-17

TET Digital (Ruter) skal utvide satsningen på data og vi søker etter 1-6 (en til seks) erfarne data engineers med utviklerkompetanse. Data engineers vil inngå i flere produktteam. Våre team eier både operative og analytiske dataprodukter som skal tilgjengeliggjøres på Ruters Digitale Plattform (RDP) og deles internt og eksternt. Eksempel på et dataprodukt kan være punktlighet på kjøretøy i rute.En av våre produktområder heter Reise. Løsningene i dette produktområde består av en rekke tjenester s......

Competence area
Data warehouse and BI
Location
Oslo
Workload
100%
Startdate
2024-05-13
Enddate
2025-04-30
Languages
Norsk
Apply before: 28-04-2024 12:00

Maskinlæringskonsulent - Data & Innsikt

Request ID: 24-04-4291 Published: 2024-04-17

Avdelingen Data & Innsikt i TET Digital (Ruter) skal tilrettelegge data og innsikt gjennom federerte dataprodukter og moderne teknologier som Kafka, SQL Server, AWS S3, Athena, Python, Snowflake, Sagemaker, maskinlæring og data lakes. Avdelingen er ansvarlig for kvalitet, uttrekk og tilgjengelighet til innsiktsdata. Datakonsumenter er blant annet brukere av rapporter og analyser fra overordnet til detaljert nivå innenfor ulike prosesser, innsikt og oppfølging av eiernes kunder og operatører, ver......

Competence area
Data warehouse and BI
Location
Oslo
Workload
100%
Startdate
2024-05-10
Enddate
2025-05-31
Languages
Norsk
Apply before: 28-04-2024 12:00