[This particular talk will be held in Norwegian.] Apache Beam er fantastisk til å gjøre transformasjoner av data, men plattformen mangler et godt scheduleringsverktøy. Skal man ha flere jobber, med avhengigheter til andre jobber, blir det fort mye scripting og uoversiktlig. I denne presentasjonen vil vi se på hvordan Apache Airflow og managed Apache Beam (Google Dataflow) kan spille på lag for
RSVP'd
[This particular talk will be held in Norwegian.]
Apache Beam er fantastisk til å gjøre transformasjoner av data, men plattformen mangler et godt scheduleringsverktøy.
Skal man ha flere jobber, med avhengigheter til andre jobber, blir det fort mye scripting og uoversiktlig.
I denne presentasjonen vil vi se på hvordan Apache Airflow og managed Apache Beam (Google Dataflow) kan spille på lag for å løse disse problemene.
Eksempler og kode som blir presentert vil være i Python.
---------
Foredragsholder: Anders Elton.
Anders Elton is a passionate full-stack developer that enjoys a challenge and likes to be involved in every technical part of a project. He enjoys finding insight and treasures in operational data.
In the last year Anders has worked with onboarding several customers to the Cloud, and he would like to share some insight and experiences on how to solve data ingestion and job orchestration, using the tools available to GCP.
Contact Us