Apache Airflow og Apache Beam

GDG Cloud Oslo, Norway

[This particular talk will be held in Norwegian.] Apache Beam er fantastisk til å gjøre transformasjoner av data, men plattformen mangler et godt scheduleringsverktøy. Skal man ha flere jobber, med avhengigheter til andre jobber, blir det fort mye scripting og uoversiktlig. I denne presentasjonen vil vi se på hvordan Apache Airflow og managed Apache Beam (Google Dataflow) kan spille på lag for

May 14, 2018, 3:00 – 4:30 PM (UTC)

 RSVP'd

Key Themes

About this event

[This particular talk will be held in Norwegian.]

Apache Beam er fantastisk til å gjøre transformasjoner av data, men plattformen mangler et godt scheduleringsverktøy.

Skal man ha flere jobber, med avhengigheter til andre jobber, blir det fort mye scripting og uoversiktlig.

I denne presentasjonen vil vi se på hvordan Apache Airflow og managed Apache Beam (Google Dataflow) kan spille på lag for å løse disse problemene.

Eksempler og kode som blir presentert vil være i Python.

---------
Foredragsholder: Anders Elton.

Anders Elton is a passionate full-stack developer that enjoys a challenge and likes to be involved in every technical part of a project. He enjoys finding insight and treasures in operational data.

In the last year Anders has worked with onboarding several customers to the Cloud, and he would like to share some insight and experiences on how to solve data ingestion and job orchestration, using the tools available to GCP.

Organizers

  • Rustam Mehmandarov

    Computas

    GDG Organizer

  • Leonard Sheng Sheng Lee

    Co-organiser

Contact Us