From local to cluster: scaling data workloads with cluster managers like Kubernetes and YARN

Abstract

Il passaggio dallo sviluppo locale su piccoli set di dati al calcolo distribuito su dati su larga scala è una delle transizioni più critiche per un team di data science.
In questo discorso esploreremo come Dask, una libreria Python per il calcolo parallelo, ti consente di eseguire lo stesso codice in ambienti diversi, dalle macchine locali ai cluster distribuiti, utilizzando Kubernetes o YARN come orchestratori.
Vedremo come gestire i flussi di lavoro di elaborazione dati e machine learning in modo fluido e scalabile, con una panoramica pratica su come fornire risorse nel cloud utilizzando solo pochi comandi, mantenendo semplicità e riproducibilità.
Il codice rimane lo stesso, Dask lo adatta all’ambiente scelto.