AWS - Data Engineering on AWS

Data Engineering on AWS è un corso intermedio della durata di 3 giorni, progettato per i professionisti che desiderano approfondire in modo avanzato le pratiche e le soluzioni di data engineering su AWS.
Attraverso una combinazione bilanciata di teoria, laboratori pratici e attività, i partecipanti apprendono come progettare, costruire, ottimizzare e mettere in sicurezza soluzioni di data engineering utilizzando i servizi AWS.

Dai concetti fondamentali all’implementazione pratica di data lake, data warehouse, e pipeline di dati sia batch che streaming, questo corso fornisce ai data professional le competenze necessarie per progettare e gestire moderne soluzioni dati su larga scala.

Prerequisiti

• Familiarità con i concetti base di machine learning, come supervised e unsupervised learning, regression, classification e algoritmi di clustering.
• Conoscenza operativa del linguaggio Python e delle principali librerie di data science come NumPy, Pandas e Scikit-learn.
• Comprensione di base dei concetti di cloud computing e familiarità con la piattaforma AWS.
• Familiarità con SQL e i database relazionali è consigliata, ma non obbligatoria.
• Esperienza con sistemi di version control come Git è utile, ma non richiesta.

Cosa imparerai

• Comprendere i ruoli fondamentali e i concetti chiave del data engineering, incluse le data personas, la data discovery e i servizi AWS rilevanti.
• Identificare e spiegare i vari strumenti e servizi AWS cruciali per il data engineering, includendo orchestrazione, sicurezza, monitoring, CI/CD, IaC, networking e cost optimization.
• Progettare e implementare una soluzione di data lake su AWS, includendo storage, data ingestion, trasformazione ed esposizione dei dati per il consumo.
• Ottimizzare e mettere in sicurezza un data lake adottando open table formats, misure di sicurezza e attività di troubleshooting sui problemi più comuni.
• Progettare e configurare un data warehouse utilizzando Amazon Redshift Serverless, comprendendone architettura, data ingestion, processing e funzionalità di serving.
• Applicare tecniche di ottimizzazione delle performance per i data warehouse in Amazon Redshift, includendo monitoring, data optimization, query optimization e orchestrazione.
• Gestire sicurezza e controllo degli accessi in Amazon Redshift, comprendendo autenticazione, sicurezza dei dati, auditing e compliance.
• Progettare pipeline di dati batch efficaci utilizzando i servizi AWS appropriati per il processing e la trasformazione dei dati.
• Implementare strategie complete per pipeline batch, coprendo data processing, trasformazione, integrazione, catalogazione ed esposizione dei dati.
• Ottimizzare, orchestrare e mettere in sicurezza pipeline batch, dimostrando competenze avanzate nell’automazione del data processing e nella sicurezza.
• Architettare pipeline di dati streaming, comprendendo diversi use case, ingestion, storage, processing e analisi tramite servizi AWS.
• Ottimizzare e mettere in sicurezza soluzioni di streaming data, includendo aspetti di compliance e controllo degli accessi.