AWS Certified ML Specialty: tutto quello che c'è da sapere

Opinioni ed esperienza diretta con la ML Specialy di AWS, una delle più note certificazioni nel mondo del Machine Learning

Intro

Qualche giorno fa ho sostenuto (con successo!) l’esame di certificazione per la AWS Certified Machine Learning Specialty: un esame ampio e impegnativo, che mi ha richiesto una certa preparazione, pur partendo da basi abbastanza solide sulla materia.

C’è tanto su cui scrivere: contenuti, modalità di test, materiale di studio, difficoltà, valore della certificazione… partiamo!

Motivazione

Penso che siano due i motivi principali per intraprendere un percorso di certificazione:

1. Acquisire (o completare/rafforzare) competenze in un particolare dominio

2. Veder riconosciute e “ufficializzate” le proprie skill già esistenti

Su certificazioni note come questa, sicuramente entrambi i motivi possono essere validi: preparare questo esame porta davvero ad avere una vista a tutto tondo del machine learning, andando a richiedere un ampio ventaglio di competenze, e questo è anche ampiamente riconosciuto nel mercato del lavoro.

Personalmente ho visto questo percorso come una bella opportunità di crescita per molte persone del Data Science Team in Nexi (che ringrazio per aver sponsorizzato l’esame) e ho pensato… perché non farlo anch’io in prima persona? In realtà di “perché non farlo” ce ne sarebbero stati in abbondanza:

• Perché richiede parecchio impegno nella preparazione e il tempo libero per studiare scarseggia

• Perché il mio ruolo è principalmente manageriale e convenzionalmente si suppone che il 100% della formazione debba essere legata a soft skills (su questo ci sarebbe molto da discutere)

• Perché il valore marginale della certificazione, rispetto al mio profilo, è oggettivamente limitato

E la lista potrebbe continuare. Ma questo è un bell’esame: interessante, ricco di contenuti, orientato sia agli aspetti più analitico-statistici che a quelli più tecnologici… insomma, ho pensato che valesse la pena di dedicarci un po’ di tempo.

Contenuti e difficoltà

La ML Specialty di AWS non è una certificazione su uno specifico prodotto. Ma ovviamente non è neanche un esame di machine learning totalmente indipendente da AWS.

La pagina ufficiale spiega in maniera estesa com’è costituito l’esame. Dal mio punto di vista, si può riassumere così:

• Un terzo dell’esame è puro machine learning, indipendente da AWS

• Un terzo dell’esame è legato a ML e data engineering su AWS, con un focus sulla pletora di strumenti che AWS offre (Sagemaker in primis, ma anche tanti altri: Glue, Athena, Kinesis, EMR e vari servizi ancillari)

• Un terzo dell’esame è legato a come il mondo del ML su AWS si integra nel cosiddetto Well Architected Framework di AWS: parliamo quindi di integrazione con servizi di sicurezza e networking, ma anche di tutto ciò che riguarda la messa in produzione e la gestione dei modelli di ML

È facile intuire a questo punto che parliamo di un esame impegnativo per qualsiasi figura professionale. Un classico data scientist troverà un po’ ostici alcuni concetti tipici di ambienti di produzione con tutte le accortezze di sicurezza che si richiedono; un solution architect o anche un data engineer si troverà alle prese con tematiche matematico-statistiche molto specialistiche.

Ecco, c’è un solo profilo che può trovare abbastanza facile questo esame: un machine learning engineer che lavora regolarmente su AWS da qualche anno. Non è un caso che AWS consigli l’esame a chi ha almeno due anni di esperienza nello sviluppare, disegnare e gestire workload di ML su cloud AWS.

Come prepararsi

Difficile esprimersi in termini generali su tempi e modi di preparazione, molto dipende dal punto di partenza. Posso però raccontare la mia esperienza, e lo faccio separando due temi: lo studio e la preparazione al test.

Studio

Mi sento di consigliare senza dubbio due libri che ho letto (nel mio caso, attraverso la piattaforma di learning di O’Reilly, ma comunque acquistabili anche singolarmente):

• La certification guide di Packt: AWS Certified Machine Learning Specialty: MLS-C01 Certification Guide

  

• La study guide di Sybex: AWS Certified Machine Learning Study Guide: Specialty (MLS-C01) Exam

  

Entrambi ottimi testi. Difficile consigliarne uno, anche perché sono abbastanza complementari: il primo segue proprio l’ordine degli argomenti di esame elencati sul sito di AWS, il secondo segue invece una logica propria (partendo dai servizi di AI gestiti, per poi proseguire con le varie fasi del framework CRISP-DM e chiudere con altre tematiche laterali, come sicurezza e gestione ambienti di produzione).

C’è un aspetto che in questo momento mi fa propendere per la Study Guide: è aggiornata a Novembre 2021, a differenza del testo di Packt che è di Marzo 2021. Otto mesi per gli sviluppi continui di AWS sono tanti. Comunque ribadisco: sono entrambi validissimi.

Preparazione al test

Ritengo fondamentale la preparazione specifica per l’esame, specie per chi non è un ML engineer che dedica il 100% del proprio tempo a lavorare su AWS.

Consigli:

• Il pacchetto di esami di prova e domande varie (circa 270) di Whizlabs: voto 10 e lode! Sono fatte benissimo, spiegate ampiamente con tanto di link a documentazione (ufficiale AWS e non solo). Ma soprattutto: hanno esattamente lo stesso spirito dell’esame. E sono difficili: direi leggermente più difficili dell’esame vero e proprio.

• Le domande di prova di AWS:

  • Le 10 sample questions sul sito ufficiale

  • Le 20 ulteriori domande ottenibili dopo essersi registrati sullo Skill Builder di AWS

  Attenzione perché queste 30 sono un po’ più facili dell’esame, a mio avviso.

• Mi ha fatto una buonissima impressione anche TutorialsDojo, con il suo free practice exam con 20 domande e le pagine di sintesi (gratuite) su tutti i servizi AWS, ad esempio quella su Sagemaker.

Non ho provato i corsi video di formazione (che offrono Whizlabs, AWS stessa e TutorialsDojo, oltre a molti altri).

Sostenere l’esame (e note sull’esperienza da remoto)

Anche qui, il sito ufficiale di AWS ha tutte le informazioni necessarie… ma riassumo quelle chiave e la mia esperienza diretta.

L’esame dura 180 minuti e ci sono 65 domande (a scelta multipla, per lo più con una sola risposta valida, oppure con 2-3 da scegliere). L’aspetto interessante è che solo 50 contano per il punteggio finale: le altre 15 sono domande che AWS valuta se promuovere a domande ufficiali. Il punto è che non si può sapere quali siano le 50 realmente usate per valutare il passaggio dell’esame…

Nella stragrande maggioranza dei casi, le domande prevedono uno scenario aziendale verosimile in cui capire quali servizi utilizzare, come orchestrarli, o magari qual è l’algoritmo più adatto. Oppure capire come migliorare una soluzione attuale, ottimizzando un algoritmo di ML. Insomma: non sono domande di una frase a cui rispondere in 10 secondi.

Personalmente ho impiegato circa 130 minuti a finire tutte le domande (prima passata) e ulteriori 45 per rivederle (e cambiarne 3-4 rispetto alla prima risposta).

Ho fatto l’esame da remoto con Pearson VUE: esperienza impeccabile. Ma per 3 ore bisogna essere isolati dal mondo, senza potersi alzare dalla sedia (niente bagno). E attenzione a non usare PC aziendali in qualche modo bloccati o limitati, anche se passano il system test: potrebbero esserci problemi e AWS lo sconsiglia in tutti i modi.

La valutazione è in scala da 100 a 1.000 secondo una logica molto raffinata, spiegata qui in esteso. Il passaggio dell’esame è fissato a 750. Il risultato (promosso o bocciato) è istantaneo, subito dopo un sondaggio di soddisfazione sulle modalità di esame. Nel mio caso, dopo solo un giorno è arrivato il punteggio di dettaglio, ma potrebbe servire un po’ più di tempo.

Riflessioni conclusive

Personalmente porto a casa:

• Una comprensione rafforzata del mondo di AWS per il machine learning ed in generale di alcuni aspetti di data engineering che a mio avviso sono utili a qualsiasi data scientist (mentre posso dire che sul ML in sé avevo già una buona esperienza)

• L’importanza della preparazione specifica: come in qualsiasi esame, c’è da padroneggiare le tematiche, ma non bisogna trovarsi impreparati con le modalità di test e valutazione

• La conferma che si tratta di una certificazione di valore: non si passa per caso o per fortuna. In un mondo di attestati che certificano la frequenza di un corso e certificazioni su strumenti specifici, mi è ancora più chiaro che le Specialty (e le Professional) di AWS sono certificazioni molto più ad ampio respiro, che dimostrano un’ottima comprensione delle materie che coprono.

Morale della favola: ne è valsa la pena!