Making AI uncool again - Parte 2: un occhio ai costi
Una visione d'insieme di un mondo che cambia velocemente
Original in Italian; automatic translation into English available here.
Intro
L’Artificial General Intelligence non ha prezzo.
“Whether we burn $500 million a year or $5 billion - or $50 billion a year - I don’t care, I genuinely don’t. As long as we can figure out a way to pay the bills, we’re making AGI. It’s going to be expensive.”
O almeno, questo è quello che dice Sam Altman, CEO di OpenAI.
Se ancora non fosse chiaro, il mondo dell’Intelligenza Artificiale (e dell’innovazione tecnologica) si divide in due.
Da un lato, l’elite a cui appartiene Sam Altman, ma anche Ilya Sutskever, cofondatore di OpenAI che ha preso una strada diversa dal suo ex-socio: ha fondato SSI (Safe Superintelligence), raccogliendo 1 miliardo di dollari da VC prestigiosi come Sequoia e Andreessen Horowitz, ad una valutazione stimata intorno ai 5 miliardi di dollari. Cinque miliardi basati su… nulla: nessun prodotto, figuriamoci una strategia per essere profittevole. C’è solo la credibilità sua e del suo team, oltre ad una visione ambiziosa ma poco tangibile.
Per intenderci, questo è il sito di SSI, nella sua interezza e in tutto il suo splendore… in pratica, solo una dichiarazione di intenti:
E poi c’è il resto del mondo. Startup innovative, PMI, grandi aziende con business consolidati: l’economia reale che in qualche modo deve far tornare i conti, dove ogni realtà punta ad avere ricavi superiori ai costi… in orizzonti temporali ragionevoli.
La stragrande maggioranza dei professionisti dell’AI lavora in questa seconda categoria. E quindi, con buona pace delle visioni grandiose di alcuni individui (più o meno illuminati), molto spesso bisogna mettersi a fare i conti della serva.
I costi dell’AI
Ho già parlato qualche mese fa di cosa vuol dire addestrare da zero un modello di AI generativa di livello: quando non parliamo di demo, di test sviluppati in laboratorio, di esercizi di stile, i costi sono esorbitanti per la stragrande maggioranza delle grandi aziende. Si misurano in centinaia di milioni di euro, e anche più, solamente per il costo dell’hardware - le famose GPU di Nvidia e tutto ciò che ci gira attorno.
E non apriamo il capitolo delle retribuzioni di chi è in grado di lavorarci davvero ad altissimo livello (se proprio volete, fatevi un’idea su levels.fyi, tenendo a mente che gli IC sono i contributori individuali, non i manager).
Per realtà che non hanno questa capacità di spesa, più che investire in GPU la necessità è tipicamente quella di costruire delle soluzioni di AI a partire da mattoncini programmabili: le API. Se pensiamo ai framework di lavoro più usati, come le RAG (Retrieval Augmented Generation), di fatto stiamo parlando di architetture smart per integrare:
Dati privati
API pubbliche
E qui sorge il primo problema: è impensabile avere un’idea reale dei costi delle API anche a breve-medio termine.
Questa è la storia recente del costo delle API più economiche di OpenAI: 4 repricing fortemente al ribasso nel giro di 16 mesi, che hanno portato un modello migliore (gpt-4o-mini rispetto a gpt-3.5-turbo) a costare oggi un ottavo (-88%) di quanto costava nel Q1 2023.
Come fare a prevedere questi andamenti? Possiamo ipotizzare una progressiva commoditizzazione delle API (anche perché c’è tanta concorrenza per OpenAI), ma è difficile associare un valore in euro ed immaginare i tempi di questa progressiva riduzione dei costi.
Come se non bastasse, questa è la situazione dei prezzi dei diversi modelli di OpenAI:
GPT-4o: 2,5$ / 1M token in input
GPT-4o mini: 0,15$ / 1M token in input
o1-preview: 15$ / 1M token in input
o1-mini: 3$ / 1M token in input
Quindi ricapitolando: anche guardando un solo fornitore di API (come OpenAI) ci sono una molteplicità di servizi, con un fattore 100 tra il più economico ed il più caro, un listino prezzi in continua evoluzione, pro e contro in termini di performance, velocità di risposta ed altro.
Tanti auguri per chi vuole fare un business case tradizionale, scritto nella pietra.
Il rovescio della medaglia
Se dal lato dell’offerta c’è una dinamicità estrema ed un contesto competitivo in continua evoluzione, lato domanda ci sono processi del tutto diversi.
Partiamo dall’elefante nella stanza: il processo di budget è tipicamente annuale.
Ritengo sia un problema annoso e notissimo a chiunque si occupi di innovazione tecnologica (e non solo), ma è stato ulteriormente esacerbato dall’evoluzione della API economy portata anche dall’Intelligenza Artificiale. I risvolti sono molteplici ma, per quanto riguarda il mondo dell’AI, il punto è uno: in qualche maniera, bisogna ipotizzare un costo dell’AI anche se non siamo minimamente in un ambiente stazionario e a regime.
Ad aggiungere complessità, c’è un’ulteriore questione di change management.
Le API ormai superate, come quelle di gpt-3.5-turbo, vengono tenute in piedi per garantire ovviamente una continuità di servizio, ma hanno prezzi che diventano rapidamente fuori mercato, anche se erano perfettamente validi in fase di lancio. La sfida reale per un’azienda è quindi ridurre il transitorio: minimizzare il tempo di migrazione e di abbandono di questi modelli.
Per darvi un’idea, la migliore versione di gpt-3.5-turbo è superata, come feature e performance, da gpt-4o-mini, ma costa 20 volte tanto1!
Ogni giorno in meno in un piano di migrazione da vecchie a nuove API sono euro risparmiati.
E il monitoraggio dei costi?
Ultimo, ma non ultimo, in questo contesto così mutevole assume grande importanza il controllo dei costi.
A mio avviso, si può fare una facile analogia con il mondo del Cloud:
troppa libertà e incoscienza da parte degli utenti finali - data scientist, AI engineer e affini - può avere effetti deleteri e bollette impreviste
adottare processi di monitoraggio costi ereditati da un tempo in cui si facevano rigidi contratti pluriennali e investimenti a lunghissimo termine è altrettanto deleterio, col rischio di uccidere l’innovazione e i suoi elementi cardine: velocità e time-to-market
Sono personalmente un sostenitore della decentralizzazione e della responsabilizzazione individuale. Ma soprattutto nelle grandi aziende è una sfida avere un buon livello di controllo e garanzie di non avere sorprese, senza però avere effetti collaterali di rallentamento o, peggio, paralisi.
Conclusioni
È facile farsi prendere dalle discussioni sull’AI e dimenticarsi che da qualche parte un CFO (o figura analoga) vorrà avere un quadro chiaro e stabile di quale esborso implica adottare e sviluppare soluzioni di Intelligenza Artificiale.
E oggi mi sono deliberatamente focalizzato sui costi, ignorando completamente i ricavi. Un tema ampio e complesso, dove più che mai bisogna ragionare in termini di attribution model: preso un processo complesso in cui entra l’AI, a quanto ammonta un possibile ricavo addizionale e quanto è strettamente attribuibile all’AI, e non ad altri elementi collaterali?
Come ho menzionato sopra, penso che guardare cosa è successo negli ultimi 15 anni nel mondo del Cloud aiuti a dare una chiave di lettura ragionevole di quanto succede oggi con l’AI, anche per quanto riguarda i costi.
Qualcuno ricorderà quando nel 2006 AWS era l’unico public cloud provider e forniva solamente due servizi, S3 ed EC2. Situazione non tanto diversa da quella di OpenAI nel 2022.
Oggi, il Cloud è un mondo affollato: AWS offre oltre 200 servizi e ha la concorrenza di Azure, GCP, OCI e tanti altri. Tanti servizi sono facilmente sovrapponibili tra i vari provider e il confronto dei costi è un tema molto articolato e fondamentale, su cui qualcuno ha anche lanciato startup interessanti.
Anche nel mondo della GenAI, la concorrenza è sempre più agguerrita, trend che può solo continuare. Per chi vuole lavorare on top a servizi di AI generativa, ossia la stragrande maggioranza delle aziende, le opzioni si moltiplicano ogni giorno: il tema dei costi e dei relativi processi, anche se decisamente uncool, sarà sempre più cruciale e solo chi lo gestirà per bene sarà in grado di adottare soluzioni AI at scale!
Sempre in termini di costo per token in ingresso