Nessuna anteprima disponibile per questo eBook.
In questo articolo
Sei mesi dopo l'avvio, la riunione va così. Il responsabile dice che si lavora meglio. Qualcuno aggiunge che i tempi si sono accorciati. Tutti annuiscono.
Poi qualcuno chiede: accorciati di quanto?
E cala il silenzio. Il progetto potrebbe essere andato benissimo, ma nessuno ha misurato com’era prima. Se mancano dati storici comparabili, oggi è difficile dire quanto sia cambiato.
È così che un progetto di intelligenza artificiale può sfumare. Dopo un anno nessuno sa dire se sia servito, quindi nessuno lo difende quando c’è da tagliare.
«Sembra che vada meglio» non è un dato
C'è una ragione precisa per cui la sensazione non basta, e non riguarda la buona fede di nessuno.
Quando si introduce uno strumento nuovo cambiano molte cose insieme. Le persone sono più attente perché stanno sperimentando. I casi più semplici vengono dati all'automazione e quelli difficili restano agli umani, il che sposta i tempi medi di entrambi i gruppi senza che nessuno sia migliorato. Nel frattempo è cambiata la stagione, è arrivato un cliente grosso, due persone sono andate via.
Se l'unica cosa che hai è l'impressione finale, non hai modo di separare l'effetto dello strumento da tutto il resto. È lo stesso motivo per cui in fisica non ci si fida di una misura presa una volta sola: non perché si sospetti l'osservatore, ma perché una misura singola non contiene l'informazione necessaria a essere interpretata.
La regola che vale più di tutte le altre
La misura va presa prima.
Quando si comincia un progetto, l’attenzione è tutta su cosa costruire. Fotografare il punto di partenza può sembrare tempo sottratto al lavoro vero.
Il codice lo riscrivi, lo strumento lo cambi, il fornitore lo sostituisci. Ricostruire com’era il processo prima è molto più difficile, soprattutto se i dati che ti servono non venivano raccolti.
Nel laboratorio in cui lavoro nessuno accenderebbe mai uno strumento nuovo senza prima aver caratterizzato quello vecchio. Non per rispetto delle procedure: perché senza quel confronto, qualunque numero lo strumento nuovo produca, non significa niente.
Scegliere il numero giusto
Qui serve una scelta, e secondo me è la decisione più importante di tutto il progetto.
Il numero deve avere tre proprietà.
Deve essere già raccolto, o facile da raccogliere. Se per misurarlo serve un progetto a sé, non lo misurerà nessuno dopo il secondo mese.
Deve stare vicino al motivo per cui avete cominciato. Se avete introdotto l'AI perché le risposte ai clienti arrivavano tardi, il numero è il tempo di risposta, non quante volte lo strumento è stato usato. L'utilizzo misura l'adozione, non il beneficio, e si può gonfiare senza che cambi niente per nessuno.
Deve poter peggiorare. È il criterio che uso per capire se una misura è seria: se non esiste un esito in cui quel numero ti dà una brutta notizia, non stai misurando, stai raccogliendo conferme.
Un indicatore principale, in genere, basta. Un secondo può fare da guardia: per esempio il tempo di risposta insieme alla quota di casi riaperti, così vedi se la velocità è stata comprata con la qualità.
Il confronto che quasi nessuno fa
Resta la domanda più difficile: come fai a sapere che il miglioramento è merito dello strumento?
In un laboratorio si risolve ripetendo la misura nelle stesse condizioni. In un'azienda non puoi, perché le condizioni cambiano da sole. Però puoi avvicinarti, e costa poco.
Una possibilità è tenere un pezzo fuori. Per un periodo definito confronti due squadre simili, una con lo strumento e una senza. Se puoi, assegna a caso lo strumento a gruppi o casi comparabili e usa per entrambi le stesse definizioni. Se migliorano allo stesso modo, il confronto non mostra un beneficio aggiuntivo attribuibile allo strumento.
Se dividere non si può, guarda indietro abbastanza da includere le oscillazioni rilevanti. Per un’attività stagionale può servire il confronto con gli stessi mesi dell’anno precedente. Aiuta a leggere il cambiamento, anche se restano possibili altre cause.
In pratica, prima di cominciare
Scrivi quattro righe su un foglio prima di avviare la prova.
- Il numero, uno o due, scelti con i criteri di sopra.
- Quanto vale adesso, misurato su un periodo abbastanza lungo da mostrarne l'oscillazione naturale.
- Quanto deve cambiare perché valga la pena. Scritto prima, non dopo: è questo che impedisce di dichiarare vittoria qualunque cosa succeda.
- Quando si guarda, con una data fissata in anticipo.
Quel foglio ha un effetto collaterale che vale quanto la misura. Costringe a dire ad alta voce, prima di spendere, che cosa ci si aspetta esattamente — e in parecchie riunioni a cui ho partecipato è stato proprio lì che è emerso che le persone attorno al tavolo si aspettavano cose diverse.
Perché insisto tanto su questo
Perché è il mio mestiere, prima ancora che un consiglio aziendale.
Lavoro alla calibrazione di rivelatori per missioni spaziali. Quasi tutto il tempo che passo in laboratorio non serve a scoprire niente: serve a stabilire di quanto ci si può fidare di quello che lo strumento dirà quando sarà in orbita e nessuno potrà più metterci le mani. Senza quel lavoro, i dati che arrivano non sono sbagliati — sono inutilizzabili, perché non si possono difendere.
Con l’intelligenza artificiale in azienda, una misura presa prima ti dà un riferimento per capire quanto è cambiato il lavoro. Il confronto ti aiuta a stabilire quanto di quel cambiamento puoi attribuire allo strumento.
E a quel punto decide chi parla meglio in riunione.
Per approfondire: NIST, AI Risk Management Framework.




Commenti
Ancora nessun commento. Il primo può essere il tuo.