Analisi
Ciò che abbiamo cercato di capire.
Le nostre analisi sull'IA in azienda: ciò che osserviamo sul campo, ciò che misuriamo e ciò che l'attualità cambia per chi decide. Ogni testo dice ciò che è accertato e dove finiscono le prove.
01
Un'IA che sa dire di non sapere
Non promettere mai zero allucinazioni. La promessa difendibile: un sistema che non può affermare nulla al di fuori dei Suoi dati, cita le proprie fonti, calcola le proprie cifre e tace sotto la soglia.
02
Una base di conoscenza in file di testo
Inviare tre note mirate anziché un intero corpus costa 71 volte meno in token e risponde meglio. Il grafo di collegamenti esplicito, il sovraccosto del formato a contenuto identico, e i limiti del metodo.
03
Da dove vengono davvero gli errori
Su un prototipo reale, più della metà dei fallimenti non veniva dal sistema ma da regole assenti dal corpus normativo.
04
Un punteggio che misura la memoria, non la capacità
Misurato su tre modelli a codice identico: 22 punti di scarto sul corpus di costruzione, 5 punti su casi mai visti, e una classifica interamente falsa.
05
La soglia deve filtrare la risposta, non la visualizzazione
Una soglia che filtra le fonti visualizzate lascia il fuori tema influenzare la risposta, dando l'impressione contraria.
06
Quattro guasti che non sollevano alcun errore
Ciò che blocca un progetto di IA non è quasi mai il modello. Quattro guasti vissuti, senza messaggio di errore: un flag di anteprima, un irrigidimento degli accessi che rende muta una tabella, una variabile…