La soglia deve filtrare la risposta, non la visualizzazione.
Escludere un estratto dall'elenco delle fonti non gli impedisce di influenzare il testo prodotto. Il risultato è una risposta contaminata che sembra pulita. Dove collocare la soglia, come sceglierla, e perché questa scelta appartiene al mestiere.
La soglia filtra la visualizzazione, oppure filtra la risposta
Un sistema che risponde a partire da documenti comincia col selezionarne alcuni. Questa selezione si accompagna a un punteggio di pertinenza, e a una soglia sotto la quale un estratto è giudicato fuori tema. Fin qui, fanno tutti allo stesso modo.
La domanda che cambia tutto è quella del punto in cui la soglia si applica. In molte implementazioni, filtra l'elenco delle fonti visualizzate sotto la risposta. Gli estratti scartati continuano a essere trasmessi al modello, influenzano quindi il testo prodotto, e il lettore vede una risposta accompagnata da tre fonti pulite senza sapere che il ragionamento si è appoggiato su altre cinque, giudicate non pertinenti dal sistema stesso.
La soglia deve dunque applicarsi prima, su ciò che si trasmette al modello. Un estratto sotto la soglia non entra nella risposta perché non entra nella domanda. È un cambiamento di una riga in fase di scrittura, e di natura completamente diversa all'uso.
E quando più nulla supera la soglia
La conseguenza logica mette in imbarazzo la maggior parte dei progetti: se nessun estratto supera la soglia, non resta nulla da trasmettere. Il sistema deve allora dire che il punto non è coperto.
È il comportamento più difficile da far accettare, perché assomiglia a un guasto. Un sistema che risponde sempre sembra funzionare meglio, soprattutto in dimostrazione, dove le domande poste cadono per costruzione dentro il perimetro.
Eppure, su un corpus documentale delimitato, la domanda fuori perimetro non è un caso raro. È il caso più frequente dopo qualche settimana d'uso, quando gli utenti smettono di porre le domande che sono state mostrate loro e cominciano a porre le proprie.
Come si sceglie una soglia, dato che non si indovina
Una soglia non è una costante che si riprende da un esempio trovato in rete. È un arbitrato tra due errori opposti, e si misura.
Una soglia troppo bassa lascia passare del fuori tema: il sistema risponde con sicurezza appoggiandosi su estratti che non fondano nulla. Una soglia troppo alta produce l'errore inverso, più discreto e non meno costoso: il sistema dichiara di non coprire un punto che copre, e l'utente conclude che lo strumento non sa fare nulla.
Il metodo consiste nel costituire un insieme di domande di cui si conosce la risposta, includendovi deliberatamente domande fuori perimetro, poi nel far variare la soglia e rilevare due tassi: la proporzione di risposte false prodotte comunque, e la proporzione di silenzi ingiustificati. Queste due curve si incrociano, e il punto di funzionamento si sceglie in base a quello dei due errori che costa di più nel Suo mestiere.
La soglia non sostituisce la verifica di adeguatezza
Un punto di vigilanza, perché è facile credere il problema risolto. Un estratto può superare la soglia, essere autenticamente pertinente sull'argomento, e non rispondere alla domanda posta.
La pertinenza misura una prossimità di argomento. Non misura che una risposta vi si trovi. Un documento perfettamente pertinente sul tema affrontato può essere soltanto una definizione, un rinvio, oppure trattare il caso generale quando la domanda verte su un'eccezione. La soglia non vede questa differenza, e nessuna regolazione gliela farà vedere.
Occorre dunque una seconda verifica, distinta, che confronti il contenuto selezionato con la richiesta reale. Ne abbiamo descritto la necessità nella nostra nota sull'origine degli errori: è la categoria di fallimento che nessun modello più performante riduce.
Le tre domande da porre
Di fronte a un sistema di ricerca documentale, tre domande bastano a sapere se è stato costruito o soltanto assemblato.
La soglia filtra ciò che viene inviato al modello, oppure soltanto ciò che viene visualizzato sotto la risposta. Che cosa fa il sistema quando nulla supera la soglia, e se ne può fare la dimostrazione seduta stante su una domanda volutamente fuori perimetro. Come è stato scelto il valore della soglia, e su quale insieme di domande.
La terza è la più discriminante. Un valore ripreso da un esempio trovato in rete, senza un insieme di test alle spalle, significa che nessuno ha misurato ciò che il sistema lascia passare né ciò che rifiuta a torto.