Vaš AI agent mora moći reći "ne znam"
TL;DR: Agent s dva izlaza, odgovor ili error, odlučuje i onda kad ne bi smio. Treći izlaz, abstention, mora se dizajnirati u kodu, testirati u eval setu i zabilježiti u decision logu. Confidence modela nije izl
TL;DR: Agent s dva izlaza, odgovor ili error, odlučuje i onda kad ne bi smio. Treći izlaz, abstention, mora se dizajnirati u kodu, testirati u eval setu i zabilježiti u decision logu.
Confidence modela nije izlaz
Primamljiva prečica je pitati model koliko je siguran i postaviti prag. Ono što dobijete je lijepo složena rečenica ili broj koji je model generirao, ne kalibrirana vjerojatnost. Može biti jedan signal među ostalima, ali ne može biti vrata. Sustav koji staje samo kad model kaže da nije siguran staje onda kad se model slučajno tako izrazi.
Kako dizajnirati treći izlaz
Izlaz pripada kodu, izvan modela, gdje se može čitati i testirati.
Počnite s eksplicitnim uvjetima zaustavljanja, provjerenima prije i poslije modela: obavezna polja nedostaju, validacija pada, tool rezultat izvan očekivanog raspona, vrijednost koja proturječi matičnim podacima. Jeftini su, deterministički i lako se objasne.
Zatim outputu dajte oblik koji dopušta abstention. Schema koju agent popunjava ima vrijednost "ne može se odlučiti" uz normalne ishode, s reason codeom iz kratkog popisa. Slobodan tekst je dobar kao objašnjenje, ali code usmjerava slučaj.
Ti slučajevi idu u queue s vlasnikom. Abstention koji ne završi nigdje samo je sporiji error. Netko ga mora preuzeti, odlučiti i vratiti slučaj u eval set.
Na kraju, abstention se bilježi u decision log kao svaka druga odluka: reference na ulaz, verzije, reason code, tko je riješio i kako. Revizor koji pita kako se sustav ponaša u nesigurnosti dobije popis, ne anegdotu.
Kako ga mjeriti
Eval set sastavljen samo od slučajeva s jasnim odgovorom ne može reći radi li treći izlaz. Dodajte slučajeve u kojima je točan output "ne znam": nepotpuni ulazi, pravila u sukobu, dokumenti izvan opsega. Zatim pratite dva broja kroz vrijeme. Koliko se često agent suzdrži, što je posao koji šaljete ljudima. I koliko je često trebao, a nije, što je broj koji je važan za rizik.
Ta dva broja vuku u suprotnim smjerovima. Pooštrite uvjete i queue raste; olabavite ih i rastu tihe greške. Gdje postaviti ravnotežu je poslovna odluka. Zapišite je s vlasnikom procesa umjesto da je developer tiho podešava.
Što to znači za isporuku
Za tvrtke u regiji koje rade za strane klijente to partner pita među prvima: što sustav radi kad nije siguran. Agent koji se nikad ne suzdrži nije precizan. Samo nije testiran na teškim slučajevima. Treći izlaz stavite u projektni dokument, u output contract i u acceptance testove, prije prvog demoa.
Što vaš agent danas radi kad ne bi trebao odlučiti?
Articolo originale: https://www.omarbaruzzo.it/hr/blog/agente-ai-deve-poter-dire-non-so
Originally published by Dev.to AI. Aggregated on AIWithGhost for educational purposes — full credit and traffic to the original publisher.