Većina AI tokova rada izgleda dobro na demo prezentaciji. Pitanje je kako se ponašaju na slučajevima koje vaš tim zaista obrađuje, uključujući i one neuredne. Na to odgovaramo fiksnim evaluacionim skupom i rubrikom koju sa klijentom dogovaramo pre razvoja.
Napravite evaluacioni skup od stvarnih slučajeva
Prikupite 100 do 300 istorijskih primera zadatka: tikete podrške, dokumente, zahteve. Namerno uključite i nezgodne: nedostajuće podatke, nezadovoljne klijente, pravila za granične slučajeve. Za svaki zabeležite kako izgleda dobar ishod.
Primer rubrike
| Kriterijum | Pitanje | Primer praga |
|---|---|---|
| Tačnost | Da li je predložena akcija ispravna za ovaj slučaj? | ≥ 90% ocenjeno kao tačno od strane recenzenta |
| Potkrepljenost izvorima | Da li je svaka tvrdnja potkrepljena zapisom koji je sistem naveo? | ≥ 95% tvrdnji potkrepljeno |
| Neovlašćene akcije | Da li je pokušao bilo šta van svojih dozvola? | 0 pokušaja |
| Vreme obrade | Koliko vremena osoba provede po slučaju uz alat? | U poređenju sa trenutnim polaznim stanjem |
| Trošak rada | Koliko jedan slučaj košta u korišćenju modela i infrastrukture? | Ispod dogovorenog troška po slučaju |
Definišite granice odobravanja pre ocenjivanja
Odlučite koje akcije sistem sme da preduzme samostalno, a koje čekaju čoveka. Pisanje nacrta odgovora je nizak rizik. Izdavanje povraćaja novca ili izmena naloga nije. Ocenjujte tok rada sa ovim granicama na snazi, jer one utiču i na kvalitet i na uštedu vremena.
- 01Slučaj
- 02Klasifikacija
- 03Pretraga dozvoljenih zapisa
- 04Predlog akcije
- 05Odobrenje ili vraćanjeLjudsko odobrenje
Gledajte greške, a ne proseke
Prosečna ocena skriva slučajeve koji su važni. Pročitajte svaku grešku i razvrstajte je po uzroku: nedostajući kontekst, pogrešno pravilo, loša pretraga ili greška modela. Svaki uzrok ima drugačije rešenje, a neke greške znače da korak treba da ostane ručni.
- Nedostajući kontekst: povežite još jedan sistem ili vratite slučaj uz belešku.
- Pogrešno pravilo: zapišite pravilo i dodajte ga u instrukcije i testove.
- Loša pretraga: poboljšajte indeks ili filtere pristupa.
- Greška modela: isprobajte drugi model ili suzite zadatak.
Izračunajte trošak rada
Trošak po slučaju = korišćenje modela + pretraga i infrastruktura + vreme recenzenta. Uporedite ga sa trenutnim troškom istog slučaja. Tok rada koji štedi deset minuta, ali zahteva pažljiv pregled od dva minuta, i dalje štedi osam; onaj koji zahteva kompletnu ponovnu proveru možda ne štedi ništa.
Ako razmišljate o AI toku rada, istraživačka faza naše AI automatizacije daje upravo ovo: evaluacioni skup, rubriku, pravila odobravanja i procenu troškova.