Agenten die elkaar voeden. Wat gaat er dan mis?
Meerdere automatiseringen aan elkaar knopen kan, en het levert echt iets op. Maar er is een rekenregel die bijna nooit genoemd wordt: betrouwbaarheid vermenigvuldigt. En dat gaat hard.
AuteurJohn van den BoschCloudzicht.nl
Hoe betrouwbaar is een keten van vijf stappen?
Als elke stap in 95 procent van de gevallen klopt: 77 procent. Niet 95. Vijf keer 0,95 achter elkaar is 0,774, en dat betekent dat er ongeveer één op de vier keer iets misgaat — ergens in de keten, en meestal merkt u het pas aan het eind.
Bouw een keten door stappen toe te voegen. Let op wat er met het percentage gebeurt.
Voeg stappen toe en kijk wat er gebeurt.
De percentages per soort stap zijn aannames. Ik heb geen bron die zegt dat een taalmodel op zo’n taak precies 95 procent haalt — dat hangt volledig af van wat u vraagt. Wat er niet van afhangt is de vorm: vermenigvuldigen gaat hard.
Laat de keten vooral ophalen en doorgeven. Elke plek waar geoordeeld wordt kost vijf procent.
Laat ze vooral ophalen en doorgeven
Niet elke schakel is even onzeker. Iets opzoeken in een systeem klopt vrijwel altijd; iets beoordelen op grond van vrije tekst niet. Een keten van acht stappen waarvan er zes opzoeken zijn en twee beoordelen, komt uit op 90 procent — en niet op de 66 die u zou krijgen als alle acht zouden oordelen.
Dat is de ontwerpregel: laat de keten vooral halen en doorgeven, en houd het aantal plekken waar geoordeeld wordt zo klein mogelijk.
Precies dat deel van het idee — de een haalt gegevens uit een ander systeem en geeft ze door — is het sterke. Daar wordt een antwoord echt beter van, want het model hoeft niet te gokken wat het niet weet.
Als een fout goedkoop en zichtbaar is
Een verkeerde samenvatting ziet u meteen. Een verkeerd bedrag in de boekhouding niet. Ketens mogen langer worden naarmate fouten eerder opvallen.
Een suggestie die niet klopt kost een klik. Een order die verkeerd de planning in gaat kost een dag. Reken de kosten van een fout mee, niet alleen de kans.
Een keten die bij twijfel stópt en het aan een mens voorlegt, is betrouwbaarder dan een keten die altijd doorgaat. Dat kost tijd en het is meestal de goedkoopste verzekering die er is.
En de eerste vraag blijft staan: moet dit überhaupt AI zijn? Bij zes van de acht stappen is het antwoord meestal nee — zie de ladder.
Betrouwbaarheid vermenigvuldigt. Vijf schakels van 95 procent geven samen 77 procent, dus ongeveer een op de vier keer gaat er iets mis. Maar opzoekstappen kosten bijna niets — alleen de plekken waar geoordeeld wordt tellen zwaar.
De keten tekenen en per stap vragen: is dit ophalen of is dit oordelen? Elke oordeelstap krijgt een controle of een rem. Opzoekstappen mogen er zoveel zijn als nodig.
De percentages per soort stap zijn aannames; ik heb geen bron die zegt dat een taalmodel op zo’n taak precies 95 procent haalt, en dat verschilt sterk per taak. Ik reken bovendien alsof de stappen los van elkaar staan, en in de praktijk werken fouten soms door — dan valt het slechter uit dan deze som laat zien.
Een oordeelstap uit de keten halen en vervangen door een vaste regel tilt een keten van vijf van 77 naar 81 procent. Een stap, vier procentpunt.
Waar loop jij tegenaan?
Laat je nummer achter, dan bellen we terug. Geen offerte in je mailbox en geen verkooppraatje — een gesprek van twintig minuten waarin we eerlijk zeggen of we je verder kunnen helpen.
Negen werkende configurators. U vult uw maten in en de prijs beweegt mee — inclusief wat een vakman erbij zou zeggen.