Slå begreber og forkortelser op i ordbogen
Design et AI eksperiment der giver et brugbart svar
Et godt AI-eksperiment afklarer en bestemt antagelse og ender med en beslutning. Beskriv på forhånd, hvad I vil lære, hvordan I vil vurdere resultaterne, og hvornår forsøget stopper. En flot demonstration er et eksempel på mulighed; den er ikke dokumentation for en stabil arbejdsgang.
EnableAIs første stadie er at definere og køre eksperimenter. [1] Formålet er at reducere usikkerhed, før virksomheden investerer i en MVP. Forsøget kan være manuelt, teknisk eller en kombination. I behøver ikke bygge hele løsningen for at undersøge den antagelse, som investeringen afhænger af.
Start med en konkret beslutning. Vil ledelsen finansiere en intern vidensassistent, hvis den kan finde korrekte svar på bestemte spørgsmål? Er usikkerheden, om modellen kan forstå dokumenterne, eller om medarbejderne kan bruge svarene? To forskellige usikkerheder kræver ofte forskellige forsøg.
Formulér hypotesen så den kan blive afkræftet
Skriv, hvem der skal opnå hvilken forbedring, på hvilke opgaver og under hvilke betingelser. Et eksempel er: Vi forventer, at kundeservice kan finde et kontrolleret svar hurtigere, når assistenten bruger godkendte returvilkår. Hypotesen svækkes, hvis kontroltiden ophæver gevinsten, eller hvis kritiske undtagelser overses.
Udpeg den mest beslutningskritiske antagelse. Hvis data ikke er tilgængelige, er det mere værdifuldt at undersøge adgang og kvalitet end at optimere en prompt på et håndplukket dokument. Hvis løsningen påvirker kunder, bør forsøget også afdække, hvilke svar der kan misforstås eller føre til forkert handling.
NISTs AI RMF Playbook er en frivillig støtte til risikovurdering gennem løsningens livscyklus. [2] Vi anbefaler at bruge risikoen til at vælge forsøgets afgrænsning og kontrol. Den skal ikke kun beskrives i et bilag efter afprøvningen.
Aftal forsøgets ramme før I ser resultaterne
| Del | Aftale | Hvorfor det betyder noget |
|---|---|---|
| Opgaver | Et repræsentativt udvalg og kendte undtagelser | Gode enkeltresultater må ikke dominere billedet |
| Sammenligning | Samme type opgave med nuværende metode | Forbedringen kræver et relevant udgangspunkt |
| Kvalitet | Hvad der gør resultatet brugbart | Hurtige fejl er ikke en gevinst |
| Tidsforbrug | Inklusive kontrol og rettelser | Efterarbejde skal kunne ses |
| Beslutning | Fortsæt, ændr, stop eller undersøg mere | Forsøget skal føre til handling |
En tidsramme kan være kort, men skal passe til spørgsmålet. Et forsøg med få sager kan finde alvorlige problemer. Det kan ikke dokumentere en meget lav fejlrate i alle fremtidige sager. Angiv derfor både antal afprøvninger og hvilke typer variation der er dækket.
Hold nogle eksempler tilbage, så løsningen ikke kun vurderes på de opgaver, den er tilpasset undervejs. Hvis samme materiale bruges til både forbedring og slutmåling, bliver resultatet let for optimistisk. Anthropic fremhæver evaluering som en nødvendig del af at udvikle agenter ud over den tidlige prototype. [3]
Undersøg hele resultatet og bevar observationerne
Gem den version af instruktioner, modelvalg, datakilder og vurderingskriterier, som forsøget bruger. Registrér relevante fejl og rettelser. Undgå unødvendig lagring af personoplysninger i loggen. En senere gentagelse skal kunne forklare, hvorfor resultatet blev anderledes.
Lad en fagperson vurdere svarenes korrekthed og anvendelighed. Ved vurderinger med skøn bør to personer gennemgå et mindre fælles udvalg og afklare uenighed. Hvis en model bruges som hjælper til bedømmelsen, skal dens vurderinger sammenholdes med menneskers. Vurdér kvaliteten af AI svar og handlinger (Q24) går i dybden med kvalitetsmålingen.
Mål også de afviste og uafsluttede opgaver. Det er ønskeligt, at en assistent siger fra, når grundlaget mangler, men mange afvisninger kan reducere anvendeligheden. Vurder derfor både sikker begrænsning og dækning. Et enkelt samlet gennemsnit kan skjule, at kritiske sager fungerer dårligt.
Et eksempel med dokumentbaserede svar
Producenten i dette eksempel vil gøre servicemanualer lettere at bruge. Teamet vælger 30 historiske spørgsmål fordelt på almindelige fejl, sjældne undtagelser og spørgsmål, som manualerne ikke dækker. Tallet er et praktisk startforslag, ikke en statistisk garanti.
En tekniker besvarer spørgsmålene med den nuværende metode. En anden afprøver assistenten på et tilsvarende udvalg. Teamet registrerer tiden til et kontrolleret svar, kildegrundlaget og de fejl, der ville kunne føre til forkert service. Det sikrer, at hurtigere formulering ikke forveksles med hurtigere korrekt løsning.
Forsøget viser måske gode svar på standardsager, men problemer med versionsforskelle mellem produkter. Næste skridt kan være bedre dokumentmærkning og et nyt forsøg. Det vil være forkert at udvide direkte til alle produkter alene på baggrund af det samlede gennemsnit.
Tag en tydelig beslutning ved afslutningen
Fortsæt til MVP, hvis den centrale antagelse er tilstrækkeligt understøttet, og de resterende problemer kan håndteres inden for en rimelig ramme. Ændr forsøget, hvis det oprindelige spørgsmål var forkert afgrænset. Stop, hvis den forventede nytte ikke længere begrunder videre arbejde. En afkræftet hypotese kan være et værdifuldt resultat.
Beskriv, hvad forsøget ikke viser. Det kan have afklaret teknisk kvalitet uden at dokumentere medarbejdernes anvendelse, driftsstabilitet eller lovligheden af en ny databehandling. Byg en MVP der kan vise værdi i rigtig brug (Q08) forklarer, hvad der skal til i en MVP med rigtig brug. Brug korte forløb til at reducere usikkerhed (A04) sammenligner denne praksis med korte læringsforløb i agile transformationer.
Næste ledelsesbeslutning: Godkend hypotesen, sammenligningsgrundlaget, de kritiske fejl og beslutningsdatoen. Finansier det mindste forsøg, der kan ændre en reel beslutning, og kræv en kort begrundelse for næste skridt.
Kundeeksempel med mål og opfølgning
Rekrutteringsfirmaet kan teste 30 repræsentative kandidatpræsentationer. Baseline er 40 minutter; hypotesen er 20 minutter inklusive kontrol. Et aftalt kriterium på højst 25 minutter og ingen væsentlige faktuelle fejl gør næste beslutning konkret.
Hvis resultatet i eksemplet er 35 minutter og for mange rettelser, ændres hypotesen eller forsøget stoppes. De 30 opgaver giver læring om det valgte udvalg, ikke statistisk garanti for al drift. Registrér opgavetyper og fejl, så testen kan forbedres.
Brug den samlede VP/SE-model, VP-vejledningen og SE-vejledningen. Begge estimater revurderes før Hypotese, MVP og Skalering. VP/SE er et lokalt præferenceindeks, ikke økonomisk ROI eller WSJF. Lær anvendelsen på halvdag 1 om VP og halvdag 2 om SE og prioritering, hver fire timer inklusive pause.
Kilder og videre læsning
Eksempler og handlingsforslag er EnableAIs faglige vurdering. Virksomhedseksempler og regnetal er illustrative. Artiklen er opdateret med konkrete regneeksempler og henvisninger den 15. september 2026.