Slå begreber og forkortelser op i ordbogen

Systemmodenhed: Gør virksomheden klar til agentisk AI

Agentisk AI skaber værdi, når virksomheden kan omsætte modellens forslag til kontrollerede handlinger. Modenhed handler derfor om samspillet mellem processer, data, integrationer, ansvar og drift. En stærkere sprogmodel kan ikke alene løse et svagt fundament.

1 Start med arbejdsopgaven og dens konsekvenser

En agent kan vælge næste skridt, bruge værktøjer og reagere på resultater undervejs. Et workflow følger en på forhånd fastlagt rækkefølge. Begge kan bruge AI. Når forløbet er kendt, kan et afgrænset workflow give tilstrækkelig fleksibilitet med større forudsigelighed. Mere autonomi øger også kompleksitet, ventetid og omkostninger. [1]

EnableAI anbefaler at vurdere modenhed for én arbejdsgang ad gangen. En virksomhed kan være klar til en læseassistent i kundeservice og samtidig mangle grundlaget for automatisk kreditering. Ambitionen skal passe til konsekvensen af fejl, tilgængelige data og muligheden for menneskelig overtagelse.

Beskriv processen, før agenten får adgang

Udpeg en procesejer. Beskriv formål, start og slut, de systemer der indgår, samt regler og undtagelser. Hvad betyder en korrekt afsluttet opgave? Hvem afgør en tvivlssag? Hvilke handlinger kræver godkendelse? Mål den nuværende gennemløbstid, fejlrate og arbejdsindsats, så en forbedring senere kan efterprøves.

Vurder derefter seks forhold: proces og ejerskab; data og viden; integrationer; identitet og rettigheder; sikre handlinger; drift og læring. En høj gennemsnitsscore er utilstrækkelig, hvis én kritisk mangel kan føre til en forkert betaling eller uautoriseret adgang. Vores modenhedstrappe i afsnit 4 er et praktisk beslutningsværktøj.

Eksempel: Fra kundehenvendelse til ordreændring

Agenten læser kundens besked og virksomhedens regler, finder den rigtige ordre og foreslår en ændring. Før ændringen udføres, kontrollerer systemet kundens identitet, den aktuelle ordrestatus og medarbejderens mandat. En godkender ser den konkrete ændring og beløbet. Efter udførelsen kontrolleres resultatet i ordresystemet.

Eksemplet viser afhængigheden: RAG kan finde en returpolitik, men ordresystemet skal stadig levere den aktuelle ordrestatus. Sikker adgang til viden og kontrollerede forretningshandlinger er forskellige systemopgaver. [2]

2 Gør data og systemadgang pålidelige

Data skal have en kendt betydning og ejer

Aftal, hvilket system der er autoritativt for hver oplysning. Brug stabile kunde-, produkt- og ordre-ID’er på tværs af systemer. Definér felter, enheder, valuta og statusværdier. En ordre, der er »lukket« i CRM, er ikke nødvendigvis betalt i økonomisystemet. Manglende værdier og usikre match skal udløse afklaring.

Dokumenter skal have ejer, version, gyldighed og adgangsregler. Strukturerede data skal kunne læses gennem kontrollerede forespørgsler eller API’er. Aftal acceptable forsinkelser i opdateringer. Et gammelt søgeresultat må ikke alene afgøre en handling, der kræver aktuel lagerbeholdning eller kreditstatus. Denne adskillelse er EnableAI’s anbefaling til et robust datagrundlag.

Integrationer skal være tydelige for både kode og model

Et API er en aftale om, hvad systemet modtager og returnerer. Dokumentér obligatoriske felter, datatyper, fejl, adgangskrav og begrænsninger. Håndtér ændringer i denne aftale, eksempelvis gennem versioner, så eksisterende integrationer ikke pludselig bryder. Afklar også kunde- og selskabsadskillelse. [3]

Giv agenten få, forståelige forretningsværktøjer, eksempelvis »hent ordre« og »opret ændringsforslag«. Beskriv deres formål, parametre og begrænsninger, og returnér entydige resultater. Test om agenten vælger og bruger dem korrekt. Det er en væsentlig del af værktøjsdesignet. [4]

MCP kan standardisere forbindelsen mellem en AI-klient og værktøjer eller datakilder. Protokollen fjerner ikke behovet for autorisation. Ved HTTP-baseret MCP skal implementeringen håndtere blandt andet tokenvalidering og passende scopes, som afgrænser adgangen. Forretningssystemet skal stadig kontrollere, hvilke konkrete ressourcer og handlinger adgang omfatter. [5]

Rettigheder skal følge identitet og opgave

Brug sporbare identiteter og mindst mulige rettigheder. Afklar, om agenten handler på brugerens vegne eller med en særskilt tjenesteidentitet. Undgå fælles personlige konti, og sørg for, at adgang kan udløbe, revideres og tilbagekaldes. Microsoft fremhæver netop identitet, begrænset adgang og løbende kontrol som grundlag for sikre agenter. [6]

EnableAI anbefaler at udstille afgrænsede handlinger frem for fri administratoradgang eller vilkårlig SQL-skrivning. Et ældre system kan begynde med en adapter, en kontrolleret filoverførsel eller manuel udførelse. Hvis skærmautomatisering er nødvendig, skal ændringer i skærmbilleder og usikker aflæsning føre til stop og overtagelse. Hele ERP-systemet behøver ikke udskiftes for at afprøve én anvendelse.

3 Byg handlinger, der tåler fejl

AI kan vælge forkert, et API kan svare for sent, og to medarbejdere kan ændre samme ordre. Derfor skal handlingens sikkerhed ligge i systemets kontroller. En instruktion til modellen kan supplere disse kontroller. Den kan ikke alene håndhæve dem.

Kontrollér før, under og efter handlingen

EnableAI anbefaler tre kontrolpunkter. Før handlingen valideres rettigheder, forretningsregler og den præcise ændring. Under handlingen kontrolleres, at forudsætningerne stadig gælder, eksempelvis gennem et versionsnummer på ordren. Efter handlingen læses den registrerede tilstand tilbage. Ved væsentlige konsekvenser skal en ansvarlig person godkende ændring, modtager og beløb før udførelse. [2]

En godkendelse skal være knyttet til netop det forslag, der udføres. Hvis beløb eller ordrestatus ændres, skal forslaget kontrolleres igen. Input fra mails, dokumenter og værktøjer kan indeholde ondsindede instruktioner. Behandl sådant indhold som data, og håndhæv tilladte handlinger og destinationer uden for modellen. [7]

Gentagelser må ikke skabe dobbelt handling

Et timeout betyder ikke nødvendigvis, at en handling mislykkedes. Systemet kan have registreret ordren, mens svaret gik tabt. En idempotent operation giver ikke en ekstra forretningsvirkning ved gentagelse. Implementér eksempelvis et unikt operations-ID og kontrol for allerede gennemførte handlinger i det modtagende system. [8]

Gentag kun relevante midlertidige fejl med et begrænset antal forsøg og passende ventetid. Ved vedvarende fejl kan en circuit breaker standse kald, så et presset system får mulighed for at komme sig. En afvist forretningsregel eller manglende rettighed skal løses som en undtagelse. [8, 9]

Et langt forløb skal kunne genoptages sikkert

EnableAI anbefaler, at workflows gemmer opgave-ID, gennemførte trin, godkendelser og aktuel status varigt. Registrér værktøjskald og resultater med nødvendige, beskyttede logdata. Hav en fejlkø, en ansvarlig modtager og en procedure for manuel overtagelse. Test også et nedbrud midt i forløbet. Prøv gendannelse fra backup, og aftal, hvor meget nedetid og datatab processen kan tåle.

På tværs af systemer kan fejl kræve en kompenserende handling, eksempelvis frigivelse af en reservation. Det er forretningsspecifikt og er ikke nødvendigvis en genskabelse af den oprindelige tilstand. En afsendt besked eller bindende disposition kan ikke blot rulles tilbage. Definér håndteringen, før handlingen automatiseres. [10]

4 Brug en modenhedstrappe med dokumenterede trin

Tabellen er EnableAI’s forslag til vurdering af en konkret arbejdsgang. Den er ikke en certificering eller en officiel standard. Det næste trin kræver, at de kritiske forudsætninger er dokumenteret; en flot demonstration er utilstrækkelig.

Trin: 0 Fragmenteret

Kendetegn: Uklare regler, spredte data og personafhængig udførelse.

Dokumentation før næste trin: Procesejer, afgrænset opgave, datakort og mål for nuværende resultat.

Trin: 1 Styret grundlag

Kendetegn: Kendte datakilder, fælles begreber og afklarede adgangsregler.

Dokumentation før næste trin: Testede dataudtræk, håndtering af mangler og egnede eksempler til evaluering.

Trin: 2 Kontrolleret integration

Kendetegn: Afgrænsede værktøjer, sporbar identitet og adskilt testmiljø.

Dokumentation før næste trin: Test af adgang, dubletter, fejl og godkendelser. Afklaret ansvar for drift.

Trin: 3 MVP i drift

Kendetegn: Begrænset anvendelse med overvågning og menneskelig overtagelse.

Dokumentation før næste trin: Dokumenteret værdi, kendt fejlprofil, prøvet genopretning og aftalte driftsmål.

Trin: 4 Skalerbar styring

Kendetegn: Genbrugelige integrationer, kontrollerede ændringer og løbende læring.

Dokumentation før næste trin: Gentagen evaluering, kapacitetstest og kontroller ved nye processer og datakilder.

Fordel ansvar, og mål det faktiske resultat

Procesejeren ejer nytte og acceptable fejl. Dataejeren ejer kvalitet og adgang. Den tekniske ansvarlige ejer integration og drift. Virksomheden kan samle roller, men hver beslutning skal have en navngiven ejer. NIST AI RMF kan støtte arbejdet gennem Govern, Map, Measure og Manage: styr, forstå konteksten, mål og håndtér risici. [11]

Evaluér hele løsningen. Kontroller eksempelvis, om den rigtige ændring findes i ordresystemet; modellens besked om succes er ikke bevis. Kombinér automatiske kontrolregler med faglig vurdering. Hvis en LLM bedømmer kvalitet, skal dens vurderinger kalibreres mod mennesker. Brug flere forsøg, når variationen har betydning. [12]

Følg korrekt afsluttede opgaver, uautoriserede handlinger, menneskelige overtagelser, gennemløbstid og samlet omkostning pr. opgave. Aftal driftsmål, acceptable afvigelser og stopkriterier før piloten. Høj modenhed betyder, at virksomheden kan styre løsningen; nogle handlinger kan fortsat kræve mennesker.

5 Udvikl modenheden gennem tre stadier

Definér og kør eksperimenter

Vælg én afgrænset opgave og en målbar hypotese. Afprøv data og værktøjer i et adskilt miljø, gerne med læseadgang eller simulerede handlinger. Leverancen er viden om værdi, begrænsninger og mangler i fundamentet. Stop eller ændr retning, hvis forudsætningerne ikke holder.

Byg MVP med forventet værdi

Løs de kritiske mangler, og indfør få kontrollerede handlinger. Brug en lille brugergruppe, tydelig overtagelse og realistiske fejltests. Regn både direkte tidsbesparelse og indirekte værdi, eksempelvis genbrugelige integrationer, med. Estimatet skal rumme kendt arbejde og en begrundet buffer for usikre data, integrationer og undtagelser.

Evaluér og byg skalerbare løsninger

Skalér efter dokumenterede resultater. Budgettér også menneskelig kontrol, rettelser, drift og leverandøromkostninger. Versionér modeller, instruktioner, værktøjer og adgangspolitikker. Kør regressionstests før ændringer, udrul begrænset, og hav en vej tilbage. Brug fejl fra drift som nye testtilfælde; hold et uafhængigt testsæt til at kontrollere forbedringer. [12]

Trinene er EnableAI’s anbefalede arbejdsgang. Udbyg fælles komponenter, når flere anvendelser har brug for dem. Flere agenter kan fordele specialiserede opgaver, men overdragelser skal bevare mandat, opgavestatus og sporbarhed. Øget kompleksitet skal give en dokumenterbar gevinst.

Kundeeksempel med mål og opfølgning

I økonomieksemplet behandles 10.000 fakturaer månedligt. Målet er at reducere fejl med efterarbejde fra 4 % til 1,5 %, svarende til 250 færre fejl. Før en agent får skriveadgang, afprøves blandt andet gentagne kald, afbrudte forløb og fakturaer med samme identifikator.

En bestået integrationstest viser teknisk modenhed. Den direkte værdi måles særskilt på faktiske fejl, efterarbejde og betalinger; en ekstra handling, som skaber en dobbeltbetaling, kan udligne mange små tidsgevinster.

Brug den samlede VP/SE-model, VP-vejledningen og SE-vejledningen. Begge estimater revurderes før Hypotese, MVP og Skalering. VP/SE er et lokalt præferenceindeks, ikke økonomisk ROI eller WSJF. Lær anvendelsen på halvdag 1 om VP og halvdag 2 om SE og prioritering, hver fire timer inklusive pause.

Kilder og videre læsning

[1] Anthropic: Building effective agents

[2] Microsoft: Architecture pattern for AI workloads

[3] Microsoft: Web API design best practices

[4] Anthropic: Writing effective tools for AI agents

[5] MCP: Authorization specification

[6] Microsoft: Secure agents – identity, access and data protection

[7] OWASP: LLM prompt injection prevention

[8] Microsoft: Retry pattern

[9] Microsoft: Circuit breaker pattern

[10] Microsoft: Compensating transaction pattern

[11] NIST: AI Risk Management Framework Core

[12] Anthropic: Demystifying evals for AI agents