Article GPT-6 op Microsoft Foundry: breng AI-agents in productie

Eerder dit jaar vertelde een CxO me dat de AI-uitgaven binnen de organisatie de clouduitgaven hadden ingehaald als de snelst groeiende post in het technologiebudget. Vrijwel niets daarvan was gepland. Het ging om tokens: honderden miljoenen aanroepen van frontiermodellen, draaiend in workflows waar eigenlijk niemand echt zicht op had.

Op 22 september, Microsoft heeft GPT-6 Sol en GPT-6 Luna algemeen beschikbaar (GA) gemaakt in Microsoft Foundry., en voegt zich daarmee bij GPT-6 Astra. Het is een sterke release die dat gesprek makkelijker maakt, maar het tegelijkertijd ook makkelijker maakt om de verkeerde keuzes te maken.

Makkelijker, omdat het prijsverschil tussen de drie modellen groot genoeg is om bij de meeste organisaties een aanzienlijke impact op de kosten te hebben. Maar ook makkelijker om de fout in te gaan, omdat de prijslijst slechts een klein deel is van wat bepaalt of een AI-agent daadwerkelijk in productie komt én daar succesvol blijft draaien.

De release: Drie modellen, een honderdvoudig prijsverschil

Microsoft positioneert Astra voor veeleisende redeneertaken, softwareontwikkeling en computergebruik, Sol voor algemene productieworkloads en Luna voor grootschalige extractie, samenvattingen en routering. Alle drie zijn beschikbaar als Standard-implementaties in de EU- en Amerikaanse datazones, en wereldwijd. Dit zijn de prijzen voor de EU-datazone:

Astra kost 100 keer zoveel als Luna, zowel voor input als voor output. Sol kost een vijfde van Astra.

Ter illustratie: neem een stap die 2.000 tokens verwerkt en 300 tokens genereert. Tegen deze tarieven kost dat ongeveer $0,042 met Astra, $0,0084 met Sol en $0,0004 met Luna. Voer je die stap 100.000 keer per maand uit, dan komt de rekening uit op ongeveer $4.200, $840 of $42.

Ik heb hetzelfde principe in onze eigen engineeringpraktijk zien werken. We analyseerden ongeveer 90.000 contractdocumenten van de Britse overheid met vier on-premises GPU’s. Een geavanceerde coding-agent schreef de pipeline. Kleinere modellen, die op onze eigen hardware draaiden, namen al het leeswerk voor hun rekening.

Dat ontwerp werd ingegeven door beperkingen rond data "niet door kosten" maar het principe is hetzelfde: het duurdere model doet het denkwerk waarvoor die extra capaciteit nodig is, terwijl goedkopere modellen het grote volume verwerken.

Kosten per taak: de juiste maatstaf, maar niet het volledige plaatje

Microsoft adviseert om verder te kijken dan de prijs per token en inzicht te krijgen in de kosten per taak. Daar ben ik het mee eens, maar ik zou nog een stap verder gaan. De kosten van een taak bestaan namelijk uit drie componenten: tokens, rekenkracht en het menselijke toezicht dat ermee gepaard gaat. De tokens zie je terug op de factuur. De kosten van menselijk toezicht meestal niet.

Een goedkoper model dat vaker output oplevert die door een medewerker moet worden gecorrigeerd, kan per voltooide taak uiteindelijk duurder zijn dan een duurder model, zodra je de tijd van die medewerker meerekent.

Tegelijkertijd kan een taak goedkoop én correct worden uitgevoerd, terwijl niemand die taak daadwerkelijk nodig had. Kosten per taak vertellen je wat een taak kost. Ze vertellen je niet of het gewenste resultaat voor de klant is verbeterd. En uiteindelijk is dát de vraag die een CFO zal stellen.

Om die vraag te beantwoorden, is meer nodig dan alleen een goede modelrouter. Er is een solide structuur rondom de agents nodig.

De structuur: vier onderdelen, en het model is er slechts één van

Centraal in het AI Centric Enterprise Architecture Framework van Insight staat een eenvoudig beeld: een stenen poort zoals je die bij Stonehenge ziet, met twee rechtopstaande pilaren, een horizontale steen die erop rust en de ondergrond waarop het geheel staat. Elk onderdeel draagt gewicht en vervult een andere functie.

De ene pijler is technologie: het technologische landschap waarop agents draaien, van infrastructuur tot gebruikerservaring. Foundry, Azure en Agent 365 maken hiervan deel uit en vormen samen een stevige pijler.

De andere pijler is de business: de rollen en processen, oftewel wie het werk uitvoert, wie ervoor verantwoordelijk is en hoe het werk verandert naarmate AI een groter deel ervan overneemt.

Governance vormt de horizontale verbinding tussen beide pijlers en bepaalt wat er wordt gebouwd, wie er eigenaar van is en welke taken en verantwoordelijkheden aan elke capability kunnen worden toevertrouwd.

Het fundament is kennis: een formele beschrijving van wat de organisatie weet, die elke agent gebruikt om toegang te krijgen tot de onderliggende data.

In veel gesprekken die ik voer, gaat de aandacht in eerste instantie vooral uit naar de technologiepijler. Dat is begrijpelijk, want daar vinden de demonstraties plaats. Maar het grootste deel van wat bepaalt of een oplossing daadwerkelijk succesvol in productie komt, bevindt zich in de andere drie onderdelen. Vier vragen maken duidelijk waar het om draait.

Wat Insight doet: voortbouwen op wat er al draait

Het eerste gesprek gaat zelden over een nieuw model. Het gaat meestal over wat er al draait: agents die een team vorig kwartaal heeft gebouwd, AI-functionaliteit die is ingeschakeld in software die de organisatie jaren geleden heeft aangeschaft, en tools die in gebruik zijn genomen zonder dat iemand daar expliciet om heeft gevraagd.

We beginnen met het in kaart brengen van die oplossingen, plaatsen elke stap op de schaal voor AI-autonomie en wijzen voor elke agent een verantwoordelijke aan.

Van daaruit ondersteunt Insight de stap van experiment naar productie in verschillende fasen, op basis van ons AI Centric Enterprise Architecture Framework en onze Agentic Enterprise Accelerators. Voordat iets naar een volgende fase gaat, worden de gereedheid van de business en de technologie gezamenlijk beoordeeld:

• Modellen kiezen op basis van bewijs. We evalueren Astra, Sol en Luna in Foundry aan de hand van de eigen taken van de organisatie en stellen voor elke use case een kostenoverzicht op waarin ook het benodigde menselijke toezicht wordt meegenomen
• Bewijzen vóór opschalen. Nieuwe functionaliteit draait eerst naast het bestaande proces, zodat de vergelijking wordt gemaakt op basis van praktijksituaties binnen de organisatie voordat er verantwoordelijkheden worden overgedragen
• Afspraken maken over waarop agents mogen vertrouwen. Voordat agents toegang krijgen tot data, bepalen we samen met de business welke bronnen als gezaghebbend gelden en hoe de organisatie haar eigen begrippen definieert. Onze Agentic Enterprise Accelerators helpen bij het opbouwen van die gedeelde beschrijving van de organisatie, zodat agents hun antwoorden en acties daarop kunnen baseren
• Bepalen wat je als eerste bouwt. We helpen het management om use cases te prioriteren op basis van waarde, haalbaarheid en herbruikbaarheid. Dezelfde capability wordt namelijk vaak door drie verschillende afdelingen aangevraagd, ieder in hun eigen terminologie, en vervolgens drie keer afzonderlijk gebouwd. De Agentic Enterprise Accelerators ondersteunen zowel deze prioritering als de gecontroleerde, op governance gebaseerde implementatie die daarop volgt.
• Governance van het Microsoft-landschap. Als Microsoft Day 1 Launch Partner voor Agent 365 helpt Insight organisaties bij het opzetten en beheren van het Azure-, Foundry- en Agent 365-fundament waarop dit alles draait, inclusief keuzes rond regio en dataresidentie.

Dit vervangt niets van wat Microsoft heeft ontwikkeld. De Model Router, tokenlimieten en guardrails van Foundry zijn de juiste beheersmaatregelen voor de technologiepijler, en zo configureren we ze ook. De rest van de structuur zorgt ervoor dat deze technische beheersmaatregelen daadwerkelijk betekenis krijgen voor de business. Als u nog bepaalt waar moet beginnen, biedt onze gids over de AI-implementatiekloof dichten een goed startpunt.

De nieuwe kijk: hetzelfde model, een ander resultaat

GPT-6 is op dezelfde dag, via hetzelfde platform en tegen dezelfde prijs beschikbaar voor uw concurrenten. Het model zelf zal dus niet het onderscheid maken tussen de agents van de ene organisatie en die van de andere.

Het verschil zit in wie verantwoordelijk is, welk bewijs aan beslissingen ten grondslag ligt, waarop agents hun kennis baseren en welke keuzes zijn gemaakt over waar data zich bevinden.