Waarom de huidige manier van meten niet klopt?

Stel je voor: je laat een AI een video beschrijven en vergelijkt die tekst met een handmatig geschreven referentie. Als de woorden niet overeenkomen, scoort de AI slecht. Maar wat als de AI-beschrijving gewoon een andere invalshoek kiest, en toch correct is? Dat is precies het probleem met gangbare meetmethoden voor videobeschrijvingen. Ze straffen afwijking af, ook als die afwijking inhoudelijk juist is. Het gevolg: ontwikkelaars optimaliseren modellen voor woordovereenkomst in plaats van voor feitelijke nauwkeurigheid.

Het probleem heet het ‘one-to-many’ probleem. Eén video kan op tien manieren correct beschreven worden. De ene beschrijving focust op de mensen in beeld, de andere op de omgeving, de derde op de actie. Alle drie kunnen kloppen. Maar als je ze vergelijkt met één referentietekst, lijken er maar twee goed te zijn.

Dit klinkt als een academisch probleem, maar het heeft praktische gevolgen. Als jij AI-tools gebruikt om video’s te beschrijven, ondertitels te genereren of metadata aan te maken voor je website, dan trainen en beoordelen ontwikkelaars die tools op dit soort gebrekkige metrics. Ze mikken dus op iets wat niet overeenkomt met wat jij eigenlijk wilt: een beschrijving die klopt met wat er echt te zien is.

Ik gebruik zelf AI-tools voor contentproductie, en dit is een punt waar ik sceptisch over ben. Een hoge score op een benchmark zegt weinig als die benchmark het verkeerde meet. Het is vergelijkbaar met een leerling die goed is in overschrijven maar niet in begrijpen. In het AI-begrippen overzicht leg ik uit hoe dit soort evaluatieproblemen vaker opduiken bij taalmodellen.

Wat doet CapQuiz anders dan bestaande benchmarks?

CapQuiz beoordeelt een videobeschrijving niet door hem te vergelijken met een referentietekst, maar door te kijken of de beschrijving bruikbaar is om vragen over de video te beantwoorden. Die vragen zijn meerkeuze, door mensen geverifieerd, en verdeeld over tien vraagtypen in 24 videocategorieën. Een beschrijving is goed als je er de juiste antwoorden mee kunt vinden. Niet als hij toevallig op dezelfde woorden lijkt als een andere beschrijving.

Het idee is eenvoudig: als een beschrijving goed is, moet je er informatie uit kunnen halen die overeenkomt met wat er echt in de video gebeurt. CapQuiz stelt dus vragen die je alleen kunt beantwoorden als de beschrijving feitelijk klopt én voldoende detail bevat.

Daarvoor introduceert het onderzoek twee nieuwe maatstaven. CapP meet factualiteit: klopt wat er staat? CapR meet dekking: hoe volledig is de beschrijving? Samen geven ze de CapF1-score, een gecombineerde maatstaf die beter correleert met menselijke oordelen dan bestaande methoden.

Wat me aanspreekt: de vragen zijn door mensen geverifieerd. Dat is een stuk geloofwaardiger dan automatisch gegenereerde testsets, waarbij je het risico hebt dat de testset dezelfde fouten maakt als het model. Toch wil ik hier één voorbehoud maken: dit systeem is zelf ook afhankelijk van een AI-model dat de vragen beantwoordt op basis van de beschrijving. Dat model kan fouten maken. De benchmark is beter dan zijn voorgangers, maar niet perfect.

Voor wie meer wil weten over hoe AI-modellen onderling vergeleken worden: dit artikel over LLM model migratie laat zien hoe afhankelijk je van dit soort kwaliteitsverschillen bent als je overstapt van het ene naar het andere model.

Wat betekent dit als je AI inzet voor videocontentproductie?

Als ondernemer gebruik je AI misschien om ondertitels te maken, video’s samen te vatten of metadata te genereren voor je website. De kwaliteit van die output hangt af van hoe goed het onderliggende model video’s begrijpt. Onderzoek als CapQuiz laat zien dat de huidige manier van meten die kwaliteit onderschat of overschat. Dat heeft directe gevolgen voor welke tool je kiest en hoe je de output controleert.

Stel je vertrouwt op een AI-tool om productvideos op je webshop automatisch van beschrijvingen te voorzien. Die tool scoort goed op de benchmarks die het bedrijf op de marketingpagina noemt. Maar als die benchmarks het verkeerde meten, zegt die score weinig over of de beschrijvingen daadwerkelijk kloppen met wat er in de video te zien is.

Mijn advies is simpel: vertrouw niet blind op benchmark-claims van AI-tools. Kijk liever naar concrete voorbeelden. Laat de tool een video beschrijven die jij goed kent en controleer of de beschrijving klopt. Dat duurt vijf minuten en leert je meer dan een whitepaper vol grafieken.

Dit soort onderzoek is nuttig als context, maar het lost jouw probleem niet direct op. Het laat wel zien dat de industrie zelf worstelt met het definiëren van ‘goed’. Dat betekent dat jij als gebruiker kritisch moet blijven, ook als een tool indrukwekkend klinkt. De echte kosten van AI-implementatie zitten vaak in precies dit soort kwaliteitscontrole die je niet had verwacht.

Overigens: als je AI-tools inzet voor webdesign of contentproductie, is het de moeite waard om te kijken hoe Figma Weave herbruikbare AI-workflows opzet. Daarmee leg je tenminste vast wat je verwacht, ook al kun je de output nog niet automatisch meten.

Waarom één regel code veranderen zo gevaarlijk is?

Het aanpassen van een model naam in je code lijkt triviaal. Maar een nieuw model kan volledig andere JSON teruggeven, langere samenvattingen produceren, of tool-aanroepen in een andere volgorde afvuren. Je foutmeldingenlog blijft leeg. Je gebruikers krijgen rare antwoorden. Dat is het echte risico van een model migratie zonder plan.

Stel je bouwt een bestelassistent voor een webshop. Die roept een AI-model aan, dat JSON teruggeeft met velden als product_id, quantity en shipping_option. Je vervangt het model, de API reageert nog steeds, je dashboard zegt groen. Maar het nieuwe model geeft productId terug in camelCase. Je parser crasht niet. Hij leest gewoon een leeg veld en slaat een bestelling op zonder product-ID.

Dit is precies het probleem dat Microsoft Foundry beschrijft: model failures zijn vaak stil voor de systemen die het model aanroepen, maar luid voor de eindgebruiker. Dat maakt het zo lastig. Er is geen alarm. Alleen een groeiende supportwachtrij.

Eerlijk gezegd is dit het type fout dat ik zelf ook niet direct zou zien aankomen. Je denkt: ik verander een string, wat kan er misgaan? Veel, blijkt. Elk model heeft zijn eigen ‘karakter’ in hoe het formaten, hoe uitgebreid het antwoordt en hoe het tools aanroept. Dat karakter verandert bij elke generatiewissel. Een goed begrip van hoe LLMs werken helpt je hier sneller doorheen.

GPT-4o stopt op 1 oktober 2026: wat doe jij nu?

Microsoft maakt het concreet: GPT-4o (versie 2024-05-13) wordt op 1 oktober 2026 afgezet. De opvolger is GPT-5.1. Pay-as-you-go deployments worden automatisch omgezet, maar provisioned deployments (PTU) doe jij zelf. En automatisch omzetten betekent niet dat je app zich hetzelfde gedraagt.

Er zijn drie soorten deployments op Microsoft Foundry, en ze worden elk anders behandeld bij een pensionering:

• Standard / Global Standard / Data Zone Standard (pay-as-you-go): worden automatisch geüpgraded. Je bepaalt de timing via de instelling versionUpgradeOption. Kies je NoAutoUpgrade, dan stopt de deployment gewoon op de pensioneringsdatum.
• Provisioned (PTU): worden niet automatisch gemigreerd. Jij regelt dit zelf, in-place (20-30 minuten zonder downtime) of naast elkaar (side-by-side).
• Batch deployments: altijd side-by-side aanpak. Nieuw model deployen, jobs opnieuw indienen, oud model weggooien.

Microsoft maakt een vervangend model beschikbaar in Global Standard ongeveer 90 dagen voor pensionering, in provisioned regio’s 30 dagen van tevoren en in standaard regio’s 2 weken ervoor. Je hebt dus tijd, maar die raakt op als je wacht.

Mijn standpunt: begin nu met de validatie op GPT-5.1, ook als je deployment automatisch wordt omgezet. Automatisch verkeer omzetten bewijst niet dat je app zich hetzelfde gedraagt. Dat bewijs lever jij zelf.

De 6 fasen van een veilige model migratie

Microsoft Foundry beschrijft zes fasen: Discover, Assess, Adapt, Validate, Roll out en Retire. Elke fase heeft een duidelijk eindpunt. Geen fase overslaan, ook niet als het model ‘lijkt te werken’. De Adapt-fase is voor de meeste productie-apps de zwaarste en meest tijdrovende.

Hier zijn de zes fasen kort uitgelegd, met wat ik er zelf bij denk:

1. Discover: je hoort dat een model met pensioen gaat, of je wilt proactief upgraden. Einddoel: weet je wat er verandert en wanneer?
2. Assess: kies een kandidaat-model en check of het beschikbaar is in jouw regio, SKU en quota. Let op: prijsstructuren veranderen per generatie. Redeneer-tokens, gecachte input en structured-output overhead kunnen je kosten met factor 2 of meer verschuiven.
3. Adapt: speel je huidige workload af op het nieuwe model zonder aanpassingen. Kijk waar het gedrag afwijkt: verbositeit, JSON-structuur, tool-aanroepen. Pas daarna je prompts, parameters en output-schema’s aan.
4. Validate: run een evaluatiesuite met concrete kwaliteitscriteria. Azure AI Evaluation SDK heeft meer dan 30 evaluatoren, inclusief LLM-as-judge (dat is een AI die de output van een andere AI beoordeelt).
5. Roll out: stuur eerst een klein percentage verkeer naar het nieuwe model (canary deployment). Meet live kwaliteit naast latency en foutpercentages. Houd rollback mogelijk.
6. Retire: gooi het oude deployment weg, archiveer je evaluatie-artifacts en noteer wat je hebt geleerd.

Fase 0 staat er eigenlijk voor: bouw een testdataset van echte productie-input vóór je begint. Zonder die dataset heb je niets om tegen te valideren. En die dataset moet je nu al loggen, want productie-logs zijn niet retroactief beschikbaar.

Welke tools helpen je door elke fase heen?

Microsoft Foundry heeft voor elke fase specifieke tooling: van model-pensioneringschema’s en leaderboards in Assess, tot de Prompt Optimizer in Adapt en de Azure AI Evaluation SDK in Validate. De tooling is goed, maar er zijn ook gaten waar je zelf iets moet bouwen.

Wat goed werkt in de Foundry toolchain:

• Discover: het model-pensioneringschema en de Models API geven je programmatische toegang tot pensioneringsdatums en vervangers. Ideaal voor een interne notificatielaag.
• Assess: model leaderboards vergelijken kwaliteit, veiligheid, kosten, doorvoer en latency. Je kunt tot drie modellen naast elkaar vergelijken.
• Adapt: de Prompt Optimizer in de Foundry Agent playground helpt je prompts aanpassen. Een simulator genereert synthetische testdata als je geen productie-data hebt.
• Validate: Azure AI Evaluation SDK met 30+ evaluatoren. Inclusief LLM-as-judge voor kwalitatieve beoordeling.
• Roll out: automatische upgrade-opties, continuous evaluation en Azure Monitor alerts.
• Retire: de Models API geeft een 410 Gone terug als een model echt offline is. Je observability dashboard toont het deployment-aantal.

Waar het soms misgaat: teams ontdekken een pensionering via e-mail of een productie-fout, in plaats van via een gestructureerd systeem. En soms blijkt een gekozen model niet beschikbaar in de vereiste regio, iets wat je pas ontdekt als de planning al klaar is. Dat is vervelend. Mijn advies: valideer beschikbaarheid in jouw specifieke regio als eerste stap in de Assess-fase, niet als laatste.

Als je meer wilt weten over wat AI-implementatie in de praktijk kost, ook buiten de licentiekosten, bekijk dan wat AI implementatie echt kost aan tijd en aanpassing.

Wat moet jij nu concreet doen als je een AI-app draait?

Check welk model je deployment gebruikt en wanneer dat model met pensioen gaat. Zet logging aan als je dat nog niet hebt. Start alvast met het bouwen van een testdataset op basis van echte productie-input. Wacht niet op een pensioneringsbericht.

Drie concrete stappen die je deze week kunt zetten:

1. Check je deployment type. Gebruik je Standard of Provisioned? Bij Provisioned doe jij de migratie zelf. Dat wil je weten voordat de deadline nadert.
2. Zet content capture aan. Log je prompts, responses, latency en token-aantallen nu. Dit is opt-in en nooit retroactief. Zonder logs heb je geen testdataset voor Validate.
3. Plan een side-by-side test. Draai je huidige workload op GPT-5.1 naast je huidige model. Kijk waar de output afwijkt. Dat hoeft niet perfect te zijn, maar je wilt weten waar de risico’s zitten voordat je live gaat.

Overigens: je hoeft niet te wachten op een pensioneringsbericht om te beginnen. Als een nieuw model betere kwaliteit of lagere kosten biedt, is dat reden genoeg om het proces te starten. Een geplande migratie is altijd minder stressvol dan een gedwongen upgrade op een datum die je niet hebt gekozen.

Voor bredere context over hoe AI-tools en -modellen zich in 2026 ontwikkelen, is het ook de moeite waard om te volgen hoe grote platforms als Google hun AI-functies uitrollen en wat dat voor afhankelijkheden in je toolstack betekent.