Waarom de huidige manier van meten niet klopt?

Stel je voor: je laat een AI een video beschrijven en vergelijkt die tekst met een handmatig geschreven referentie. Als de woorden niet overeenkomen, scoort de AI slecht. Maar wat als de AI-beschrijving gewoon een andere invalshoek kiest, en toch correct is? Dat is precies het probleem met gangbare meetmethoden voor videobeschrijvingen. Ze straffen afwijking af, ook als die afwijking inhoudelijk juist is. Het gevolg: ontwikkelaars optimaliseren modellen voor woordovereenkomst in plaats van voor feitelijke nauwkeurigheid.

Het probleem heet het ‘one-to-many’ probleem. Eén video kan op tien manieren correct beschreven worden. De ene beschrijving focust op de mensen in beeld, de andere op de omgeving, de derde op de actie. Alle drie kunnen kloppen. Maar als je ze vergelijkt met één referentietekst, lijken er maar twee goed te zijn.

Dit klinkt als een academisch probleem, maar het heeft praktische gevolgen. Als jij AI-tools gebruikt om video’s te beschrijven, ondertitels te genereren of metadata aan te maken voor je website, dan trainen en beoordelen ontwikkelaars die tools op dit soort gebrekkige metrics. Ze mikken dus op iets wat niet overeenkomt met wat jij eigenlijk wilt: een beschrijving die klopt met wat er echt te zien is.

Ik gebruik zelf AI-tools voor contentproductie, en dit is een punt waar ik sceptisch over ben. Een hoge score op een benchmark zegt weinig als die benchmark het verkeerde meet. Het is vergelijkbaar met een leerling die goed is in overschrijven maar niet in begrijpen. In het AI-begrippen overzicht leg ik uit hoe dit soort evaluatieproblemen vaker opduiken bij taalmodellen.

Wat doet CapQuiz anders dan bestaande benchmarks?

CapQuiz beoordeelt een videobeschrijving niet door hem te vergelijken met een referentietekst, maar door te kijken of de beschrijving bruikbaar is om vragen over de video te beantwoorden. Die vragen zijn meerkeuze, door mensen geverifieerd, en verdeeld over tien vraagtypen in 24 videocategorieën. Een beschrijving is goed als je er de juiste antwoorden mee kunt vinden. Niet als hij toevallig op dezelfde woorden lijkt als een andere beschrijving.

Het idee is eenvoudig: als een beschrijving goed is, moet je er informatie uit kunnen halen die overeenkomt met wat er echt in de video gebeurt. CapQuiz stelt dus vragen die je alleen kunt beantwoorden als de beschrijving feitelijk klopt én voldoende detail bevat.

Daarvoor introduceert het onderzoek twee nieuwe maatstaven. CapP meet factualiteit: klopt wat er staat? CapR meet dekking: hoe volledig is de beschrijving? Samen geven ze de CapF1-score, een gecombineerde maatstaf die beter correleert met menselijke oordelen dan bestaande methoden.

Wat me aanspreekt: de vragen zijn door mensen geverifieerd. Dat is een stuk geloofwaardiger dan automatisch gegenereerde testsets, waarbij je het risico hebt dat de testset dezelfde fouten maakt als het model. Toch wil ik hier één voorbehoud maken: dit systeem is zelf ook afhankelijk van een AI-model dat de vragen beantwoordt op basis van de beschrijving. Dat model kan fouten maken. De benchmark is beter dan zijn voorgangers, maar niet perfect.

Voor wie meer wil weten over hoe AI-modellen onderling vergeleken worden: dit artikel over LLM model migratie laat zien hoe afhankelijk je van dit soort kwaliteitsverschillen bent als je overstapt van het ene naar het andere model.

Wat betekent dit als je AI inzet voor videocontentproductie?

Als ondernemer gebruik je AI misschien om ondertitels te maken, video’s samen te vatten of metadata te genereren voor je website. De kwaliteit van die output hangt af van hoe goed het onderliggende model video’s begrijpt. Onderzoek als CapQuiz laat zien dat de huidige manier van meten die kwaliteit onderschat of overschat. Dat heeft directe gevolgen voor welke tool je kiest en hoe je de output controleert.

Stel je vertrouwt op een AI-tool om productvideos op je webshop automatisch van beschrijvingen te voorzien. Die tool scoort goed op de benchmarks die het bedrijf op de marketingpagina noemt. Maar als die benchmarks het verkeerde meten, zegt die score weinig over of de beschrijvingen daadwerkelijk kloppen met wat er in de video te zien is.

Mijn advies is simpel: vertrouw niet blind op benchmark-claims van AI-tools. Kijk liever naar concrete voorbeelden. Laat de tool een video beschrijven die jij goed kent en controleer of de beschrijving klopt. Dat duurt vijf minuten en leert je meer dan een whitepaper vol grafieken.

Dit soort onderzoek is nuttig als context, maar het lost jouw probleem niet direct op. Het laat wel zien dat de industrie zelf worstelt met het definiëren van ‘goed’. Dat betekent dat jij als gebruiker kritisch moet blijven, ook als een tool indrukwekkend klinkt. De echte kosten van AI-implementatie zitten vaak in precies dit soort kwaliteitscontrole die je niet had verwacht.

Overigens: als je AI-tools inzet voor webdesign of contentproductie, is het de moeite waard om te kijken hoe Figma Weave herbruikbare AI-workflows opzet. Daarmee leg je tenminste vast wat je verwacht, ook al kun je de output nog niet automatisch meten.

Wat een Figma Weave-workflow concreet is

Een Weave-workflow is een soort recept: een keten van AI-acties waar je inputs aan geeft en een visueel resultaat uit krijgt. De workflow zelf bevat al je merkkleuren, fonts en stijl-aanwijzingen, dus je hoeft die niet steeds opnieuw te tikken.

Concreet bij een klant: ik bouwde een workflow genaamd Instagram-post Bouwbedrijf Janssen. Inputs: een productfoto en een korte tekst. Outputs: drie variaties op de social-post in de huisstijl, met de juiste typografie, kleurpaletten en een licht warme tint over de foto.

De klant gebruikt die workflow zelf elke week. Hij hoeft niet te weten wat een hex-code is of hoe een prompt werkt. Hij upload een foto, typt zijn tekst, krijgt drie posts. De stijl klopt elke keer.

Wanneer Weave bij mij echt productief is

Voor herhaalbaar werk waar consistentie belangrijker is dan eenmalige creativiteit. Social media posts, productfoto-varianten, marketing-banners op standaard formaten. Voor unieke campagnes met een eigen stijl is een gewone Figma-sessie sneller.

Bij mijn klanten zie ik twee groepen: kleine bedrijven die wekelijks 5 social-posts willen, en e-commerce-klanten die voor elk product een banner willen in de huisstijl. Voor beide groepen is Weave een gigantische tijdwinst. Wat vroeger een halve dag werk was, is nu een uur.

Wat het minder geschikt maakt: éénmalige campagne-uitingen die juist opvallen omdat ze van de norm afwijken. Daar zit Weave je in de weg, want hij dwingt je in een vooraf-gedefinieerde stijl. Voor zulke gevallen pak ik een gewone Figma-sessie zonder workflow.

Hoe ik een Weave-workflow opzet bij een nieuwe klant

Eerst een DESIGN.md-achtige basis vastleggen (kleuren, fonts, stijlregels), daarna een Weave-workflow per use-case bouwen, dan testen met de klant zelf en finetunen. Drie tot vijf workflows is meestal genoeg voor een MKB-klant.

Mijn vaste aanpak in vijf stappen: één: bekijk welke visuele uitingen de klant wekelijks of maandelijks nodig heeft. Twee: leg de huisstijl vast in een document zoals DESIGN.md. Drie: bouw één workflow voor de meest voorkomende uiting (vaak Instagram of LinkedIn). Vier: laat de klant zelf drie posts genereren en kijk waar de output afwijkt van wat zij willen. Vijf: finetune de workflow tot de output 80 procent goed is zonder handmatig nawerk.

Die laatste stap is belangrijk. Een workflow op 100 procent afstellen is onmogelijk en zinloos: er blijft altijd handwerk over. Maar 80 procent automatisch met 20 procent finetune is veel beter dan 0 procent automatisch.

Wat Weave nog niet goed doet

Werkelijk grafische originaliteit en ongewone composities. Plus: vergankelijke trends. Workflows zijn statisch, maar trends in social design veranderen om de zes maanden. Wie zijn workflows een jaar lang niet bijwerkt, valt achter.

Wat ik bij klanten merk: een workflow die zes maanden geleden modern aanvoelde, oogt na een jaar lichtelijk gedateerd. De typografie-trends, het soort animatie, de kleurnuances, alles schuift langzaam op. Mijn aanbeveling aan klanten: één keer per twee kwartalen een halve dag besteden aan workflows opnieuw afstellen.

Voor de echte vrijheid in design pak ik bij klantcampagnes nog steeds een blanco Figma-bestand. Weave is voor het werk dat herhaalt, niet voor het werk dat opvalt.