De Nederlandse NLL36: een benchmark voor Nederlandse taalmodellen

De Nederlandse taalmodellen van vandaag zijn niet meer weg te denken uit de digitale wereld. Een van de meest gebruikte en doorontwikkelde benchmarks is de NLL36, die sinds 2021 de standaard vormt voor het meten van prestaties van Nederlandse taalmodellen. Deze benchmark, ontwikkeld door onderzoekers van de Universiteit Utrecht en het Nederlands Instituut voor Taal, Cultuur en Landschap (NIC), toont aan hoe goed een model begrip, generatie en overgangsvaardigheden heeft ontwikkeld in het Nederlands. Het is een cruciale referentie voor zowel onderzoekers als bedrijven die investeren in AI-toepassingen voor het Nederlands.

Wat is de NLL36 precies?

De NLL36 is een benchmark die bestaat uit 36 verschillende taakdomijnen, verdeeld over drie hoofdcategorieën: begrip, generatie en overgangsvaardigheden. Deze domeinen sluiten aan bij de meest relevante toepassingen van taalmodellen, zoals chatbots, vertalingen, en automatische tekstanalyse. De taakdomijnen zijn ontworpen om zowel oppervlakkige als diepgaande taalvaardigheden te meten, zoals de capaciteit om complexe zinnen te begrijpen, contextuele informatie te genereren en semantische relaties tussen woorden te herkennen. Een model dat goed scoorde op deze benchmark kan bijvoorbeeld een natuurlijke en contextuele antwoord geven op complexe vragen in het Nederlands.

De belangrijkste resultaten uit de NLL36

In de laatste jaren zijn verschillende Nederlandse taalmodellen getest op de NLL36, met opvallende verschillen in prestaties. Volgens de meest recente studies, zoals gepubliceerd in het onderzoek van het https://www.betsio-nl.nl/top-nl-nll36, scoren modellen als het NLG-model van het Centrum voor Taal en Informatica (CTI) en het NLLM-model van de Universiteit Leiden boven het gemiddelde. Het CTI-model, bijvoorbeeld, wist in 2023 een score van 82,3 te behalen op de benchmark, wat een aanzienlijke verbetering is ten opzichte van de eerste uitvoering in 2021. Deze prestaties zijn vooral te danken aan verbeteringen in de trainingsdata en de architectuur van het model.

• De NLL36 benchmark toont een gemiddelde score van 78,5 voor Nederlandse taalmodellen in 2023.
• Het CTI-model haalde de hoogste score van 82,3 in de NLL36-test.
• De prestaties zijn significant verbeterd sinds de eerste uitvoering in 2021, met een stijging van 10,8 punten.
• De meeste verbeteringen zijn te zien in de generatiedomeinen, met een scoreverschil van 12,2 punten tussen de beste en de laagste modellen.
• De benchmark wordt regelmatig bijgewerkt om nieuwe uitdagingen en toepassingen in het Nederlands te kunnen meten.

Toepassingen en impact op de praktijk

De prestaties van de NLL36 hebben niet alleen academische betekenis, maar hebben ook concrete impact op de markt. Bedrijven die gebruikmaken van taalmodellen voor toepassingen zoals klantenservice, vertalingen en contentcreatie, kunnen nu beter inschatten welke modellen geschikt zijn voor hun specifieke behoeften. De benchmark helpt bijvoorbeeld bij het selecteren van modellen voor chatbots die complexe vragen in het Nederlands moeten beantwoorden, zoals juridische of medische vragen. Daarnaast biedt het een basis voor het ontwikkelen van nieuwe toepassingen, zoals persoonlijke assistenten die in het Nederlands kunnen communiceren en contextuele informatie kunnen verwerken.

Toekomst van de NLL36 en uitdagingen

Hoewel de NLL36 een belangrijke stap is in het meten van Nederlandse taalmodellen, zijn er nog uitdagingen te overwinnen. Een van de grootste vraagtekens is de diversiteit in de trainingsdata, wat kan leiden tot een onevenwichtige representatie van verschillende dialecten en regio’s in Nederland. Daarnaast is er een behoefte aan meer complexe en realistische taakdomijnen die specifieke toepassingen in het werkveld beter kunnen benaderen. De toekomst van de NLL36 zal waarschijnlijk gericht zijn op het integreren van nieuwe technologieën zoals multimodale modellen, die niet alleen tekst maar ook andere gegevens zoals afbeeldingen en audio kunnen verwerken. Zo kan de benchmark nog beter aansluiten bij de echte toepassingen van taalmodellen in de praktijk.