Alisina NawabiJe kunt per taak het juiste type AI-model kiezen, klein, groot of redeneermodel, op de afweging tussen kwaliteit, kosten en snelheid, en je meet die keuze op je eigen werk in plaats van op een ranglijst.
Handig vooraf: Wat kost AI
Je grijpt naar het grootste, nieuwste model omdat dat het slimste is. Dat is de duurste manier om een trager, en soms slechter, product te bouwen.
Neem twee taken bij hetzelfde bedrijf. Een supportbot die veelgestelde vragen beantwoordt uit je eigen handleiding: een klein, snel model doet dat in een oogwenk, voor een fractie van de prijs, en de klant merkt vooral hoe snel het antwoord komt. En een contract dat juridisch moet worden uitgeplozen, in stappen, met randvoorwaarden die elkaar raken: daar verdient een groot redeneermodel zijn hogere prijs en tragere tempo dubbel en dwars terug.
Draai je die twee om, dan gaat het allebei mis. De supportbot wordt duur en traag zonder dat iemand er beter van wordt, en het contract krijgt een te klein model dat zelfverzekerd het verkeerde antwoord geeft. Zelfde product, twee verschillende modelkeuzes. Dat is de hele les: er is geen beste model, er is een juist model per taak.
Een AI-model kiezen is dus geen zoektocht naar de winnaar van een ranglijst. Het is een afweging per taak tussen drie dingen die tegen elkaar in werken: kwaliteit, kosten en snelheid. Een groter model is meestal slimmer, maar duurder en trager. Een kleiner model is goedkoper en sneller, en voor veel taken meer dan genoeg. Je kiest het type dat bij de taak past, en je meet het daarna op je eigen werk.
Loop je eigen taak eens door deze boom. Begin bij de taak, niet bij het model.
De boom heeft drie assen die niet los van elkaar staan. Duw aan kwaliteit en je betaalt in kosten en snelheid. Duw aan kosten en snelheid en je levert kwaliteit in. Geen enkel model wint op alle drie tegelijk, en dat is precies waarom "het beste model" niet bestaat.
Je kiest ook niet voor elke rit hetzelfde voertuig. Voor de boodschappen pak je de fiets, voor een verhuizing de bestelbus. Een klein model is de fiets: snel, goedkoop, prima voor de meeste ritjes. Een groot redeneermodel is de bestelbus: duurder en langzamer, maar de enige die de zware klus aankan. De fiets pakken voor de verhuizing werkt niet, en de bestelbus pakken voor een brood is zonde van je tijd en geld.
Wanneer verdient een groot model zijn prijs terug?
De eerlijkste volgorde is bijna altijd dezelfde: begin met een klein, snel model, test het grondig, en stap pas op als de kwaliteit echt tekortschiet. Niet andersom. Standaard naar het grootste grijpen kost je geld en tijd zonder dat het antwoord beter wordt.
Een redeneermodel loont pas als de taak er echt om vraagt: ambigue instructies, verbanden zoeken door een lastig document, of een plan in meerdere stappen, zoals het uitpluizen van een juridisch contract. Precies die dingen waar een groot model eerst moet nadenken. Voor het uitvoeren van een strak omschreven taak, of iets waar snelheid telt, is een klein model beter, want daar is het denkwerk verspilling.
De keuze heeft meer assen dan groot tegen klein. Hoeveel de meter op tokens loopt en niet per bericht bepaalt de kostenkant. Hoe snelheid eigenlijk twee klokken is en niet een getal bepaalt of de gebruiker het merkt. Of je een model nodig hebt dat eerst nadenkt op een onzichtbaar kladblok hangt af van hoe moeilijk en meerstaps de taak is. Daarnaast: past je invoer nog in het contextvenster, moet het model beeld, document of geluid kunnen lezen, en moet je een open model zelf draaien om gevoelige data binnen te houden. Elk van die vragen verschuift het antwoord.
In één product gebruik je vaak meerdere modellen naast elkaar. Een klein model handelt de simpele tachtig procent af, een groot of redeneermodel pakt de moeilijke twintig procent. Dat is geen halfslachtige keuze, dat is de goedkoopste manier om overal goed te zitten.
Wat voor taak is het vooral?
Twee valkuilen blijven over. De eerste: het nieuwste of duurste model is niet automatisch het beste voor jou. Voor veel taken is het duurdere model alleen trager en prijziger, zonder een beter antwoord. De tweede: een ranglijst meet niet jouw werk. Een benchmark draait op iemand anders zijn taak en data, en hetzelfde model kan bovenaan een lijst staan en alsnog omvallen op jouw documenten. Daarom is de belangrijkste stap een kleine eigen test: neem tien tot twintig echte gevallen uit je eigen werk en vergelijk de modellen daarop, op antwoordkwaliteit, kosten en snelheid samen. Die test zegt meer dan elke ranglijst.
Kiezen doe je dus per taak, niet uit gewoonte. Beschrijf eerst de taak: hoe moeilijk, hoeveel volume, hoe snel het moet, hoe gevoelig de data. Match daar een modeltype op, meet het op je eigen werk, en herzie de keuze als de modellen veranderen. Want dat doen ze snel, en de vaardigheid die blijft is niet het onthouden van een winnaar, maar het maken van de afweging.
Veelgestelde vragen
Het juiste model per taak
Ik denk met je mee welk model bij welke taak past, ontwerp de afweging en bouw het end-to-end: een klein model voor het simpele werk, een groot of redeneermodel waar het telt. Zo betaal je nergens te veel en levert het waar het moet.
Dit artikel is geproduceerd samen met het Agent Team. Meer over de redactie.
