Wat is Contextvenster?

Het contextvenster is de hoeveelheid tekst die een AI-model tegelijk kan lezen en onthouden tijdens een gesprek. Past iets niet meer in dat venster, dan is het voor het model alsof het er niet is.

Hoe werkt het?

Een taalmodel onthoudt een gesprek niet zoals een mens. Bij elk nieuw antwoord krijgt het de hele tekst die nog in het venster past opnieuw te zien. Daarin zitten je vragen, zijn eerdere antwoorden en eventuele documenten die je hebt geplakt.

De grootte wordt gemeten in tokens. Een token is een stukje tekst, ongeveer een woord of een deel van een woord. Elk model heeft een maximum aantal tokens. Gaat het gesprek langer, dan gebeurt er iets van dit:

• De oudste delen vallen weg.
• Het model vergeet vroege afspraken of details.
• Antwoorden worden minder precies of spreken eerder gegeven informatie tegen.

Een voorbeeld uit de praktijk

Je plakt een lang rapport in een chatbot en vraagt om een samenvatting. Het werkt goed. Na een lang gesprek vraag je iets over een detail uit het begin van het rapport. De chatbot geeft een vaag of fout antwoord. Het begin zit dan waarschijnlijk niet meer in het contextvenster. Een nieuw gesprek starten met alleen de belangrijke delen lost dit vaak op.

Waarom is dit belangrijk voor jou?

Als je het contextvenster kent, snap je waarom een AI soms dingen vergeet. Je kunt er slim mee omgaan:

• Houd je vraag en je bronnen kort en duidelijk.
• Herhaal belangrijke afspraken af en toe.
• Begin een nieuw gesprek bij een nieuw onderwerp.
• Een groter venster is handig, maar het model kan ook dan details missen.

Plak bovendien geen vertrouwelijke informatie in een chat die je niet mag delen.