Wat is Inferentie?

Inferentie is het moment waarop een getraind AI-model aan het werk gaat. Je geeft het model nieuwe invoer en het geeft een antwoord of voorspelling. Het model leert dan niet meer, maar gebruikt wat het al geleerd heeft.

Hoe werkt het?

Een AI-model heeft twee grote fases.

• Training: het model leert van veel data. Dit kost veel tijd en rekenkracht.
• Inferentie: het model gebruikt de kennis om iets nieuws te beantwoorden.

Elke keer dat je een vraag typt in een chatbot, gebeurt er inferentie. Het model neemt jouw tekst, rekent met zijn parameters en maakt een antwoord. Dat gebeurt meestal op krachtige computers in een datacentrum. Sommige kleine modellen doen het direct op je eigen apparaat.

Het model past zichzelf tijdens inferentie meestal niet aan. Het onthoudt dus niet vanzelf wat jij hebt gezegd om er later slimmer van te worden. Het gebruikt alleen de tekst die in het gesprek staat.

Een voorbeeld uit de praktijk

Je maakt een foto van een plant met een app die planten herkent. De app stuurt de foto naar een model. Dat model is al lang geleden getraind op miljoenen plantenfoto’s. Nu vergelijkt het jouw foto met wat het kent en zegt: dit is waarschijnlijk een monstera. Die herkenning is inferentie.

Waarom is dit belangrijk voor jou?

Het begrip helpt je om te snappen waar kosten, snelheid en privacy vandaan komen.

• Elke vraag kost rekenkracht en dus energie.
• Een antwoord kan sneller zijn als het model klein is of op je eigen apparaat draait.
• Als het model op een server draait, gaat jouw invoer naar die server. Let dus op welke gegevens je invult.

Zo kun je betere keuzes maken bij het gebruik van AI-tools op werk en thuis.