Chatgpt heeft geheugen van een goudvis

Je bent middenin een belangrijk gesprek met ChatGPT over een complex project. Plots lijkt de AI-chatbot alles te zijn vergeten wat jullie de afgelopen uren hebben besproken. Herkenbaar? Dan ben je niet de enige die worstelt met een van de meest frustrerende eigenschappen van moderne AI-chatbots: hun geheugen is korter dan dat van een goudvis.

De vergeetachtige assistent die alles weet

AI-chatbots hebben een paradoxaal probleem. Ze beschikken over enorme hoeveelheden kennis uit hun training, maar kunnen vaak niet eens onthouden wat je vijf minuten geleden tegen ze zei. De oorzaak ligt in wat techneuten een 'contextvenster' noemen, de beperkte hoeveelheid informatie die een chatbot tegelijk kan 'zien' en gebruiken.

"Het is alsof je een gesprek voert met iemand die een oneindige jetlag heeft," beschrijft BotStacks het probleem kernachtig. Een treffende vergelijking: stel je voor dat je college-aantekeningen steeds worden weggegomd zodra je bladzijde vol is.

Deze contextvensters variëren van zo'n 4.000 tokens (ongeveer 3.000 woorden) bij oudere modellen tot 200.000 tokens bij nieuwere systemen. Dat klinkt veel, maar in een uitgebreid gesprek over bijvoorbeeld een onderzoeksproject of code-review is die ruimte snel vol.

Wanneer vergeten pijnlijk wordt

De frustraties zijn herkenbaar en divers. Op OpenAI's community-forum delen gebruikers hun irritaties: "ChatGPT heeft ineens alle context van mijn hele gesprek verloren. Nu geeft het vreemde antwoorden die helemaal losstaan van wat we bespraken". Een andere gebruiker beschrijft hoe zijn zakelijke AI-chatbot ineens niet meer wist waar ze het over hadden: "Mijn bedrijf is voor een deel afhankelijk van ChatGPT. Dit zorgt voor professionele onbetrouwbaarheid".

⚠️ Vooral bij complexe taken wordt contextverlies problematisch: tijdens het debuggen van code, bij het redigeren van lange documenten, of wanneer je een chatbot instrueert met specifieke bedrijfsregels die later worden 'vergeten'.

Onderzoek van Bohrium naar gebruikersfrustraties toont vier hoofdoorzaken van teleurstelling bij chatbots: slecht begrip van de semantiek, gebrek aan personalisatie, te weinig menselijkheid, en incompetentie. Contextverlies versterkt elk van deze problemen.

Nederlandse ervaring

Nederlandse consumenten zijn bijzonder kritisch over AI-chatbots. Uit onderzoek van Emerce blijkt dat 61% van de Nederlanders vindt dat het slecht herkennen van emoties meer een karaktertrek van AI is dan van mensen. Patrick Meutzner van Trengo observeert: "Chatbots kunnen simpele vragen beantwoorden, maar kunnen het menselijk contact niet vervangen".

De cijfers spreken boekdelen: 64% van de Nederlandse consumenten heeft geen positieve associatie met chatbots, en 65% bestelt liever bij webwinkels met menselijke klantenservice. Het contextverlies draagt direct bij aan deze negatieve perceptie.

💡 Opvallend: Nederlanders versimpelen hun vragen als ze met een chatbot praten, omdat ze weten dat complexe context vaak verloren gaat.

Creatieve oplossingen van gebruikers

Gebruikers hebben zelf slimme workarounds (noodoplossingen) ontwikkeld. Een populaire methode is het regelmatig samenvatten van gesprekken: "Schrijf een coherente, onafhankelijke samenvatting van het hele gesprek en voeg 'laten we doorgaan' toe". Dit reset de context effectief.

Technische doorbraken in aantocht

Wetenschappers werken koortsachtig aan oplossingen. MIT-onderzoekers ontwikkelden 'StreamingLLM', een systeem dat de eerste vier tokens van een gesprek altijd behoudt — vergelijk het met het vastzetten van je belangrijkste notities. Hierdoor presteren chatbots net zo goed na 4 miljoen woorden als aan het begin van een gesprek. OpenAI test een methode om ChatGPT's langetermijngeheugen te verbeteren, zodat gebruikers gesprekken kunnen voortzetten en een werkrelatie opbouwen. Gebruikers kunnen verzoeken om specifieke informatie te onthouden, en deze herinneringen blijven bewaard tenzij de gebruiker ze weer verwijdert.

 Meta werkt aan een slim 'flashcard-systeem' voor AI-chatbots, waarin belangrijke feiten snel terug te vinden zijn. Google pakt het anders aan: hun Titan-model werkt net als het menselijk geheugen, met een kortetermijngeheugen voor actieve gesprekken, een langetermijngeheugen voor basiskennis en een vast geheugen voor geleerde vaardigheden. Beide systemen moeten chatbots helpen informatie beter te onthouden en te gebruiken

Soms is vergeten ook een voordeel

Niet alle contextverlies is negatief. Stefan Bauschard wijst erop dat een 'schone lei' handig kan zijn bij het starten van nieuwe onderwerpen. Privacy-bewuste gebruikers waarderen dat gevoelige informatie niet permanent wordt opgeslagen. Sommige gebruikers schakelen bewust tussen chatbots met en zonder geheugen: "Mogelijk kies ik ervoor om bij ChatGPT wel gesprekken te laten onthouden, en bij Claude niet. Zodat ik kan vergelijken".

De toekomst van AI-geheugen

De race om AI-geheugen te verbeteren gaat verder dan alleen grotere contextvensters. Het gaat om slimmere, meer mensachtige geheugenvormen. Bedrijven zoals Botstacks investeren in 'smart context management' — systemen die automatisch bepalen wat belangrijk is om te onthouden.

Blijft de vraag: willen we werkelijk AI-chatbots die alles onthouden? Of is een beetje vergeetachtigheid soms juist menselijk en daarom vertrouwd?