Zo laat ik AI mij overhoren

Twee onderzoeken over AI en leren kwamen vorig jaar tot bijna tegengestelde uitkomsten. Bij MIT lieten onderzoekers 54 mensen een essay schrijven, een deel met ChatGPT erbij. Die groep liet de zwakste hersenactiviteit zien, en na een dag kon ongeveer 17 procent van hen het eigen stuk nog correct citeren, tegen ongeveer 46 procent van de mensen die zonder hulp hadden geschreven. Aan Harvard kregen 194 natuurkundestudenten dezelfde lesstof twee keer: een keer in een actieve werkgroep met een ervaren docent, een keer thuis met een AI-tutor die de docenten zelf hadden ingericht. Met die tutor leerden ze ongeveer twee keer zoveel, in minder tijd.

Dat lijkt tegenstrijdig tot je kijkt wat de AI in beide gevallen deed. In het eerste geval schreef hij jouw stuk. In het tweede geval stelde hij jou vragen over de stof. De techniek is bijna hetzelfde, de rol niet.

Ik las beide studies pas deze zomer. De methode die eruit volgt had ik toen al een half jaar in gebruik, en niet omdat ik onderzoek had gelezen. Omdat een uitlegpoging in maart volledig mislukte.

Het was geen uitlegprobleem

Ik wilde beter begrijpen hoe mijn eigen spullen werkten. De boel draaide, maar ik kon niet altijd navertellen waaróm. Dus vroeg ik om uitleg. Wat ik terugkreeg was correct en volstrekt onbruikbaar: abstracte voorbeelden over een winkelwagentje en een fictieve gebruikerstabel. Ik snapte het tijdens het lezen en was het een dag later kwijt.

Mijn eerste diagnose was dat de uitleg te moeilijk was. Dat was verkeerd. Het probleem was het materiaal. Een AI die een algemene vraag krijgt, antwoordt met het gemiddelde van alles wat hij ooit heeft gezien, en dat gemiddelde gaat over niemand. Het ging niet over mijn server, mijn instellingen, mijn storing van vorige maand.

Het gereedschap: Notebook

Wat dat oploste is Notebook van Google, dat je misschien nog kent als NotebookLM. Het verschil met een gewone chat is dat je er eerst bronnen in zet en dat het daarna alleen daaruit antwoordt. Documenten, pdf's, websites, video's: het gaat met vrijwel alles overweg.

Wat het bruikbaar maakt voor leren zit in Studio, het onderdeel waar het dingen van je bronnen maakt. Een gesproken samenvatting waarin twee stemmen jouw materiaal bespreken, en een quiz over precies die stof. Inmiddels kan het er ook zelf bronnen bij zoeken om je onderwerp completer te maken, wat handig is als je materiaal een gat heeft dat je zelf nog niet ziet. En je kunt een notebook delen, dus wat je voor jezelf maakt kun je aan een collega geven.

Gebruik het voor onderwerpen waar algemene kennis over bestaat en waar jij je in wilt inwerken. Precies waar het tekortschiet is de plek waar mijn maartprobleem zat: het weet niets van jouw situatie zolang jij die er niet in stopt.

Zet er geen code of data in

De verleiding is dan om je hele projectmap, een export of een database er maar in te kieperen. Doe dat niet.

Twee redenen. Het is er niet voor gemaakt, dus je krijgt oppervlakkige antwoorden over bestanden in plaats van uitleg over hoe iets werkt. En bij data komt er een tweede probleem bij: alles wat je uploadt gaat naar buiten. Voor werkbestanden met gegevens van anderen wil je die vraag niet eens hoeven stellen.

De omweg is korter dan hij klinkt. Vraag je eigen AI-assistent, die je code en je aantekeningen wél mag zien, om er lesmateriaal van te schrijven. Eén document, in gewone taal, met de stukjes code die ertoe doen erin geciteerd. Dat document gaat naar Notebook. Je code blijft waar hij hoort.

Hoe dat er in de praktijk uitziet

Neem mijn eigen serverpje. Daar draait een handvol programma's naast elkaar, met een voordeur ervoor die het verkeer verdeelt en de beveiligingscertificaten regelt. Ik had het gebouwd, het werkte, en ik snapte de helft.

Ik heb mijn assistent gevraagd daar een lesdocument van te maken. Wat eruit kwam waren zes hoofdstukken over mijn eigen installatie. Met mijn eigen configuratiebestand erin geciteerd, en met de avond van 17 maart als apart hoofdstuk, toen alles tegelijk offline lag door een certificaatprobleem. Elk hoofdstuk eindigt met een vraag.

Dat is het verschil met een handleiding. Een handleiding legt uit hoe zoiets in het algemeen werkt. Dit legde uit waarom míjn boel die avond omviel, en die avond was ik niet vergeten.

Dat document ging naar Notebook, samen met een paar officiële documentatiepagina's als tegenwicht. Daarna kon ik ermee aan de slag.

Ik wil begrijpen hoe [onderwerp] werkt in mijn eigen project. Schrijf daar één lesdocument over van vijf tot zes hoofdstukken, dat ik als bron in Notebook ga laden.

Voorwaarden: gebruik mijn echte bestanden en instellingen als voorbeeld en citeer de relevante stukken letterlijk met bestandsnaam erbij. Gebruik geen algemene voorbeelden. Neem storingen of fouten die ik zelf heb gehad op als apart hoofdstuk, want daar zit het meeste leerbaar materiaal in. Leg elk begrip uit via een vergelijking met iets waar ik al verstand van heb. Sluit elk hoofdstuk af met één vraag die toetst of ik het snap, geen weetjesvraag.

Schrijf het als lopend document, niet als samenvatting. Herhalen mag.

De eerste versie was te netjes

In Notebook liet ik van dat document één gesproken samenvatting maken. Klaar, dacht ik. Luisteren tijdens het lopen en het zit erin.

Het werkte het slechtst van alles wat ik daarna heb geprobeerd. Eén aflevering voor een heel onderwerp betekent dat alles wordt samengeperst tot de hoofdlijn, en de hoofdlijn kende ik al. Wat ik miste zat juist in de stappen ertussen.

De oplossing was saai en effectief: knip het op. Twee tot drie afleveringen per onderwerp, elk over hooguit twee hoofdstukken, met de opdracht erbij om vooral niet samen te vatten. Toen ik dat op het eerste onderwerp opnieuw probeerde was het verschil meteen duidelijk.

Maar de echte verandering zat niet in de audio. Die zat in wat ik erna deed.

De volgorde die het verschil maakt

Na elke aflevering ga ik naar de chat van het notebook en laat ik me overhoren. Niet ik die vragen stel, maar de AI die ze mij stelt, één voor één, streng nakijkend. Daar merk ik binnen twee minuten wat ik werkelijk snap en wat ik alleen herkende toen iemand het voorzei.

De volgorde die bij mij werkt: audio is de introductie, de overhoorronde is het leermoment, de quiz uit Studio is de toets, en het navertellen is het bewijs. Die laatste stap is de zwaarste. Een quiz toetst of je het goede antwoord herkent tussen vier opties. Navertellen zonder terug te kijken toetst of je het zelf kunt produceren, en dat is een heel ander niveau.

Twee dingen bleken daarbij belangrijker dan ik dacht.

Het eerste: laat de AI het antwoord niet weggeven als je fout zit. Dat is zijn natuurlijke neiging, en het kost je precies het moment waarop je iets had kunnen leren.

Overhoor me met de checkvragen uit hoofdstuk 1 en 2, één voor één, en beoordeel streng.

Zit ik fout, zeg dan niet meteen het goede antwoord. Benoem welke denkstap bij mij fout ging en laat me het opnieuw proberen. Kom ik er dan nog niet uit, leg het dan uit aan de hand van het voorbeeld uit de bron. Kom aan het eind terug op de vragen die ik fout had.

Het tweede: vraag nooit of je het snapt. Daar zeg je altijd ja op, ook tegen jezelf. Vraag om het uit te leggen.

Ik leg dit onderwerp nu aan jou uit zonder terug te kijken. Beoordeel niet of het klopt, maar waar mijn uitleg gaten heeft, en welke van die gaten opvallen zodra iemand doorvraagt.

Wat ik ervan geleerd heb

De winst zit niet in betere uitleg. Die zit in twee dingen die je zelf regelt voordat je iets vraagt: welk materiaal je erin stopt, en welke rol je de AI geeft. Voer hem iets dat over jouw situatie gaat en laat hem jou bevragen, en je houdt het. Laat hem het werk overnemen, en je hebt een goed gevoel en een dag later weinig meer.

Dat sluit aan bij wat die twee onderzoeken lieten zien, maar ik ben er niet via onderzoek gekomen. Ik ben er gekomen doordat het eerst niet werkte.