Hoeveel van dit archief is echt van mij?

In mijn archief staan twee jaar aan gesprekken met AI. Ruim drieënhalf miljoen woorden. De vraag die daaronder ligt is ongemakkelijk genoeg om te vermijden: hoeveel daarvan is eigenlijk van mij?

Je kunt die vraag beantwoorden met een gevoel. De meeste mensen doen dat, en het antwoord valt meestal gunstig uit voor de spreker. Ik wilde het tellen.

Wat eruit kwam

Van de 3.617.653 woorden gesprekstekst staat 882.344 op mijn naam. Dat is 24,4 procent. Een kwart van het archief is dus door mij ingebracht en driekwart komt van een model.

Maar dat eerste cijfer is te vriendelijk voor mezelf. Van die 882.000 woorden heb ik er ongeveer 178.000 echt zelf getypt. Dat is 4,9 procent van het geheel. De rest van die inbreng was geplakt: foutmeldingen, code, stukken document, dingen die ik ergens vandaan haalde en in het venster gooide.

Eén op de twintig woorden in mijn archief komt van mijn toetsenbord.

Hoe je getypt van geplakt scheidt

Een computer ziet geen verschil tussen typen en plakken. Wat hij wel ziet is lengte. Een beurt van dertig woorden heb ik vrijwel zeker zelf geschreven. Een beurt van twaalfhonderd woorden met een lange foutmelding erin niet.

De meting telt daarom alleen beurten van hooguit 200 woorden als getypt. Een langere beurt geldt in zijn geheel als plakwerk en valt af. Dat is een grove regel, en hij zit er twee kanten op naast. Binnen een lange beurt kan eigen tekst zitten die nu wegvalt, en een korte geplakte foutmelding telt gewoon mee. Wat wegvalt is het grootst: vier op de vijf woorden op mijn naam zitten in beurten boven de grens.

Waarom 200 en niet 100 of 500? Een natuurlijke grens is er niet, dus heb ik de meting op vijf grenzen gedraaid. Bij 100 woorden kom ik op 3,5 procent getypt, bij 500 op 8,9 procent. Het getal hangt dus aan de grens, met een factor 2,5 tussen streng en ruim. Het beeld hangt er niet aan. Op elke grens blijft het een enkelcijferig percentage, en de volgorde tussen de vier AI-diensten verandert nergens. De 4,9 procent is het midden van die band.

Binnen die band hangt het cijfer ook niet aan een paar uitschieters. Er zijn 134 van de 1406 gesprekken nodig om aan de helft van dat getypte werk te komen, en geen enkele beurt kan het in zijn eentje omhoog trekken. Het is een schatting met een bekende richting, geen slag in de lucht.

Een les uit het bouwen van dat script. Twee dagen eerder had ik dezelfde cijfers al een keer met de hand geteld. Zes van de zeven kwamen uit het script opnieuw tevoorschijn. Het totaal niet, en bij nameten bleek dat getal al niet te kloppen met de twee percentages die ernaast stonden, op de dag dat ik het opschreef. Ik had het niet gezien. Een getal zonder script eronder is niet alleen onherhaalbaar, het kan al fout zijn terwijl het er netjes staat en iedereen het als vastgesteld leest.

Waar ik het meest inbreng, typ ik het minst

Het aardigste patroon zit tussen de kanalen. Er is er één waar bijna de helft van de tekst van mij komt, veel meer dan bij de andere drie. In datzelfde kanaal is nog geen zes procent van die woorden echt getypt.

Daar plak ik dus. Lange documenten erin, een model dat er kort iets over zegt. Het ziet eruit als het kanaal waar ik het meest aanwezig ben, en het is het kanaal waar ik het minst schrijf.

Daarna zag ik een tweede patroon. Per jaar leek het aandeel dat ik zelf typ te dalen, in elke dienst. Dat paste mooi in een verhaal over van schrijven naar aansturen. Een dag later heb ik het per kwartaal nagemeten, en het verhaal hield geen stand: binnen geen enkele dienst daalt het aandeel. De sterkste daling kwam uit één gesprek in februari, waarin ik een werkdocument acht keer achter elkaar had geplakt. Haal dat ene gesprek weg en die daling draait om in een stijging.

Dat ene gesprek is geen uitzondering. In elke dienst draagt minder dan 2,5 procent van de beurten de helft van al mijn woorden. Een handvol lange sessies bepaalt het beeld. Een gemiddelde per kanaal is daarom een cijfer dat je niet los mag citeren, ook niet als het van jezelf is.

Wat wel stabiel is, zie je pas als je beurten telt in plaats van woorden. Negen van de tien beurten op mijn naam zijn kort genoeg om getypt te zijn. Per kwartaal en per dienst ligt dat tussen 83 en 97 procent, zonder richting. Vijf procent van de woorden, negen van de tien beurten: bijna elke beurt komt van mijn toetsenbord, en die beurten zijn kort. Wat de woordtelling laat schommelen, is de omvang van wat ik af en toe plak.

Wat je niet meer kunt terughalen

Op de gesprekslaag is de herkomst bewaard: er staat per beurt wie wat zei. Elke notitie draagt sindsdien zijn herkomstvelden, en die worden bij elke nieuwe import opnieuw gezet.

Een laag hoger is het weg. Als ik uit twintig gesprekken één kennispagina destilleer, verdampt onderweg wie welke zin bedacht. Voor die pagina's kan ik het niet reconstrueren, hoe graag ik ook zou willen.

Dus doe ik het niet. Nieuwe destillaties krijgen hun herkomst op het moment van schrijven mee. De 59 pagina's die er al lagen blijven ongelabeld. Een geraden herkomstlabel is erger dan geen, want het leest precies zo stellig als een gemeten label. Dat is dezelfde fout als het cijfer hierboven, alleen dan met een woord in plaats van een getal.

Wat dit cijfer niet is

Twee dingen die het niet dekt, en ze wijzen dezelfde kant op.

Het eerste: de telling gaat alleen over geëxporteerde chatgesprekken. Het werk dat ik in mijn programmeeromgeving met AI doe zit er niet in, terwijl daar juist steeds meer van mijn sturing gebeurt. Die sessies heb ik inmiddels verzameld, maar mijn chatexports lopen te ver achter om de twee eerlijk naast elkaar te leggen. Mijn aandeel over al het AI-werk samen weet ik dus nog niet.

Het tweede: getypte woorden zijn niet hetzelfde als denkwerk. De vijf procent hierboven telt aanslagen, niet oordelen. Kiezen wat er gebouwd wordt, iets afkeuren, twee keer terugsturen, besluiten dat een uitkomst niet klopt: dat is het werk waar het op aankomt en het levert nauwelijks woorden op. Wie deze meting leest als "hij doet er zelf vijf procent aan" leest hem verkeerd.

Wat het cijfer wel doet is een discussie verplaatsen. Niet meer of AI veel of weinig van je werk overneemt, maar hoeveel precies, in jouw archief, met een methode die iemand anders kan nalopen. Dat is een minder spannend gesprek. Het is wel een gesprek dat ergens over gaat.