Werkt strenger ook beter?

Werkt strenger ook beter? Ja, en ik kan inmiddels laten zien waar de winst zit. Niet in een slimmere assistent, maar in instructies die zo zijn opgeschreven dat hij ze kan naleven zonder mij ernaar te vragen.

Dit stuk gaat over hoe die instructies zich ontwikkelden, van losse afspraken per gesprek naar een archief vol beslisregels, en wat dat meetbaar oplevert: steeds minder typwerk per afgeronde taak.

Van uitleggen naar vastleggen

De manier waarop ik mijn assistent instrueer, is drie keer van vorm veranderd.

Fase één: alles in het gesprek. In het begin legde ik per gesprek uit wat ik wilde, hoe ik het wilde, en wat er vooral niet moest gebeuren. Dat werkt, tot je merkt dat je dezelfde drie correcties elke week opnieuw typt.

Fase twee: instructies in de cloud. Daarna verhuisden de afspraken naar projectinstructies en kennispagina's in mijn taakbeheer. Eén keer opschrijven, elk gesprek beschikbaar. Al mijn taken en protocollen leefden daar, en de assistent las ze online mee.

Fase drie: beslisregels in bestanden, lokaal. Nu gebeurt het meeste werk op mijn eigen machine, in een archiefmap waar de assistent zelf bestanden opent, aanpast en uitvoert. De instructies zijn meeverhuisd en van vorm veranderd. Het zijn geen beschrijvingen meer maar beslisregels: als dit, doe dat, en bij twijfel vraag. Een hoofdbestand van bijna achtduizend woorden wijst de weg, twintig vaardigheden hebben elk hun eigen instructiebestand met samen bijna 37,000 woorden, en 26 controles kijken mee terwijl er gewerkt wordt en houden werk tegen dat een regel breekt.

Die verhuizing is in mijn eigen archief terug te zien. Het aandeel van mijn gesprekken dat over werk in die lokale omgeving gaat, sprong in april van een op de vijf naar meer dan de helft.

Wat een goede regel doet

Het verschil tussen een instructie die werkt en een die niet werkt, zit in wat er gebeurt als hij wordt overtreden.

Een voorbeeld. Mijn wekelijkse nieuwsoverzicht zette bronvermeldingen onderaan, met een link naar de video. Bij een steekproef bleken negen van de 155 links dood. Geen tikfout: het model dat de samenvatting schreef verving de videocode door een variant die het uit zijn training kende. Herkenbaar genoeg om te passeren, verzonnen genoeg om nergens heen te wijzen.

Ik had kunnen opschrijven: "neem links altijd letterlijk over." Dat is een instructie die werkt tot het model een keer niet oplet. Wat ik in plaats daarvan deed: de linklijst wordt nu door code samengesteld, en een controle eist dat elke videocode in de eindtekst uit die lijst komt. Klopt er één niet, dan gaat er niets naar buiten. Sindsdien is die fout er niet meer, en dat hangt niet van de oplettendheid van een model af.

Zo verging het meer regels: ze begonnen als zin in een instructie en eindigden als controle die werk tegenhoudt. Maar niet elke correctie hoort die weg te gaan.

• Een vergeten afspraak leg je één keer vast als controle. Dit is het duidelijkste geval.
• Een registratiefout, een verkeerd veld of nummer, vang je in een vast formaat met een controle ervoor.
• Een onduidelijke opdracht ligt deels bij jou. De regel is dat de assistent doorvraagt bij twijfel, de gewoonte is dat je scherper vraagt.
• Een inhoudelijk meningsverschil wil je juist niet wegregelen. Dat is de plek waar jij aan de knoppen hoort te zitten.

De vijf hardste regels die zo zijn ontstaan, met de metingen en stops eromheen, beschreef ik eerder in zo houd ik mijn AI controleerbaar.

En het levert meetbaar iets op

De eerlijke maat is niet hoeveel ik typ, maar hoeveel ik typ per afgeronde taak. Alleen minder typen kan ook gewoon minder werken zijn.

In het voorjaar, toen het werk nog in de chat gebeurde, daalde het van 466 getypte woorden per afgeronde taak in maart naar 263 in juni. Elke maand een stukje, terwijl het aantal afgeronde taken juist steeg.

Daarna wordt mijn archief onderbroken, en dat verdient een eerlijke voetnoot. De lokale omgeving bewaart werksessies maar een beperkte tijd, en dat had ik te laat door: van de eerste weken na de verhuizing is de logging weg. Sindsdien stelt een maandelijkse routine de sessies veilig voordat ze verlopen. Ook dat is een regel die uit een fout is ontstaan.

Vanaf half juli is het beeld weer compleet, en augustus was de eerste volle maand. Die cijfers komen uit de werkomgeving zelf, die per bericht vastlegt of een mens het intikte:

• 216 werksessies, waarin ik 1,172 berichten typte. Dat is er 5,4 per sessie, gemiddeld 16 woorden.
• De assistent schreef 25 woorden voor elk woord van mij.
• Van alles wat er aan mijn kant van het gesprek binnenkwam, was 9 procent echt van mij. De rest was het systeem dat zichzelf voedde: uitkomsten van stappen, meldingen van controles.
• Er kwamen 103 taken af, ongeveer 179 getypte woorden per taak.

De afgeronde taken komen in beide periodes uit dezelfde lijst, mijn eigen taakbord. Wat verschilt is waar het typwerk is vastgelegd: eerst in het chatarchief, daarna in de lokale werkomgeving. Daarom zet ik die 466, 263 en 179 niet als één doorlopende reeks neer. Maar de maat is dezelfde, de richting is dezelfde, en de verklaring ook. De assistent hoeft steeds minder gecorrigeerd te worden omdat de regels het al zeggen, en hij loopt langer alleen door omdat de controles hem tegenhouden waar het mis zou gaan. Daar komt bij dat de modellen zelf in dezelfde periode zelfstandiger zijn geworden. Die twee effecten kan ik niet uit elkaar trekken, en voor de conclusie hoeft dat ook niet: strenger vooraf en beter materiaal wijzen dezelfde kant op.

Hoe ik dit heb leren meten

Nog één les, want die hoort bij het eerlijke verhaal. De eerste versie van dit artikel onderbouwde de conclusie met een handmatige steekproef: ik beoordeelde zelf per gesprek hoe vaak ik bijstuurde. Toen ik dat later wilde narekenen, bleek ik wel de uitkomst bewaard te hebben maar niet de berekening en de beoordelingen eronder. Overdoen gaf een ander getal, en het verschil kon net zo goed aan mij liggen als aan de assistent. Dat cijfer gebruik ik niet meer; de meting hierboven komt daarom rechtstreeks uit de omgeving zelf.