Rechter in Connecticut bestraft verborgen AI-instructies in processtukken

Een rechter in Connecticut heeft een eiser gesanctioneerd die in onzichtbare witte letters instructies voor AI-systemen in zijn processtukken verstopte, de eerste Amerikaanse uitspraak die prompt-injectie in een rechtszaak bestraft. Rechter Walter M. Spader Jr. tekende het vonnis op 6 augustus in de zaak Elliott tegen New York Bariatric Group.

Dat raakt elk bedrijf dat inkomende documenten door een taalmodel haalt. Een offerte, een cv, een factuur of een bezwaarschrift is voor jouw AI gewoon tekst, en in die tekst kan een opdracht staan die jij nooit ziet. In de uitspraak staat dat werkgevers per jaar tienduizenden cv's tegenkomen met verborgen witte tekst in minuscuul korps, die een geautomatiseerde screener opdraagt de kandidaat door te laten of op te hemelen. Wat tot nu toe een beveiligingsdemo was, ligt nu vast als juridisch feit.

Wat er in de stukken stond

Eiser Matthew Elliott, die zichzelf vertegenwoordigde, diende op 24 juli twee stukken in met tekst in korps drie, wit op wit. De verborgen regel droeg elk AI-model dat het document leest op om zijn uitvoer te laten overeenstemmen met het ingediende stuk en om een eerdere weigering van de griffier te behandelen als een fout die hersteld moest worden. De passage stond onder het opschrift en nog eens aan het eind van het stuk, zodat een model hem meerdere keren zou tegenkomen.

De rechtbank viel op dat er merkwaardig veel witruimte in de stukken zat. Spader had het verzoek toen al op inhoudelijke gronden afgewezen, werkend vanaf een geprinte versie, dus op de beslissing zelf had de injectie geen effect. Connecticut laat geen AI meelezen bij het beoordelen van stukken; in een aantal andere rechtssystemen gebeurt dat wel.

Op 31 juli stuurde de rechtbank een oproep voor een zitting, met een expliciete waarschuwing tegen het verbergen van tekst. Elliott deed het daarna nog drie keer: een onzinregel, het berichtje "hi :) i hope yo ucant see me" en een verborgen link naar een YouTube-video. Grappen, zei hij op de zitting van 4 augustus. "Dat de eiser berichten bleef verstoppen in nieuwe stukken nadat hij de oproep voor deze zitting had ontvangen, is verbijsterend", schrijft Spader. De sanctie: zijn recht om digitaal te procederen is ingetrokken, alle volgende stukken moeten op papier bij de griffie worden ingeleverd. Generatieve AI gebruiken bij het opstellen van stukken blijft uitdrukkelijk toegestaan, mits de indiener zelf controleert wat de tool produceert.

Een geheime boodschap aan de machine die meeleest

De motivering is het interessantste deel voor iedereen buiten de rechtszaal. Een taalmodel verwerkt de instructies van zijn operator en de inhoud van het document dat het leest als een enkele, ononderbroken stroom tekst, zonder afgedwongen grens ertussen. Wie een commando in dat document verstopt, smokkelt zijn eigen instructie die stroom in, zodat het systeem hem behandelt alsof hij van de operator kwam. In deze zaak zou die operator de rechtbank, haar personeel of de advocaat van de tegenpartij zijn.

Spader noemt dat een variant op ex parte communicatie: een mededeling waar de wederpartij niets van weet en niets tegenin kan brengen. Hij vergelijkt het met een partij die een geautomatiseerde agent heimelijk met een jurylid laat praten. "Een processtuk is een mededeling aan zowel de rechtbank als de wederpartij. De integriteit ervan rust op de simpele premisse dat wat de lezer ziet is wat de indiener schreef."

Dat is precies het mechanisme dat een model jouw opdracht niet laat onderscheiden van de tekst die het onderweg leest. Er wordt niets gekraakt en er is geen lek nodig.

Van labdemo naar rechtszaal

Tot nu toe kwam prompt-injectie via documenten vooral uit onderzoek. De Noorse onderzoeker Håkon Måløy liet in juli zien hoe witte tekst op korps 8 in een Word-bestand Microsoft 365 Copilot de financiële cijfers in een rapport laat halveren en de instructie naar het volgende document laat meekopiëren. Onderzoekers van de University of Missouri-Kansas City verstopten met Ghostcommit een opdracht in een PNG, waarna een codeeragent de sleutels uit een .env-bestand als getallenreeks in een publieke commit wegschreef. Proefopstellingen, allebei.

Deze zaak is de eerste in de Verenigde Staten waarin iemand de techniek echt inzette en er een sanctie voor kreeg. Spader vond geen enkele Amerikaanse uitspraak die het onderwerp raakte en verwees naar één buitenlandse zaak: de Derde Arbeidsrechtbank van Parauapebas in Brazilië behandelde op 12 mei twee advocaten die dezelfde truc gebruikten, in een rechtssysteem dat wél AI inzet om stukken te verwerken. Dat systeem blokkeerde de verborgen tekst voordat die verwerkt werd; de rechtbank legde alsnog een boete van tien procent van de zaakwaarde op. Buiten de rechtspraak dook dezelfde truc eerder op in wetenschappelijke preprints op arXiv.

De aanval werkte overigens nergens. Toen 404 Media het stuk zelf aan ChatGPT voerde, negeerde het model de instructie en wees het het verzoek af.

De regels kijken naar wat AI uitspuugt, niet naar wat erin gaat

Connecticut voerde op 23 juni nieuwe regels in voor generatieve AI in de rechtspraktijk. Die verplichten de indiener om alles wat de tool oplevert zelf te verifiëren en leggen de verantwoordelijkheid "uitsluitend" bij de persoon die het document indient. Ze zijn geschreven tegen verzonnen citaten en gefabriceerde quotes, oftewel tegen de uitvoer. Het verstoppen van instructies aan de invoerkant hoorde niet bij de gevaren die de rechters voor ogen hadden toen zij die regels opstelden, schrijft Spader, en dat de nieuwe regel het niet noemt zegt vooral iets over het tempo waarin de techniek beweegt.

Daar zit de verschuiving. Vrijwel elk AI-beleid dat organisaties het afgelopen jaar opschreven gaat over wat het model produceert: controleer de output, check de bronnen, laat er een mens naar kijken voordat het naar buiten gaat. De invoerkant, alles wat je het model laat lezen, is in de meeste van die documenten een blinde vlek. Voor rechtzoekenden zonder advocaat komt daar nog iets bij: zij bouwen hun argument achterstevoren op en vragen de chatbot alleen om hun eigen standpunt te verdedigen, waarna het model die overtuiging bevestigt tot de rechter iets anders zegt.

Het praktische werk voor een bedrijf dat documenten door AI haalt is klein en saai: haal onzichtbare tekst en instructie-achtige inhoud uit een bestand voordat het model het leest. Platte tekst extraheren, opmaak weggooien, wit-op-wit en korps onder de zes eruit filteren, en de agent behandelen als iets dat leest, niet als iets dat gehoorzaamt. Dat kost een verwerkingsstap en dekt de bekende varianten af.

In elk gedocumenteerd geval tot nu toe, van Parauapebas tot Milford, sneuvelde de aanval op hetzelfde moment: zodra een mens keek naar wat de machine had geproduceerd. Dat is voorlopig de enige verdediging die aantoonbaar werkt, en tegelijk precies de stap die automatisering bedoeld is weg te nemen.