Google’s AI-detectietool
Google kondigde woensdag via een post op X (voorheen Twitter) aan dat SynthID nu beschikbaar is voor iedereen die het wil proberen. Het authenticatiesysteem voor AI-gegenereerde inhoud voegt onzichtbare watermerken toe aan gegenereerde afbeeldingen, video en tekst, waardoor gebruikers kunnen controleren of inhoud door mensen of machines is gemaakt.
“We maken onze SynthID Text-watermerktool open-source,” schreef het bedrijf. “Gratis beschikbaar voor ontwikkelaars en bedrijven, zodat ze hun AI-gegenereerde inhoud kunnen identificeren.”
SynthID werd in 2023 geïntroduceerd als middel om AI-gegenereerde afbeeldingen, audio en video van een watermerk te voorzien. Het werd aanvankelijk geïntegreerd in Imagen, en in mei kondigde het bedrijf tijdens I/O 2024 aan dat de tool ook zou worden gebruikt in de Gemini-chatbot.
Het systeem werkt door tokens – de fundamentele gegevensonderdelen (zoals een karakter, woord of deel van een zin) die door generatieve AI worden gebruikt om prompts te begrijpen en het volgende woord in zijn antwoord te voorspellen – te coderen met onzichtbare watermerken tijdens het genereren van tekst. Volgens een DeepMind-blog van mei wordt dit bereikt door extra informatie toe te voegen aan de tokenverdeling, waarbij de kans dat bepaalde tokens worden gegenereerd wordt aangepast.
Door de woordkeuzes van het model en de “aangepaste waarschijnlijkheidsscores” te vergelijken met het verwachte patroon van scores voor teksten met en zonder watermerk, kan SynthID detecteren of een zin door AI is geschreven.
Deze methode heeft geen invloed op de nauwkeurigheid, kwaliteit of snelheid van de respons, volgens een studie die woensdag werd gepubliceerd in Nature, en kan ook niet eenvoudig worden omzeild. In tegenstelling tot standaard metadata, die gemakkelijk kan worden verwijderd, blijft het watermerk van SynthID behouden, zelfs als de inhoud is bijgesneden, bewerkt of op andere manieren is aangepast.
“Het betrouwbaar en onzichtbaar watermerken van AI-gegenereerde tekst is fundamenteel uitdagend, vooral in scenario’s waarin de uitkomsten van een [large language model] bijna deterministisch zijn, zoals feitelijke vragen of codegeneratie,” aldus Soheil Feizi, een universitair hoofddocent aan de Universiteit van Maryland. Hij vertelde aan MIT Technology Review dat de open-source aard “de gemeenschap in staat stelt deze detectoren te testen en hun robuustheid in verschillende omgevingen te evalueren, wat helpt om de beperkingen van deze technieken beter te begrijpen.”
Het systeem is echter niet onfeilbaar. Hoewel het bestand is tegen manipulatie, kunnen de watermerken van SynthID worden verwijderd als de tekst door een vertaalapp wordt gehaald of sterk herschreven is. Het werkt ook minder effectief bij korte tekstfragmenten en het bepalen of een feitelijk antwoord door AI is gegenereerd. Bijvoorbeeld, op de vraag “wat is de hoofdstad van Frankrijk?” zullen zowel mensen als AI “Parijs” antwoorden.
Als u SynthID zelf wilt uitproberen, kan het worden gedownload van Hugging Face als onderdeel van Google’s bijgewerkte Responsible GenAI Toolkit.
