5. AI is bevooroordeeld. Wiens schuld is dat?

Het was bedoeld als een leuk experiment, maar werd één van de grootste PR-rampen uit de tech-geschiedenis. Tay, de chatbot die Microsoft in 2016 lanceerde op Twitter. Al na zestien UUR moest Microsoft de stekker uit de chatbot trekken. 

Want Tay veranderde in die korte tijd van een simulatie van een Amerikaanse tiener, in een nazistische, racistische en seksistische chatbot. Zo tweette Tay:  “Bush heeft 11 september gedaan, en Hitler zou het beter doen dan de aap – verwijzend naar Barack Obama – die we nu hebben. Trump is onze enige hoop”. 

Dit fiasco is van blijvende invloed geweest op de ontwikkeling van chatbots, ook op die van ChatGPT. Tay laat namelijk zien hoe snel vooroordelen in chatbots sluipen. 

Ik ga in gesprek met Cynthia Liem. Zij is onderzoeker op het gebied van betrouwbare en verantwoorde kunstmatige intelligentie aan de TU Delft. Cynthia is bekend van haar analyse van de fraudedetectie-algoritmen die de Belastingdienst gebruikte in het toeslagenschandaal. Wij kennen elkaar nog van onze studie. 

Met haar bespreek ik hoe Tay zo kon ontsporen, soortgelijke incidenten en alle lessen die wij moeten trekken uit deze voorvallen. 

Shownotes: 

• Over ImageNet Roulette (bias in beeldherkenningsoftware)  
• Wired over adverserial attacks 

Van Cynthia’s hand: 

• Han-yin Huang en Cynthia Liem over wat de AI-wereld kan leren van musea  
• Over hoe ChatGPT ons berooft van waardevol denkwerk  

Ben je nog niet klaar met dit onderwerp, lees dan zeker de zes essays die ik voor deze podcast schreef in Trouw. Ze worden vanaf oktober 2023 gepubliceerd in de krant en op trouw.nl/welkomindeaifabriek.  

Welkom in de AI-Fabriek is een podcast van BNR Nieuwsradio en Trouw. Gemaakt door mij, Ilyaz Nasrullah, met de onmisbare hulp van Connor Clerx. 

De muziek en audiovormgeving is gemaakt door Gijs Friesen. Het grafisch ontwerp is van Danusia Schenke. Eindredactie: Wendy Beenakker bij BNR en Wendelmoet Boersema bij Trouw. 

See omnystudio.com/listener for privacy information.