Algoritmen tonen het menselijk tekort

Algoritmes zijn een spiegel van ons zelf inclusief al onze vooroordelen en vergissingen. Logisch want ze zijn een extensie van wie wij zijn.

©RV

Als algoritmen discrimineren, dan is dat omdat ze zo door mensen geprogrammeerd zijn. Daar kunnen en moeten we ons voordeel mee doen, schrijven  Thijs Pepping en Sander Duivestein, van het verkenningsinstituut Nieuwe Technologie (VINT) van Sogeti.

Door Thijs Pepping en Sander Duivestein,  31 december 2019.

De virtuele assistente van Apple kon in eerste instantie wel prostituees en viagrawinkels vinden, maar geen abortusklinieken. Dankzij een ingebouwde raciale voorkeur concludeerde een veelgebruikt algoritme in de Amerikaanse zorgsector dat blanke patiënten een hoger risico lopen op diabetes en hoge bloeddruk dan zwarte patiënten. Zo zijn er tal van voorbeelden, waaruit blijkt dat kunstmatige intelligenties (AI) vooroordelen hebben. Dat wordt bias genoemd. Het is een shockerende ontdekking dat niet alle AI-systemen inclusief zijn, en zonder aanziens des persoons hun rekenwerk doen.

Maar het is te makkelijk om te concluderen dat technologie tekortschiet. Want dit falen legt tegelijkertijd de ziel van mensen bloot. Onderhuidse vooroordelen worden inzichtelijk en zelfs uitvergroot. Zoals dat vaker met technologie gaat, wordt op een presenteerblaadje aangeleverd wat het betekent om mens te zijn. Zowel met de goede kanten, maar ook met de rafelrandjes van voorkeuren. Alle reden om ermee aan de slag te gaan.

Bias in algoritmen bevechten

Het Amerikaanse wetenschapsmagazine Science publiceerde onlangs dat de raciale voorkeur van het veelgebruikte zorgalgoritme is ontstaan, omdat gebruikte gegevens om het algoritme te trainen niet objectief waren. De samenleving in de VS geeft minder geld uit aan zwarte patiënten dan aan even zieke blanke patiënten. Daarom onderschatte het algoritme de werkelijke behoeften van de hulpbehoevende zwarte burger. Zo kwam een onbewuste onrechtvaardigheid in de samenleving in het algoritme terecht.

Het staat buiten kijf dat we de bias in algoritmen moeten bevechten. Technologie heeft de mogelijkheid tot schaalvergroting. Daarmee heeft een ongelijkheid in een algoritme al snel grote gevolgen voor grote groepen mensen.

Ethische implicaties van technologie

Het besef van ethische implicaties van technologie groeit gestaag. Zo ontstaan er nu initiatieven om de bias uit algoritmen te halen. Onderzoekers aan de TU-Delft werken aan software die ‘ethische afwegingen’ maakt. Wetenschappers van de Amerikaanse universiteiten Stanford en Massachusetts pleiten voor het vooraf filteren van ‘ongewenst gedrag’ van algoritmen.

Het is echter veel eenvoudiger om algoritmen te veranderen dan om mensen zich te laten aanpassen. Software op computers kan worden bijgewerkt, maar de zogeheten wetware in de hersenen van de mens is tot nu toe veel minder soepel gebleken. Onder andere het werk van psycholoog Daniel Kahneman en de dagelijkse realiteit laten de feilbaarheid van onze rationaliteit zien en ook hoe moeilijk het is om vooroordelen te overwinnen.

Neus op de feiten

Hulp van algoritmen biedt uitkomst. Kunstmatige intelligentie met bijbehorende schaalvergroting is een effectieve manier om mensen met de neus op de feiten te drukken. Falende algoritmen laten de gevolgen zien van een gebrek aan diversiteit in ontwikkelteams, genderbias in organisaties of van onrechtvaardigheden in de samenleving. Wat vroeger ingewikkelde wetenschap voor sociologen, psychologen en filosofen was, is nu de praktijk geworden dankzij de inzet van kunstmatige intelligentie. Daarmee is internet ’s werelds grootste sociale experiment, waarmee de mens zijn voordeel moet doen.

Slimme technologie houdt ons een spiegel voor die een uiterst intieme blik geeft in de psyche van de mens, het zelfbeeld en op de samenleving. Het sleutelen aan algoritmen en het verbeteren en verrijken van gegevens is nodig. Tegelijkertijd moet de samenleving zelf aan de slag met het huiswerk dat algoritmen opleveren. Nooit eerder werd de samenleving zo openlijk geconfronteerd met eigen tekortkomingen. Als we de confrontatie durven aangaan, is dat een zegen.

Bron: Trouw.

Een verantwoord gebruik van kunstmatige intelligentie vraagt niet alleen om transparantie

Een robotvis maakt gebruik van kunstmatige intelligentie om de zeeën te onderzoeken. Beeld Photo News

Verantwoord gebruik van kunstmatige intelligentie vraagt om transparantie en controleerbaarheid vinden Cathy O’Neil (wiskundige) en Bart Schermer (universitair hoofddocent in Leiden).

Door Cathy O’Neil en Bart Schermer, 18 september 2018.

De onderzoekers waren stomverbaasd. Ze dachten dat ze de computer een onmogelijke opdracht hadden gegeven: vind een manier voor een robotspin om te lopen zonder dat zijn voeten de grond raken. Maar het algoritme vond een oplossing. Door de robot om te draaien kon het zijn ellebogen als voeten gebruiken.

Voor veel algoritmen die nu hun weg vinden in onze samenleving zijn de resultaten minder spectaculair. Er zijn tal van voorbeelden van algoritmen die inaccuraat zijn, discrimineren of simpelweg verkeerde beslissingen nemen.

Nu kunstmatige intelligentie (AI) op meer terreinen beslissingen neemt die mensen raken, worden vragen over de ethisch verantwoorde toepassing van algoritmen steeds relevanter.

In april van dit jaar kondigde de Europese Commissie aan dat zij leidend wil worden op het gebied van AI. Hierbij verliest de Europese Commissie gelukkig niet de ethische aspecten van AI uit het oog en moet het gebruik van AI transparant en controleerbaar zijn.

Belangrijke pijler

De Algemene Verordening Gegevensbescherming verbiedt nu al het nemen van volledig geautomatiseerde besluiten die mensen in aanzienlijke mate treffen (het niet in aanmerking komen voor een baan, het niet krijgen van een hypotheek et cetera). Daar waar er uitzonderingen zijn op dit verbod moeten de logica en de gevolgen van de toepassing helder zijn voor het individu. Weggestopt in overweging 71 van de verordening staat dat degene die AI inzet ‘passende wiskundige en statistische procedures’ moet hanteren om te garanderen dat de besluitvorming klopt.

Het is de vraag hoe deze eisen in de praktijk worden gehandhaafd, maar het inzicht krijgen in de werking van algoritmen lijkt een belangrijke pijler te zijn van het toekomstig EU-beleid. In dit kader heeft de Franse regering alvast aangekondigd dat elk algoritme dat wordt ontwikkeld of ingezet binnen de Franse overheid openbaar wordt gemaakt.

Bedrijven en overheden lijken echter niet heel happig op het openbaren van hun algoritmen, de trainingsdata en de uitkomsten van het gebruik. Hiervoor zijn meerdere redenen aan te wijzen. Allereerst kan het openbaren van je algoritmen je concurrentievoorsprong tenietdoen. Het is alsof je Coca Cola vraagt om hun geheime recept aan je te geven zodat je de ingrediënten kunt controleren. Bedrijven en overheden zijn ook bang dat het openbaren van algoritmen kwaadwillenden in staat stelt het systeem te manipuleren. Ten slotte kan het openbaren en laten toetsen van je algoritmen tot ongemakkelijke conclusies leiden over de effectiviteit en accuraatheid van het algoritmische besluitvormingsproces.

Transparantie is een belangrijke eerste stap voor een verantwoorde maatschappelijke toepassing van AI, maar is op zichzelf niet voldoende. Niet iedereen begrijpt computercode bijvoorbeeld, dus het is de vraag wat de gemiddelde consument heeft aan transparantie.

Om vertrouwen te kunnen hebben in de verantwoorde toepassing van AI, moet het gebruik ervan daarom onafhankelijk worden getoetst. De correcte werking van een algoritme kan worden getoetst met een audit, een onderzoek naar het proces. Ook bestaan er beoordelingsprogramma’s waarmee organisaties kunnen aantonen dat zij hebben nagedacht over de vraag hoe hun toepassing van AI de samenleving raakt.

Creatieve oplossing

Een succesvol gebruik van AI binnen onze samenleving staat of valt met een betrouwbare, veilige en transparante toepassing. Het is één ding als een computer een creatieve oplossing vindt voor een moeilijk theoretisch probleem, het is iets heel anders als een algoritme onverwachts het leven van mensen vernietigt.

Bron: Trouw.

Lees ook:

Algoritmes kunnen crimineel gedrag voorspellen, maar zorgen ook voor nieuwe problemen

Hoe goed kunnen algoritmes crimineel gedrag voorspellen? Er kleven ook bezwaren aan ‘voorspellend politiewerk’.

Wees waakzaam voor kunstmatige intelligentie

Een ethische discussie is veel te weinig om de enorme technologische vooruitgang van kunstmatige intelligentie bij te houden, betoogt Marietje Schaake, Europees parlementariër D66 en kandidaat-lijsttrekker D66 Europa.

Angst voor algoritmes is onterecht: ‘discriminerend’ algoritme geeft slechts weer wat mensen denken

Angst voor algoritmes is onterecht. Ze kunnen de overheid juist helpen om goed en rechtvaardig beleid te voeren, betoogt Christian Verhagen,  adviseur Data & Analytics Publieke Sector bij Verdonk, Klooster & Associates.

Door Christian Verhagen, 1 juli 2019.

We hebben de neiging menselijke eigenschappen aan algoritmes toe te dichten, maar het zijn niet meer dan wiskundige formules die we gebruiken om complexe berekeningen te maken. Toch wordt met achterdocht naar algoritmes gekeken. Ze zouden discriminatie in de hand werken en burgers bij voorbaat verdacht maken. D66 en het CDA pleitten onlangs zelfs voor een speciale waakhond naar aanleiding van berichtgeving van de NOS over het algoritmegebruik van de overheid.

De collectieve angst voor algoritmes die lijkt te zijn ontstaan is echter onterecht. We moeten het gebruik van algoritmes door de overheid juist toejuichen. Ze ondersteunen overheden bij het opsporen en voorspellen van bijvoorbeeld fraude of geven inzicht in de kans dat iemand in de schuldhulpverlening dreigt te komen. Dit is geen nieuw fenomeen, maar de gebruikte algoritmes zijn wel complexer geworden.

Niet racistisch

Desondanks blijven het algoritmes, getraind op basis van door mensen ingegeven data. Toen in Florida een algoritme om recidive te voorspellen ten onrechte Afro-Amerikanen een hoger risico toekende, was dat niet omdat het algoritme racistisch was. De bias zat in de dataset waarop het algoritme was getraind en was daarmee een afspiegeling van bestaande vooroordelen.

Ook bij het onterecht stopzetten van toeslagen door de Belastingdienst, als gevolg van verondersteld etnisch profileren, zijn mogelijk bestaande vooroordelen onderdeel gaan uitmaken van het gebruikte algoritme. Na de Bulgarenfraude in 2013 is de Belastingdienst extra scherp gaan controleren door te werken met fraude-profielen. Hierdoor kan gerichter worden gecontroleerd om misbruik en fraude bij toeslagen tegen te gaan. In dit geval lijken er echter data te zijn gebruikt (over een tweede nationaliteit) die niet gebruikt hadden mogen worden. Daarnaast zijn vermoedens direct als feit geïnterpreteerd. Dit probleem ligt dieper in de organisatie dan het algoritme dat is gebruikt, maar heeft hier wel effect op.

Algoritmes zijn dus niet altijd neutraal, noch hebben ze altijd gelijk. Maar het alternatief waarin afwegingen door de mens worden gemaakt, is evenmin neutraal of altijd juist. Door te kijken naar patronen en verbanden in data zijn we juist in staat om bestaande vooroordelen bloot te leggen en besluitvorming te objectiveren.

Vierde macht

Toch wordt al snel bij algoritmes het schrikbeeld opgeroepen van zelflerende en ondoorzichtige black boxes en computer says no-taferelen. Het bestempelen van algoritmes als ‘vierde macht’, door Marlies van Eck van de Universiteit Leiden (Trouw, 19 juni), versterkt dit schrikbeeld en verdient ook enige nuance.

In veel gevallen gaat het bij overheidsorganisaties om relatief eenvoudige algoritmes op basis van beperkte hoeveelheden data. Als vervolgens sprake is van onwaarschijnlijke combinaties of uitschieters in de data, wordt een onderzoek opgestart waarbij getoetst wordt of er daadwerkelijk iets aan de hand is. Van geautomatiseerd beslissen door het algoritme is geen sprake en binnen de huidige wet- en regelgeving – waaronder de AVG – zijn voldoende waarborgen om willekeur en discriminatie tegen te gaan.

Toch is het verstandig om ons bewust te zijn van de risico’s van het lukraak inzetten van algoritmes. Bewustzijn en begrip van de technologie zijn nodig om tot goede ethische afwegingen te komen binnen de huidige wetgeving. Politieke aandacht is nodig, maar doorschieten in toezichthouders of wetgeving zou het kind met het badwater weggooien.

Het gebruik van algoritmes en kunstmatige intelligentie biedt een enorm potentieel om maatschappelijke uitdagingen effectiever aan te pakken.

Bron: Trouw.

Lees ook:

‘Algoritmes zijn een vierde macht, waarvoor geen regels gelden’

Hoog tijd voor een waakhond die de overheid controleert op gebruik van algoritmes, zegt de Leidse onderzoekster Marlies van Eck.

Algoritmen hebben we te danken aan een wijze uit het Oosten

In de krant lezen we geregeld dat ons leven meer en meer wordt beheerst door algoritmes. Of algoritmen, al neemt de populariteit van dat meervoud de laatste jaren enigszins af.

Algoritmes kunnen crimineel gedrag voorspellen, maar zorgen ook voor nieuwe problemen

De politie bekijkt gegevens die door camera’s en sensoren in Roermond zijn verzameld. Beeld Merlin Daleman

Hoe goed kunnen algoritmes crimineel gedrag voorspellen? Er kleven ook bezwaren aan ‘voorspellend politiewerk’.

Door Kristel van Teeffelen, 18 september 2018.

De politie die meer criminaliteit weet te voorkomen. Weinig mensen zullen daar op tegen zijn. Maar over de manier waarop valt wel te discussiëren. De politie in Limburg vertrouwt op de rekenkracht van computers die door een berg data te analyseren rondreizende dieven aanwijzen. Terwijl deskundigen ook een hoop beperkingen van dat zogeheten ‘voorspellende politiewerk’ zien.

Zo heeft een algoritme het lang niet altijd bij het juiste eind, zegt Selmar Smit van het onderzoeksinstituut TNO. “Eigenlijk is het niet meer dan een kansberekening: hoe waarschijnlijk is het dat het hier om een verdacht persoon gaat? En een kansberekening zit er weleens naast.”

Hoeveel personen als gevolg daarvan onterecht als verdacht worden aangemerkt, hangt af van hoe ‘strak’ het algoritme wordt afgesteld. Formuleer je heel specifieke kenmerken, dan worden weinig mensen eruit gefilterd. Dat verkleint de kans op fouten, maar vergroot de kans dat een hoop criminelen over het hoofd worden gezien. Hanteer je ruimere kenmerken, dan pak je mogelijk meer boeven, maar wijst de computer ook meer onschuldigen aan.

De politie zegt fouten te ondervangen door agenten uiteindelijk zelf de afweging te laten maken of ze het advies van de computer opvolgen. Zoals in Roermond, waar de politie met camera’s langs de snelwegen en andere sensoren rondreizende dieven probeert te onderscheppen voordat ze toeslaan in het outletcentrum in de Limburgse stad. Agenten die een melding krijgen, gaan er heus niet direct met groot geschut op af, aldus de politie. Ze kijken eerst of dat wat de computer concludeert terecht is.

Steekproef

Het is belangrijk om maatregelen te nemen om agenten scherp te houden, stelt Smit. “Bijvoorbeeld door er af en toe een willekeurige steekproef tussendoor te gooien, zonder dat de agent op straat dat weet.”

Wat er kan gebeuren als de politie te veel op de computer vertrouwt, bleek uit een eerder project dat gericht was op het onderscheppen van drugskoeriers. Agenten waren gewend dat het systeem het altijd bij het goede eind had. Tot een oude vrouw met groot vertoon werd klemgereden.

Marc Schuilenburg, filosoof en criminoloog aan de Vrije Universiteit in Amsterdam, heeft meer bezwaren tegen dat voorspellende politiewerk. Iedereen die straks richting het outletcentrum in Roermond rijdt zal door het algoritme worden beoordeeld.

“Dat betekent dat elke burger als potentieel risico wordt gezien. Dat is een wezenlijk verschil met het traditionele politiewerk, waarbij agenten afgaan op een melding over een verdachte situatie of handelen op basis van hun eigen observatie.”

Risico

De ene groep zal bovendien vaker worden aangewezen als verdacht dan de andere, zegt Schuilenburg. “In Roermond zal dat gaan om Oost-Europeanen, omdat veel rondreizende dieven daar vandaan komen. Maar dat betekent nog niet dat elke bezoeker uit het voormalige Oostblok een risico vormt. Toch zullen ze meer kans maken staande te worden gehouden, terwijl ze helemaal geen misdrijf hebben begaan.”

Algoritmes zeggen alleen iets over de groep die wordt gepakt, zegt ook Smit. Want met die kenmerken wordt de computer gevoed. Zo kan een focus op één bepaalde groep ontstaan. “De vraag is of je het acceptabel vindt dat een Oost-Europees gezin telkens wordt aangesproken als ze komen winkelen omdat daarmee de veiligheid zou worden vergroot.”

Schuilenburg pleit voor meer toezicht op de algoritmes. “Bij andere opsporingsmethoden, zoals een observatie, moet de rechter-commissaris vooraf toestemming geven. Dat geldt niet voor dit voorspellende werk, waarvoor de politie wettelijke bevoegdheid heeft. Er is hooguit achteraf een toetsing door de rechter, als een verdachte voor moet komen. Dat is veel te beperkt.”

Bron: Trouw.

Lees ook:

Een verantwoord gebruik van kunstmatige intelligentie vraagt niet alleen om transparantie

Transparantie is een belangrijke eerste stap voor een verantwoorde maatschappelijke toepassing van AI, maar is op zichzelf niet voldoende, vinden Cathy O’Neil (wiskundige) en Bart Schermer (universitair hoofddocent in Leiden).

Met camera’s en sensors is een winkeldief straks op grote afstand te herkennen

Zakkenrollerij en winkeldiefstal zijn een hardnekkig probleem in het outletcentrum in Roermond. De politie hoopt dat met sensoren en computerkracht de kop in te drukken.

Wees op je hoede, want ook algoritmen maken fouten

Zelflerende algoritmen hebben niet de wijsheid in pacht, betoogt senior-onderzoeker Marc Steen van TNO. Kennis van onderliggende processen is cruciaal om te begrijpen waar het misgaat.

Eén reactie

Geef een reactie

Vul je gegevens in of klik op een icoon om in te loggen.

WordPress.com logo

Je reageert onder je WordPress.com account. Log uit /  Bijwerken )

Google photo

Je reageert onder je Google account. Log uit /  Bijwerken )

Twitter-afbeelding

Je reageert onder je Twitter account. Log uit /  Bijwerken )

Facebook foto

Je reageert onder je Facebook account. Log uit /  Bijwerken )

Verbinden met %s

Deze site gebruikt Akismet om spam te bestrijden. Ontdek hoe de data van je reactie verwerkt wordt.