MIT-forskaren Joy Buolamwinis team Algorithmic Justice League bekämpar ett nytt sorts förtryck – det maskinella.
”En vanlig missuppfattning är att beslut fattade av en maskin med hjälp av algoritmer är neutrala. Vi måste bli medvetna om vem som representeras i datan som besluten bygger på”, säger Joy Buolamwini till Di under sitt besök på Women In Tech i Stockholm.
Läs mer: Annie Lööf från Women in Tech 2018: "Det finns ett före och ett efter #Metoo"
Att maskiner kan exkludera blev uppenbart för henne när hon först provade ansiktsigenkänning – en allt vanligare funktion både i vissa typer av appar och då det kommer till säkerhetslösningar. Maskinen kunde inte identifiera henne. Mörk hud tillsammans med kvinnliga drag fanns inte tillräckligt representerad i referensdatan.
”Jag satte på mig en vit mask, och plötsligt blev jag igenkänd”.
AI bygger på att lära maskiner att känna igen mönster. I korthet handlar det om att låta en dator ta del av en bit information upprepade gånger med en tillhörande förklaring, till dess att datorn själv lär sig identifiera den. AI-teknik används ofta för att kartlägga mönster eller upptäcka avvikelser i komplexa system, vilket gör tekniken applicerbar inom en rad branscher.
Läs mer: EQT Ventures storsatsar på maskininlärning
Problemet som Joy Buolamwini har identifierat är att referensdatan inte är representativ, vilket kan få stora konsekvenser, inte minst för teknikens pricksäkerhet.
”Om ansiktsigenkänning ska kunna användas vid säkerhetskontroller på exempelvis internationella flygplatser, räcker det inte med att den bara kan identifiera vita, manliga ansikten”, säger hon.
Ansiktsigenkänning är bara ett exempel. Även andra typer av data kan leda till att grupper missgynnas oavsiktligt om den inte är tillräckligt representativ.
”Det blir allt vanligare att AI används för att avgöra hur kreditvärdiga personer är som ansöker om banklån. Vi ser att universitet börjar använda tekniken i antagningsprocessen. Helt fel beslut kan fattas för att det inte finns tillräckligt mycket, och representativ, data att tillgå”, säger Joy Buolamwini.
Läs mer: Swedbanks vd: ”AI kommer att revolutionera allt”
Efter att upprepade gånger ha stött på problematiken, beslutade hon sig för att göra någonting åt situationen. Nu arbetar hon bland annat med att ta fram nya databanker med större mångfald som bättre speglar samhället.
”Inom AI-forskning så används samma referensdata för att bedöma hur väl algoritmerna presterar. Risken är att vi skapar en falsk känsla av utveckling och framgång om vi inte ifrågasätter måttstockens representation”, säger Joy Buolamwini.
Läs mer: Alphabets ordförande: Sverige kan bli ledande inom AI
Bakom evenemanget står bland annat MTG, Google och Bonnier, som äger Dagens Industri.
