Amerikaneren David Heinemeier Hansson og kona Jamie søkte om kredittkort fra Apple tidligere i høst. Han fikk mye høyere kreditt enn henne. Var det fordi han er mann?
Apple Card står ifølge selskapet for alt som Apple står for, som enkelhet, transparens og personvern. 7. november meldte Hansson via Twitter at han hadde fått 20 ganger så høy kreditt som kona, selv om de har ganske lik økonomisk situasjon. Deretter begynte ballen å rulle.
Apple svarte først at selskapet ikke diskriminerer, men at det skyldtes «algoritmen». Det viste seg etter hvert at ingen i Apple-systemet forsto hvordan denne algoritmen fungerte – den var som en svart boks for dem.
I mellomtiden fikk Hanssons kone på mystisk vis høyere kreditt, men fortsatt ingen forklaring av algoritmen.
Apple hadde satt ut kredittvurderingen – med andre ord algoritmen – til Goldman Sachs. Goldman Sachs sa at algoritmen behandler alle individuelt, så mann og kone kan bli vurdert forskjellig. Videre sa Goldman Sachs at algoritmen uansett ikke er basert på kjønn.
Er indirekte diskriminering greit?
La oss for et øyeblikk stole på Goldman Sachs når de sier at kjønn ikke ble brukt i algoritmen. Det er allikevel mulig at de andre variablene i (den hemmelige) algoritmen i stor grad klarer å forutsi kjønn. På den måten kan algoritmen indirekte være basert på kjønn.
Det er uklart om en slik indirekte bruk av en omstridt variabel er ulovlig diskriminering, men vi kan godt være enige om at det er problematisk. Hvis Goldman Sachs ikke visste om David og Jamie var mann og dame, ville det dessuten vært vanskelig å sjekke om det forekommer diskriminering.
Goldman Sachs sin algoritme kan med andre ord bedrive en slags indirekte diskriminering.
Et tilsvarende eksempel på mulig indirekte diskriminering, er teknologigiganten Amazons forsøk på å automatisere ansettelsesprosessen sin. Selskapet ville la en maskinlæringsalgoritme lese gjennom og rangere søknadene som kom inn. Amazon la imidlertid prosjektet på hyllen, fordi det viste seg algoritmen foretrakk menn fremfor kvinner til tekniske stillinger, til tross for at algoritmen ikke fikk benytte kjønnsspesifikke ord. Algoritmen gjenskapte rett og slett den skjeve ansettelsespraksisen Amazon hadde hatt i en årrekke.
Herr og fru Hansson er ikke berørt av personopplysningsloven (GDPR), men dette kan allikevel være brudd på amerikanske regler. Senator Elizabeth Warren, som potensielt kan bli USAs neste president, har tatt opp saken med føderale myndigheter.
Dersom en algoritme på egen hånd tar en beslutning som å gi en kunde kreditt, gir personopplysningsloven en norsk kunde rett til innsyn i egne personopplysninger og rett til en forklaring av hvordan beslutningen ble tatt.
Personopplysningsloven trådte i kraft i juli i fjor, og det finnes så langt lite praksis på hvordan og hvor detaljert en slik algoritmeforklaring bør være.
Det er uansett åpenbart at «det skyldes algoritmen» ikke er et tilfredsstillende svar.(Vilkår)Copyright Dagens Næringsliv AS og/eller våre leverandører. Vi vil gjerne at du deler våre saker ved bruk av lenke, som leder direkte til våre sider. Kopiering eller annen form for bruk av hele eller deler av innholdet, kan kun skje etter skriftlig tillatelse eller som tillatt ved lov. For ytterligere vilkår se her.