AI-etik Chokerende afsløring af, at træning af AI til at være giftig eller forudindtaget kan være gavnlig, også for de autonome selvkørende biler

Her er en gammel linje, som jeg er sikker på, du har hørt før.

Det kræver én at kende én.

Du er måske ikke klar over, at dette er et udtryk, der kan spores til begyndelsen af ​​1900-tallet, og som normalt blev påberåbt, når man refererede til forbrydere (andre variationer af slagordet går længere tilbage, såsom til 1600-tallet). Et eksempel på, hvordan denne ytring kan bruges, indebærer forestillingen om, at hvis du ønsker at fange en tyv, skal du bruge en tyv til at gøre det. Dette viser påstanden om, at det kræver én at kende én. Mange film og tv-serier har udnyttet denne praktiske smule visdomsvisdom, som ofte portrætterer, at det eneste levedygtige middel til at fange en skurk indebar at hyre en lige så korrupt skurk til at forfølge forbryderen.

Når man skifter gear, vil nogle måske udnytte den samme logik til at argumentere for, at en passende måde at afgøre, om nogen legemliggør unødige skævheder og diskriminerende overbevisninger, ville være at finde nogen, der allerede har sådanne tendenser. Formentlig vil en person, der allerede er fyldt med forudindtagethed, være i stand til lettere at fornemme, at dette andet menneske ligeledes er fyldt til randen med toksicitet. Igen, det kræver én at vide, at man er det erklærede mantra.

Din første reaktion på muligheden for at bruge en forudindtaget person til at afsløre en anden forudindtaget person kan være skepsis og vantro. Kan vi ikke finde ud af, om nogen har uønskede skævheder ved blot at undersøge dem og ikke skulle ty til at finde en anden af ​​samme natur? Det virker mærkeligt at bevidst søge at opdage nogen, der er forudindtaget for at afdække andre, der også er giftigt forudindtaget.

Det kommer vel til dels an på, om du er villig til at acceptere det formodede omkvæd, at det kræver én at kende én. Bemærk, at dette ikke tyder på, at den eneste måde at fange en tyv på kræver, at du udelukkende og altid gør brug af en tyv. Du kunne med rimelighed synes at hævde, at dette blot er en ekstra vej, der kan tages behørigt i betragtning. Måske nogle gange er du villig til at underholde muligheden for at bruge en tyv til at fange en tyv, mens andre omstændigheder kan gøre dette til en uoverskuelig taktik.

Brug det rigtige værktøj til den rigtige indstilling, som man siger.

Nu hvor jeg har lagt disse fundamentale oplysninger frem, kan vi gå videre til den måske nervøse og tilsyneladende chokerende del af denne fortælling.

Er du klar?

AI-området forfølger aktivt den samme forskrift, at det nogle gange kræver én at kende én, især i tilfælde af at man forsøger at fjerne AI, der er forudindtaget eller opfører sig på en diskriminerende måde. Ja, den tankevækkende idé er, at vi måske med vilje ønsker at udtænke AI, der er fuldt og uforskammet forudindtaget og diskriminerende, og gør det for at bruge dette som et middel til at opdage og afsløre anden AI, der har samme udseende af toksicitet. Som du vil se om et øjeblik, er der en række irriterende AI-etiske problemer, der ligger til grund for sagen. For min overordnede løbende og omfattende dækning af AI-etik og etisk AI, se linket her , linket her, For blot at nævne nogle få.

Jeg gætter på, at du kunne udtrykke denne brug af giftig AI for at gå efter anden giftig AI som den velkendte bekæmpelse af ild-med-ild-opfattelse (vi kan påberåbe os masser af eufemismer og illustrative metaforer til at skildre denne situation). Eller, som allerede understreget, kan vi sparsommeligt henvise til påstanden om, at det kræver én at kende én.

Det overordnede koncept er, at i stedet for kun at prøve at finde ud af, om et givet AI-system indeholder unødige skævheder ved at bruge konventionelle metoder, bør vi måske også forsøge at bruge mindre konventionelle midler. En sådan ukonventionel måde ville være at udtænke AI, der indeholder alle de værste skævheder og samfundsmæssigt uacceptable toksiciteter og derefter bruge denne AI til at hjælpe med at dirigere anden AI ud, der har de samme tilbøjeligheder til dårligdom.

Når du tænker hurtigt over dette, ser det bestemt ud til at være helt fornuftigt. Vi kunne sigte efter at bygge AI, der er giftigt til det maksimale. Denne giftige AI bruges derefter til at pirre ud af anden AI, der også har toksicitet. For den på det tidspunkt afslørede "dårlige" AI kan vi håndtere det ved enten at fortryde toksiciteten, droppe AI'en helt (se min dækning af AI-disgorgement eller -destruktion på dette link her), eller fængsling af AI (se min dækning af AI-indeslutning på dette link her), eller gør hvad der ellers synes relevant at gøre.

Et modargument er, at vi burde have vores hoveder undersøgt, at vi med vilje og vilje udtænker AI, der er giftig og fyldt med skævheder. Dette er den sidste ting, vi nogensinde bør overveje, vil nogle formane. Fokuser på at få AI til udelukkende at bestå af godhed. Fokuser ikke på at udtænke AI, der har ondskaben og affaldet af unødige skævheder. Selve forestillingen om en sådan forfølgelse virker frastødende for nogle.

Der er flere betænkeligheder ved denne kontroversielle søgen.

Måske vil en mission med at udtænke giftig AI blot opmuntre dem, der ønsker at lave AI, der er i stand til at underbyde samfundet. Det er, som om vi siger, at det er helt fint at lave AI, der har upassende og ubehagelige skævheder. Ingen bekymringer, ingen tøven. Prøv at udtænke giftig AI til dit hjertes lyst, vi formidler højlydt til AI-byggere over hele kloden. Det er (blink-blink) alt sammen i godhedens navn.

Antag desuden, at denne giftige AI-form fanger. Det kan være, at AI'en bruges og genbruges af mange andre AI-byggere. Til sidst bliver den giftige AI skjult i alle mulige AI-systemer. En analogi kan laves til at udtænke en menneskeunderminerende virus, der undslipper fra et formodentlig lukket laboratorium. Det næste du ved, det forbandede er overalt, og vi har udslettet os selv.

Vent et øjeblik, siger modstriden til de modargumenter, du løber amok med alle slags skøre og uunderbyggede antagelser. Tag en dyb indånding. Slap af.

Vi kan trygt lave AI, der er giftig, og holde det indespærret. Vi kan bruge den giftige AI til at finde og hjælpe med at reducere den stigende udbredelse af AI, som desværre har unødige skævheder. Enhver anden af ​​disse absurde vilde og udokumenterede sneboldudråb er rene knæfald og desværre tåbelige og direkte dumdristige. Forsøg ikke at smide barnet ud med badevandet, du er advaret.

Tænk på det på denne måde, hævder fortalerne. Den korrekte opbygning og brug af giftig AI med henblik på forskning, vurdering og optræden som en detektiv for at afsløre anden samfundsmæssigt krænkende AI er en værdig tilgang, og den burde få sin retfærdige rystelse ved at blive forfulgt. Læg dine udslætsreaktioner til side. Kom ned på jorden og se nøgternt på dette. Vores øje er rettet mod prisen, nemlig at afsløre og fjerne overfloden af ​​forudindtaget-baserede AI-systemer og sikre, at vi som samfund ikke bliver overrendt med giftig AI.

Periode. Fuldt stop.

Der er forskellige nøglestensmåder at dykke ned i denne forestilling om at bruge giftig eller forudindtaget AI til gavnlige formål, herunder:

• Opsætning af datasæt, der bevidst indeholder partiske og helt giftige data, der kan bruges til at træne AI med hensyn til, hvad man ikke skal gøre og/eller hvad man skal holde øje med
• Brug sådanne datasæt til at træne Machine Learning (ML) og Deep Learning (DL) modeller om at opdage skævheder og finde ud af beregningsmønstre, der indebærer samfundsmæssig toksicitet
• Anvend den toksicitetstrænede ML/DL mod anden AI for at fastslå, om den målrettede AI er potentielt forudindtaget og giftig
• Gør toksicitetstrænet ML/DL tilgængelig for at vise AI-byggere, hvad de skal være opmærksomme på, så de let kan inspicere modeller for at se, hvordan algoritmisk præget skævhed opstår
• Eksemplér farerne ved giftig AI som en del af AI-etik og etisk AI-bevidsthed, alt fortalt via denne problem-barn-slem AI-serie af eksempler
• Andet

Før vi går ind i kødet på disse flere stier, lad os etablere nogle yderligere grundlæggende detaljer.

Du er måske vagt klar over, at en af ​​de højeste stemmer i disse dage inden for AI-feltet og endda uden for AI-området består i at råbe efter et større udseende af etisk AI. Lad os tage et kig på, hvad det vil sige at henvise til AI-etik og etisk AI. Oven i købet kan vi sætte scenen ved at udforske, hvad jeg mener, når jeg taler om Machine Learning og Deep Learning.

Et bestemt segment eller en del af AI-etikken, der har fået meget mediebevågenhed, består af AI, der udviser urimelige skævheder og uligheder. Du er måske klar over, at da den seneste æra af kunstig intelligens gik i gang, var der et stort udbrud af begejstring for, hvad nogle nu kalder AI til gode. Desværre begyndte vi at være vidne til det i hælene af den brusende spænding AI For Bad. For eksempel er forskellige AI-baserede ansigtsgenkendelsessystemer blevet afsløret som indeholdende racemæssige skævheder og kønsbias, som jeg har diskuteret på linket her.

Bestræbelser på at kæmpe imod AI For Bad er aktivt i gang. Udover højrøstet juridiske bestræbelserne på at tøjle uretfærdigheden, er der også et væsentligt skub i retning af at omfavne AI-etik for at rette op på AI-modfærdigheden. Idéen er, at vi bør vedtage og godkende vigtige etiske AI-principper for udviklingen og feltet af AI for at underbyde AI For Bad og samtidig indvarsle og fremme det foretrukne AI til gode.

Hvad angår en beslægtet opfattelse, er jeg en fortaler for at forsøge at bruge AI som en del af løsningen på AI-problemer, bekæmpe ild med ild på den måde at tænke på. Vi kan for eksempel indlejre etiske AI-komponenter i et AI-system, der vil overvåge, hvordan resten af ​​AI gør tingene og dermed potentielt fange i realtid enhver diskriminerende indsats, se min diskussion på linket her. Vi kunne også have et separat AI-system, der fungerer som en type AI Ethics monitor. AI-systemet fungerer som en tilsynsførende til at spore og detektere, når en anden AI går ind i den uetiske afgrund (se min analyse af sådanne muligheder på linket her).

Om et øjeblik vil jeg dele nogle overordnede principper, der ligger til grund for AI-etik, med dig. Der er masser af den slags lister, der flyder rundt her og der. Man kan sige, at der endnu ikke er en enestående liste over universel appel og enighed. Det er den uheldige nyhed. Den gode nyhed er, at der i det mindste er let tilgængelige AI Ethics lister, og de plejer at være ret ens. Alt i alt tyder dette på, at vi ved en form for begrundet konvergens finder vej mod en generel fælleshed af, hvad AI-etik består af.

Lad os først kort dække nogle af de overordnede etiske AI-forskrifter for at illustrere, hvad der burde være en vigtig overvejelse for enhver, der laver, arbejder med eller bruger AI.

For eksempel, som anført af Vatikanet i Rom opfordrer til AI-etik og som jeg har dækket indgående kl linket her, disse er deres identificerede seks primære AI-etiske principper:

• Gennemsigtighed: I princippet skal AI-systemer kunne forklares
• Inklusion: Der skal tages hensyn til alle menneskers behov, så alle kan få gavn, og alle kan tilbydes de bedst mulige betingelser for at udtrykke sig og udvikle sig.
• Ansvar: De, der designer og implementerer brugen af ​​AI, skal fortsætte med ansvar og gennemsigtighed
• Uvildighed: Lad være med at skabe eller handle i overensstemmelse med bias, og dermed sikre retfærdighed og menneskelig værdighed
• Pålidelighed: AI-systemer skal kunne fungere pålideligt
• Sikkerhed og privatliv: AI-systemer skal fungere sikkert og respektere brugernes privatliv.

Som anført af det amerikanske forsvarsministerium (DoD) i deres Etiske principper for brugen af ​​kunstig intelligens og som jeg har dækket indgående kl linket her, disse er deres seks primære AI-etiske principper:

• Ansvarlig: DoD-personale vil udøve passende niveauer af dømmekraft og omhu, mens de forbliver ansvarlige for udvikling, implementering og brug af AI-kapaciteter.
• Retfærdig: Afdelingen vil tage bevidste skridt for at minimere utilsigtet skævhed i AI-kapaciteter.
• Sporbar: Afdelingens AI-kapaciteter vil blive udviklet og implementeret, således at relevant personale besidder en passende forståelse af teknologien, udviklingsprocesser og operationelle metoder, der gælder for AI-kapaciteter, herunder gennemsigtige og auditerbare metoder, datakilder og designprocedure og dokumentation.
• Pålidelig: Afdelingens AI-kapaciteter vil have eksplicitte, veldefinerede anvendelser, og sikkerheden, sikkerheden og effektiviteten af ​​sådanne kapaciteter vil være genstand for test og forsikring inden for disse definerede anvendelser i hele deres livscyklus.
• Styrbar: Afdelingen vil designe og konstruere AI-kapaciteter til at opfylde deres tilsigtede funktioner, samtidig med at den har evnen til at opdage og undgå utilsigtede konsekvenser og evnen til at deaktivere eller deaktivere installerede systemer, der viser utilsigtet adfærd.

Jeg har også diskuteret forskellige kollektive analyser af AI-etiske principper, herunder at have dækket et sæt udtænkt af forskere, der undersøgte og kondenserede essensen af ​​adskillige nationale og internationale AI-etiske principper i et papir med titlen "The Global Landscape Of AI Ethics Guidelines" (publiceret i Natur), og at min dækning udforsker kl linket her, som førte til denne keystone-liste:

• Gennemsigtighed
• Retfærdighed og Retfærdighed
• Ikke-ondskab
• Ansvarlighed
• Privatliv
• godgørenhed
• Frihed & Autonomi
• Stol
• Bæredygtighed
• Værdighed
• Solidaritet

Som du umiddelbart kan gætte, kan det være ekstremt svært at prøve at fastlægge de detaljer, der ligger til grund for disse principper. Endnu mere er bestræbelserne på at omdanne disse brede principper til noget helt håndgribeligt og detaljeret nok til at blive brugt, når man laver AI-systemer, også en svær nød at knække. Det er let overordnet at lave nogle håndsvingninger om, hvad AI-etiske forskrifter er, og hvordan de generelt skal overholdes, mens det er en meget mere kompliceret situation i AI-kodningen, der skal være den veritable gummi, der møder vejen.

AI-etikprincipperne skal bruges af AI-udviklere sammen med dem, der styrer AI-udviklingsindsatsen, og endda dem, der i sidste ende udfører og udfører vedligeholdelse på AI-systemer. Alle interessenter gennem hele AI-livscyklussen for udvikling og brug betragtes inden for rammerne af at overholde de etablerede normer for etisk AI. Dette er et vigtigt højdepunkt, da den sædvanlige antagelse er, at "kun kodere" eller dem, der programmerer AI'en, er underlagt AI-etikkens begreber. Som tidligere nævnt kræver det en landsby at udtænke og udforme AI, og for hvilken hele landsbyen skal være fortrolig med og overholde AI-etiske forskrifter.

Lad os også sikre os, at vi er på samme side om arten af ​​nutidens AI.

Der er ikke nogen AI i dag, der er sansende. Det har vi ikke. Vi ved ikke, om sansende AI vil være mulig. Ingen kan passende forudsige, om vi vil opnå sansende AI, eller om sansende AI på en eller anden måde mirakuløst spontant vil opstå i en form for computerkognitiv supernova (normalt omtalt som singulariteten, se min dækning på linket her).

Den type AI, som jeg fokuserer på, består af den ikke-sansende AI, som vi har i dag. Hvis vi ville spekulere vildt over sansende AI, denne diskussion kunne gå i en radikal anden retning. En sansende AI ville angiveligt være af menneskelig kvalitet. Du skal overveje, at den sansende AI er den kognitive ækvivalent til et menneske. Mere så, eftersom nogle spekulerer på, at vi måske har superintelligent AI, er det tænkeligt, at sådan AI kan ende med at blive klogere end mennesker (for min udforskning af superintelligent AI som en mulighed, se dækningen her).

Lad os holde tingene mere nede på jorden og overveje nutidens beregningsmæssige ikke-sansende AI.

Indse, at nutidens AI ikke er i stand til at "tænke" på nogen måde på lige fod med menneskelig tænkning. Når du interagerer med Alexa eller Siri, kan samtalekapaciteten virke beslægtet med menneskelige kapaciteter, men virkeligheden er, at den er beregningsmæssig og mangler menneskelig erkendelse. Den seneste æra af AI har gjort omfattende brug af Machine Learning (ML) og Deep Learning (DL), som udnytter computational pattern matching. Dette har ført til AI-systemer, der ser ud som menneskelignende tilbøjeligheder. I mellemtiden er der ikke nogen kunstig intelligens i dag, der har et antydning af sund fornuft og heller ikke noget af den kognitive undren ved robust menneskelig tænkning.

ML/DL er en form for computational pattern matching. Den sædvanlige tilgang er, at du samler data om en beslutningsopgave. Du føder dataene ind i ML/DL-computermodellerne. Disse modeller søger at finde matematiske mønstre. Efter at have fundet sådanne mønstre, hvis det er fundet, vil AI-systemet bruge disse mønstre, når de støder på nye data. Ved præsentationen af ​​nye data anvendes mønstrene baseret på de "gamle" eller historiske data til at gøre en aktuel beslutning.

Jeg tror, ​​du kan gætte, hvor det er på vej hen. Hvis mennesker, der har truffet de mønstrede beslutninger, har inkorporeret uønskede skævheder, er oddsene, at dataene afspejler dette på subtile, men væsentlige måder. Machine Learning eller Deep Learning computational pattern matching vil blot forsøge at matematisk efterligne dataene i overensstemmelse hermed. Der er ingen antydning af sund fornuft eller andre sansende aspekter af AI-fremstillet modellering i sig selv.

Desuden er AI-udviklerne måske heller ikke klar over, hvad der foregår. Den mystiske matematik i ML/DL kan gøre det svært at fjerne de nu skjulte skævheder. Du ville med rette håbe og forvente, at AI-udviklerne ville teste for de potentielt begravede skævheder, selvom dette er vanskeligere, end det måske ser ud til. Der er en solid chance for, at selv med relativt omfattende tests, vil der stadig være skævheder indlejret i mønstermatchningsmodellerne for ML/DL.

Du kunne lidt bruge det berømte eller berygtede ordsprog om skrald-ind skrald-ud. Sagen er, at dette er mere beslægtet med biases-in, der snigende bliver infunderet som skævheder nedsænket i AI. Algoritmebeslutningstagningen (ADM) af AI bliver aksiomatisk fyldt med uligheder.

Ikke godt.

Hvad kan man ellers gøre ved alt dette?

Lad os vende tilbage til den tidligere stillede liste over, hvordan man forsøger at håndtere AI-bias eller giftig AI ved at bruge en noget ukonventionel "det kræver én at kende én"-tilgang. Husk, at listen bestod af disse væsentlige punkter:

• Opsætning af datasæt, der bevidst indeholder partiske og helt giftige data, der kan bruges til at træne AI med hensyn til, hvad man ikke skal gøre og/eller hvad man skal holde øje med
• Brug sådanne datasæt til at træne Machine Learning (ML) og Deep Learning (DL) modeller om at opdage skævheder og finde ud af beregningsmønstre, der indebærer samfundsmæssig toksicitet
• Anvend den toksicitetstrænede ML/DL mod anden AI for at fastslå, om den målrettede AI er potentielt forudindtaget og giftig
• Gør toksicitetstrænet ML/DL tilgængelig for at vise AI-byggere, hvad de skal være opmærksomme på, så de let kan inspicere modeller for at se, hvordan algoritmisk præget skævhed opstår
• Eksempler på farerne ved giftig AI som en del af AI-etik og etisk AI-bevidsthed, alt fortalt via denne problem-barn-slem-til-knogle-serie af AI-eksempler
• Andet

Vi skal se nærmere på det første af disse iøjnefaldende punkter.

Opsætning af datasæt af giftige data

Et indsigtsfuldt eksempel på forsøg på at etablere datasæt, der indeholder ubehagelige samfundsmæssige skævheder, er CivilComments-datasættet fra den WILDS-kurerede samling.

Først lidt hurtig baggrund.

WILDS er en open source-samling af datasæt, der kan bruges til træning af ML/DL. Det primære erklærede formål med WILDS er, at det giver AI-udviklere mulighed for at have let adgang til data, der repræsenterer distributionsskift på forskellige specifikke domæner. Nogle af de tilgængelige domæner omfatter områder som dyrearter, tumorer i levende væv, tæthed af hvedehoved og andre domæner såsom CivilComments, som jeg vil beskrive et øjeblik.

Håndtering af distributionsskift er en afgørende del af korrekt udformning af AI ML/DL-systemer. Her er aftalen. Nogle gange viser de data, du bruger til træning, at være ret forskellige fra test- eller "i naturen" data, og dermed er din formentlig trænede ML/DL på drift af, hvordan den virkelige verden kommer til at se ud. Klog AI-byggere bør træne deres ML/DL til at klare sådanne distributionsskift. Dette burde gøres på forhånd og ikke på en eller anden måde være en overraskelse, der senere kræver en fornyelse af ML/DL i sig selv.

Som forklaret i papiret, der introducerede WILDS: "Distributionsskift - hvor træningsfordelingen adskiller sig fra testfordelingen - kan væsentligt forringe nøjagtigheden af ​​maskinlæringssystemer (ML) implementeret i naturen. På trods af deres allestedsnærværende i implementeringer i den virkelige verden er disse distributionsskift underrepræsenteret i de datasæt, der i vid udstrækning anvendes i ML-samfundet i dag. For at løse dette hul præsenterer vi WILDS, et kurateret benchmark af 10 datasæt, der afspejler en bred vifte af distributionsskift, der naturligt opstår i applikationer i den virkelige verden, såsom skift på tværs af hospitaler til tumoridentifikation; på tværs af kamerafælder til overvågning af vilde dyr; og på tværs af tid og sted i satellitbilleddannelse og fattigdomskortlægning" (i papiret med titlen "WILDS: A Benchmark of in-the-Wild Distribution Shifts" af Pang Wei Koh, Shiori Sagawa, Henrik Marklund, Sang Xie, Marvin Zhang, Ashay Balsubramani , Weihua Hu og andre).

Antallet af sådanne WILDS-datasæt fortsætter med at stige, og datasættenes karakter bliver generelt forbedret for at styrke værdien af ​​at bruge dataene til ML/DL-træning.

CivilComments-datasættet beskrives på denne måde: “Automatisk gennemgang af brugergenereret tekst – f.eks. opdagelse af giftige kommentarer – er et vigtigt værktøj til at moderere den store mængde tekst, der er skrevet på internettet. Desværre har tidligere arbejde vist, at sådanne toksicitetsklassifikatorer opfanger skævheder i træningsdataene og på falsk vis forbinder toksicitet med omtalen af ​​visse demografiske forhold. Disse typer af falske korrelationer kan signifikant forringe modellens ydeevne på bestemte underpopulationer. Vi studerer dette problem gennem en modificeret variant af CivilComments-datasættet” (som offentliggjort på WILDS-webstedet).

Overvej nuancerne i uønskede online opslag.

Du er utvivlsomt stødt på giftige kommentarer, når du bruger næsten enhver form for sociale medier. Det virker næsten umuligt for dig på magisk vis at undgå at se det skarpe og afgrundsdybe indhold, der ser ud til at være gennemgående i disse dage. Nogle gange er det vulgære materiale subtilt, og måske er du nødt til at læse mellem linjerne for at få essensen af ​​den partiske eller diskriminerende tone eller betydning. I andre tilfælde er ordene åbenlyst giftige, og du behøver ikke et mikroskop eller en speciel dekoderring for at finde ud af, hvad passagerne indebærer.

CivilComments er et datasæt, der blev sat sammen for at forsøge at udtænke AI ML/DL, der kan beregne giftigt indhold. Her er, hvad forskerne bag indsatsen fokuserede på: "Utilsigtet bias i Machine Learning kan manifestere sig som systemiske forskelle i ydeevne for forskellige demografiske grupper, hvilket potentielt forværrer eksisterende udfordringer for retfærdighed i samfundet som helhed. I dette papir introducerer vi en række tærskelagnostiske metrikker, der giver et nuanceret billede af denne utilsigtede skævhed ved at overveje de forskellige måder, hvorpå en klassifikators scorefordeling kan variere på tværs af udpegede grupper. Vi introducerer også et stort nyt testsæt af onlinekommentarer med crowd-sourcede annoteringer til identitetsreferencer. Vi bruger dette til at vise, hvordan vores metrics kan bruges til at finde nye og potentielt subtile utilsigtede bias i eksisterende offentlige modeller" (i et papir med titlen "Nuanced Metrics For Measuring Unintended Bias With Real Data for Test Classification" af Daniel Borkan, Lucas Dixon, Jeffrey Sorensen, Nithum Thain, Lucy Vasserman).

Hvis du giver denne sag en bred kontemplativ tænkning, begynder du måske at undre dig over, hvordan i alverden kan du skelne, hvad der er en giftig kommentar versus hvad der ikke er en giftig kommentar. Mennesker kan være radikalt forskellige med hensyn til, hvad de opfatter som direkte giftig formulering. Én person kan være forarget over en bestemt online-bemærkning eller kommentar, der er postet på sociale medier, mens en anden måske slet ikke er rørt. Der argumenteres ofte for, at begrebet giftig kommentar er en fuldstændig vag forskrift. Det er ligesom kunst, hvor man sædvanligvis siger, at kunst kun forstås i beskuerens øje, og på samme måde er partiske eller giftige bemærkninger kun i beskuerens øje.

Balderdash, nogle replikker. Enhver med et fornuftigt sind kan afgøre, om en onlinebemærkning er giftig eller ej. Du behøver ikke at være raketforsker for at indse, hvornår en eller anden postet ætsende fornærmelse er fyldt med skævheder og had.

Naturligvis skifter og ændrer samfundsskik over perioder. Hvad der måske ikke blev opfattet som stødende for et stykke tid siden, kan i dag ses som afskyeligt forkert. Oven i købet kan ting, der blev sagt for år siden, og som engang blev set som unødigt forudindtaget, blive genfortolket i lyset af ændringer i betydninger. I mellemtiden hævder andre, at giftig kommentar altid er giftig, uanset hvornår den oprindeligt blev offentliggjort. Det kan hævdes, at toksicitet ikke er relativ, men i stedet er absolut.

Spørgsmålet om at forsøge at fastslå, hvad der er giftigt, kan ikke desto mindre være en ganske vanskelig gåde. Vi kan fordoble denne besværlige sag med hensyn til at forsøge at udtænke algoritmer eller AI, der kan fastslå, hvad der er hvad. Hvis mennesker har svært ved at foretage sådanne vurderinger, er programmering af en computer sandsynligvis lige så eller mere problematisk, siger nogle.

En tilgang til at opsætte datasæt, der indeholder giftigt indhold, involverer at bruge en crowdsourcing-metode til at vurdere eller vurdere indholdet, hvilket betyder, at det giver et menneskebaseret middel til at bestemme, hvad der anses for at være upassende, og inkludere mærkningen i selve datasettet. En AI ML/DL kan derefter inspicere dataene og den tilhørende mærkning, der er blevet angivet af menneskelige bedømmere. Dette kan igen potentielt tjene som et middel til beregningsmæssigt at finde underliggende matematiske mønstre. Voila, ML/DL vil måske være i stand til at forudse eller beregningsmæssigt vurdere, om en given kommentar sandsynligvis er giftig eller ej.

Som nævnt i det citerede papir om nuancerede målinger: "Denne mærkning beder bedømmerne om at vurdere toksiciteten af ​​en kommentar ved at vælge mellem 'Meget giftig', 'Giftig', 'Svært at sige' og 'Ikke giftig'. Bedømmerne blev også spurgt om flere undertyper af toksicitet, selvom disse etiketter ikke blev brugt til analysen i dette arbejde. Ved at bruge disse vurderingsteknikker skabte vi et datasæt med 1.8 millioner kommentarer, hentet fra online kommentarfora, indeholdende etiketter for toksicitet og identitet. Mens alle kommentarerne var mærket for toksicitet, og en undergruppe på 450,000 kommentarer blev mærket for identitet. Nogle kommentarer mærket til identitet blev forudvalgt ved hjælp af modeller bygget fra tidligere iterationer af identitetsmærkning for at sikre, at publikumsbedømmere ofte ville se identitetsindhold" (i det citerede papir af Daniel Borkan, Lucas Dixon, Jeffrey Sorensen, Nithum Thain, Lucy Vasserman).

Et andet eksempel på at sigte efter at have datasæt, der indeholder illustrativt giftigt indhold, involverer bestræbelser på at træne AI-baserede Natural Language Processing (NLP) samtale interaktive systemer. Du har sikkert interageret med NLP-systemer som Alexa og Siri. Jeg har dækket nogle af vanskelighederne og begrænsningerne ved nutidens NLP, inklusive et særligt foruroligende tilfælde, der opstod, da Alexa gav børn et uegnet og farligt råd, se linket her.

En nylig undersøgelse søgte at bruge ni kategorier af social bias, der generelt var baseret på EEOC (Equal Employment Opportunities Commission) liste over beskyttede demografiske karakteristika, herunder alder, køn, nationalitet, fysisk udseende, race eller etnicitet, religion, handicapstatus, seksuel orientering og socioøkonomisk status. Ifølge forskerne: "Det er veldokumenteret, at NLP-modeller lærer sociale skævheder, men der er ikke arbejdet meget med, hvordan disse skævheder kommer til udtryk i modeloutput for anvendte opgaver som spørgsmålssvar (QA). Vi introducerer Bias Benchmark for QA (BBQ), et datasæt af spørgsmålssæt konstrueret af forfatterne, der fremhæver attesterede sociale skævheder mod mennesker, der tilhører beskyttede klasser langs ni sociale dimensioner, der er relevante for amerikansk engelsktalende kontekster" (i et papir med titlen "BBQ : A Hand-Built Benchmark For Question Answering” af Alicia Parrish, Angelica Chen, Nikita Nangia, Vishakh Padmakumar, Jason Phang, Jana Thompson, Phu Mon Htut, Samuel R. Bowman).

Opsætningen af ​​datasæt, der bevidst indeholder partiske og helt giftige data, er en stigende tendens inden for AI og er især drevet af fremkomsten af ​​AI-etik og ønsket om at producere etisk AI. Disse datasæt kan bruges til at træne Machine Learning (ML) og Deep Learning (DL) modeller til at detektere skævheder og finde ud af beregningsmønstre, der indebærer samfundsmæssig toksicitet. Til gengæld kan den toksicitetstrænede ML/DL være fornuftigt rettet mod anden AI for at fastslå, om den målrettede AI er potentielt forudindtaget og giftig.

Ydermere kan de tilgængelige toksicitetstrænede ML/DL-systemer bruges til at vise AI-byggere, hvad de skal passe på, så de let kan inspicere modeller for at se, hvordan algoritmisk præget skævhed opstår. Samlet set er disse bestræbelser i stand til at eksemplificere farerne ved giftig AI som en del af AI-etik og etisk AI-bevidsthed.

På dette tidspunkt af denne tungtvejende diskussion vil jeg vædde på, at du ønsker nogle yderligere illustrative eksempler, der kan fremvise dette emne. Der er et særligt og helt sikkert populært sæt eksempler, som ligger mit hjerte nært. Ser du, i min egenskab af ekspert i kunstig intelligens, herunder de etiske og juridiske konsekvenser, bliver jeg ofte bedt om at identificere realistiske eksempler, der viser AI-etiske dilemmaer, så emnets noget teoretiske karakter lettere kan forstås. Et af de mest stemningsfulde områder, der levende præsenterer dette etiske AI-dilemma, er fremkomsten af ​​AI-baserede ægte selvkørende biler. Dette vil tjene som et praktisk use case eller et eksempel til omfattende diskussion om emnet.

Her er så et bemærkelsesværdigt spørgsmål, som er værd at overveje: Belyser fremkomsten af ​​AI-baserede ægte selvkørende biler noget om nytten af ​​at have datasæt til at udtænke giftig AI, og hvis ja, hvad viser dette?

Tillad mig et øjeblik at pakke spørgsmålet ud.

Først skal du bemærke, at der ikke er en menneskelig chauffør involveret i en ægte selvkørende bil. Husk, at ægte selvkørende biler køres via et AI-køresystem. Der er ikke behov for en menneskelig fører ved rattet, og der er heller ikke en bestemmelse om, at et menneske kan føre køretøjet. For min omfattende og løbende dækning af Autonome Vehicles (AV'er) og især selvkørende biler, se linket her.

Jeg vil gerne yderligere præcisere, hvad der menes, når jeg refererer til ægte selvkørende biler.

Forståelse af niveauerne af selvkørende biler

Som en præcisering er ægte selvkørende biler dem, hvor AI kører bilen helt på egen hånd, og der ikke er nogen menneskelig assistance under køreopgaven.

Disse førerløse køretøjer betragtes som niveau 4 og niveau 5 (se min forklaring på dette link her), mens en bil, der kræver en menneskelig chauffør til at dele køreindsatsen, normalt betragtes på niveau 2 eller niveau 3. De biler, der deler køreopgaven, beskrives som værende semi-autonome og indeholder typisk en række forskellige automatiserede tilføjelser, der omtales som ADAS (Advanced Driver-Assistance Systems).

Der er endnu ikke en ægte selvkørende bil på niveau 5, og vi ved endnu ikke engang, om dette vil være muligt at opnå, og heller ikke hvor lang tid det vil tage at nå dertil.

I mellemtiden forsøger niveau 4-indsatsen gradvist at få noget trækkraft ved at gennemgå meget smalle og selektive forsøg på offentlige vejbaner, selvom der er uenighed om, hvorvidt denne test skal tillades i sig selv (vi er alle liv-eller-død marsvin i et eksperiment finder sted på vores motorveje og biveje, hævder nogle, se min dækning på dette link her).

Da semi-autonome biler kræver en menneskelig chauffør, vil vedtagelsen af ​​disse typer biler ikke være markant anderledes end at køre konventionelle køretøjer, så der er ikke meget nyt i sig selv at dække om dem om dette emne (dog, som du vil se på et øjeblik gælder de næste nævnte punkter generelt).

For semi-autonome biler er det vigtigt, at offentligheden skal advares om et foruroligende aspekt, der er opstået for nylig, nemlig at trods de menneskelige chauffører, der fortsætter med at indsende videoer af sig selv falder i søvn ved rattet i en niveau 2 eller niveau 3 bil , er vi alle nødt til at undgå at blive vildledt til at tro, at chaufføren kan fjerne deres opmærksomhed fra køreopgaven, mens han kører en semi-autonom bil.

Du er den ansvarlige part for køretøjets kørselshandlinger, uanset hvor meget automatisering der kan kastes i et niveau 2 eller niveau 3.

Selvkørende biler og styre fri for giftig AI

For ægte selvkørende køretøjer på niveau 4 og niveau 5 er der ikke en menneskelig chauffør, der er involveret i køreopgaven.

Alle passagerer vil være passagerer.

AI driver kørslen.

Et aspekt, som man straks skal diskutere, indebærer det faktum, at AI involveret i nutidens AI-køresystemer ikke er væsentlig. Med andre ord er AI'et helt en samling af computerbaseret programmering og algoritmer, og helt sikkert ikke i stand til at ræsonnere på samme måde som mennesker kan.

Hvorfor er denne ekstra vægt på, at AI ikke er følelsesladet?

Fordi jeg vil understrege, at når jeg diskuterer AI-køresystemets rolle, tilskriver jeg ikke menneskelige kvaliteter til AI. Vær opmærksom på, at der i disse dage er en løbende og farlig tendens til at antropomorfisere AI. I det væsentlige tildeler folk menneskelignende følsomhed til nutidens AI, på trods af den ubestridelige og uomtvistelige kendsgerning, at der endnu ikke findes sådan en sådan AI.

Med denne afklaring kan du forestille dig, at AI-køresystemet ikke på en eller anden måde "ved" noget om kørselens facetter. Kørsel og alt, hvad det medfører, skal programmeres som en del af den selvkørende bils hardware og software.

Lad os dykke ned i det utal af aspekter, der kommer til at spille om dette emne.

For det første er det vigtigt at indse, at ikke alle AI selvkørende biler er ens. Hver bilproducent og selvkørende teknologivirksomhed tager sin tilgang til at udtænke selvkørende biler. Som sådan er det svært at komme med omfattende udsagn om, hvad AI-køresystemer vil gøre eller ej.

Når det endvidere angives, at et AI -køresystem ikke gør nogle særlige ting, kan dette senere blive overhalet af udviklere, der faktisk programmerer computeren til at gøre det. Trin for trin forbedres og udvides AI -drivsystemer gradvist. En eksisterende begrænsning i dag eksisterer muligvis ikke længere i en fremtidig iteration eller version af systemet.

Jeg håber, at det giver en tilstrækkelig litani af forbehold til at ligge til grund for det, jeg er ved at fortælle.

Der er adskillige potentialer og en dag vil sandsynligvis blive realiserede AI-infunderede skævheder, der vil konfrontere fremkomsten af ​​autonome køretøjer og selvkørende biler, se for eksempel min diskussion på linket her , linket her. Vi er stadig i de tidlige stadier af udrulning af selvkørende biler. Indtil adoptionen når en tilstrækkelig skala og synlighed, er mange af de giftige AI-facetter, som jeg har forudsagt i sidste ende vil forekomme, endnu ikke umiddelbart synlige og har endnu ikke fået bred offentlig opmærksomhed.

Overvej en tilsyneladende ligetil kørselsrelateret sag, der i starten kan virke helt ufarlig. Lad os specifikt undersøge, hvordan man korrekt afgør, om man skal stoppe for afventende "egensindige" fodgængere, der ikke har vigepligt til at krydse en gade.

Du har utvivlsomt kørt og stødt på fodgængere, der ventede på at krydse gaden, og alligevel havde de ikke vigepligten til at gøre det. Det betød, at du havde skøn med hensyn til, om du skulle stoppe og lade dem krydse. Du kan fortsætte uden at lade dem krydse og stadig være fuldt ud inden for de lovlige kørselsregler for at gøre det.

Undersøgelser af, hvordan menneskelige bilister beslutter sig for at stoppe eller ikke stoppe for sådanne fodgængere, har antydet, at nogle gange træffer de menneskelige bilister valget baseret på uønskede skævheder. En menneskelig chauffør kan se på fodgængeren og vælge ikke at stoppe, selvom de ville være stoppet, hvis fodgængeren havde haft et andet udseende, f.eks. baseret på race eller køn. Jeg har undersøgt dette kl linket her.

Hvordan vil AI-køresystemer blive programmeret til at træffe den samme slags stop-eller-gå-beslutning?

Du kan proklamere, at alle AI-køresystemer skal programmeres til altid at stoppe for alle ventende fodgængere. Dette forenkler sagen meget. Der er virkelig ikke nogen knudret beslutning at tage. Hvis en fodgænger venter på at krydse, uanset om de har vigepligt eller ej, så sørg for, at den AI selvkørende bil standser, så fodgængeren kan krydse.

Easy-peasy.

Livet er aldrig så nemt, ser det ud til. Forestil dig, at alle selvkørende biler overholder denne regel. Fodgængere ville uundgåeligt indse, at AI-køresystemerne er, skal vi sige, pushovers. Enhver og alle fodgængere, der ønsker at krydse gaden, vil frivilligt gøre det, når de vil, og hvor end de er.

Antag, at en selvkørende bil kommer ned ad en hurtig gade med den fastsatte hastighedsgrænse på 45 miles i timen. En fodgænger "ved", at AI'en vil bringe den selvkørende bil til standsning. Så fodgængeren piler ud på gaden. Desværre vinder fysikken over AI. AI-køresystemet vil forsøge at bringe den selvkørende bil til standsning, men det autonome køretøjs momentum kommer til at bære multiton-udstyret frem og ramle ind i den egensindige fodgænger. Resultatet er enten skadeligt eller medfører dødsfald.

Fodgængere prøver normalt ikke denne type adfærd, når der sidder en menneskelig fører ved rattet. Sikker på, i nogle lokaliteter er der en øjeæblekrig, der finder sted. En fodgænger ser en chauffør i øjnene. Chaufføren kigger på fodgængeren. Afhængigt af omstændighederne kan føreren stoppe, eller føreren kan hævde deres krav på vejbanen og tilsyneladende vove fodgængeren til at prøve at forstyrre deres vej.

Vi ønsker formodentlig ikke, at AI skal komme ind i en lignende øjeæblekrig, hvilket også er lidt udfordrende alligevel, da der ikke er en person eller robot, der sidder ved rattet i den selvkørende bil (jeg har diskuteret den fremtidige mulighed for robotter det drev, se linket her). Alligevel kan vi heller ikke tillade fodgængere altid at kalde skud. Resultatet kan blive katastrofalt for alle involverede.

Du kan så blive fristet til at vende til den anden side af denne mønt og erklære, at AI-køresystemet aldrig bør stoppe under sådanne omstændigheder. Med andre ord, hvis en fodgænger ikke har en ordentlig forkørselsret til at krydse gaden, bør AI altid antage, at den selvkørende bil bør fortsætte uformindsket. Held og lykke til de fodgængere.

En sådan streng og forenklet regel vil ikke blive accepteret af offentligheden som helhed. Folk er mennesker, og de vil ikke lide at blive fuldstændig lukket ude fra at kunne krydse gaden, på trods af at de juridisk mangler ret til at gøre det i forskellige sammenhænge. Du kunne nemt forudse et betydeligt ramaskrig fra offentligheden og muligvis se en modreaktion opstå mod den fortsatte adoption af selvkørende biler.

Forbandet, hvis vi gør det, og forbandet, hvis vi ikke gør.

Jeg håber, at dette har ført dig til det begrundede alternativ, at AI skal programmeres med en antydning af beslutningstagning om, hvordan man håndterer dette køreproblem. En hård og hurtig regel om aldrig at stoppe er uholdbar, og ligeledes er en hård og hurtig regel om altid at stoppe også uholdbar. AI'en skal udformes med en vis algoritmisk beslutningstagning eller ADM for at håndtere sagen.

Du kan prøve at bruge et datasæt kombineret med en ML/DL-tilgang.

Her er hvordan AI-udviklerne kan beslutte at programmere denne opgave. De indsamler data fra videokameraer, der er placeret rundt omkring i en bestemt by, hvor den selvkørende bil skal bruges indenfor. Dataene viser, hvornår menneskelige bilister vælger at stoppe for fodgængere, der ikke har vigepligt. Det hele er samlet i et datasæt. Ved at bruge Machine Learning og Deep Learning modelleres dataene beregningsmæssigt. AI-køresystemet bruger derefter denne model til at beslutte, hvornår det skal stoppe eller ikke stoppe.

Generelt er tanken, at uanset hvad den lokale skik består af, er det sådan, AI'en vil lede den selvkørende bil. Problem løst!

Men er det virkelig løst?

Husk, at jeg allerede havde påpeget, at der er forskningsundersøgelser, der viser, at menneskelige bilister kan være partiske i deres valg af, hvornår de skal stoppe for fodgængere. De indsamlede data om en bestemt by vil formodentlig indeholde disse skævheder. En AI ML/DL baseret på disse data vil så sandsynligvis modellere og afspejle de samme skævheder. AI-køresystemet vil blot udføre de samme eksisterende skævheder.

For at prøve at kæmpe med problemet kunne vi sammensætte et datasæt, der faktisk har sådanne skævheder. Vi finder enten et sådant datasæt og mærker derefter skævhederne, eller vi opretter syntetisk et datasæt for at hjælpe med at illustrere sagen.

Alle de tidligere identificerede trin ville blive gennemført, herunder:

• Opsæt et datasæt, der med vilje indeholder denne særlige bias
• Brug datasættet til at træne Machine Learning (ML) og Deep Learning (DL) modeller til at opdage denne specifikke skævhed
• Anvend den bias-trænede ML/DL mod anden AI for at fastslå, om den målrettede AI er potentielt forudindtaget på samme måde
• Gør den bias-trænede ML/DL tilgængelig for at vise AI-byggere, hvad de skal være opmærksomme på, så de let kan inspicere deres modeller for at se, hvordan algoritmisk præget skævhed opstår
• Eksemplér farerne ved forudindtaget AI som en del af AI-etik og etisk AI-bevidsthed via dette tilføjede specifikke eksempel
• Andet

Konklusion

Lad os gense åbningslinjen.

Det kræver én at kende én.

Nogle tolker, at dette utroligt udbredte ordsprog indebærer, at når det kommer til at fjerne giftig AI, bør vi give den behørige tillid til at bygge og bruge giftig AI til at opdage og håndtere anden giftig AI. Nederste linje: Nogle gange kræver det en tyv at fange en anden tyv.

En udtrykt bekymring er, at vi måske går ud af vores måde at begynde at lave tyve. Vil vi udtænke kunstig intelligens, der er giftig? Lyder det ikke som en skør idé? Nogle argumenterer heftigt for, at vi bør forbyde al giftig kunstig intelligens, inklusive en sådan kunstig intelligens, der bevidst blev bygget, selvom det påstås for en heroisk eller galant AI til gode formål.

Squelch giftig AI i hvilken som helst smart eller snigende skikkelse, den måtte opstå.

Et sidste twist på dette emne for nu. Vi antager generelt, at denne berømte linje har at gøre med mennesker eller ting, der gør dårlige eller sure handlinger. Det er sådan, vi lander på forestillingen om, at det kræver en tyv at fange en tyv. Måske skulle vi vende dette ordsprog på hovedet og gøre det mere til et glad ansigt end et trist ansigt.

Sådan er det.

Hvis vi vil have AI, der er upartisk og ikke-giftig, kan det tænkes, at det kræver én at kende én. Måske skal der den største og bedste til at erkende og avle yderligere storhed og godhed. I denne variant af visdommen holder vi blikket på det glade ansigt og sigter efter at koncentrere os om at udtænke AI til gode.

Det ville være et mere optimistisk og tilfredsstillende muntert synspunkt på det kræver en at kende en, hvis du ved hvad jeg mener.