10 skamfulde spørgsmål om neurale netværk: Maskinlæringsspecialist Igor Kotenkov svarer
Miscellanea / / August 08, 2023
Vi har samlet alt, hvad du ville vide, men var for genert til at spørge.
I det nye serie Artikler af kendte eksperter besvarer spørgsmål, der normalt er pinlige at stille: Det ser ud til, at alle allerede ved om det, og spørgeren vil se dum ud.
Denne gang talte vi med specialist i kunstig intelligens Igor Kotenkov. Du vil lære, om du kan gemme din digitale kopi til dine oldebørn, hvorfor neuroner ikke kan stoles 100 % på, og om verden er i fare for et maskinoprør.
Igor Kotenkov
1. Hvordan fungerer neurale netværk? Det er en slags magi. Hvordan kunne ChatGPT overhovedet laves? Og Midjourney eller DALL-E?
Et neuralt netværk er en matematisk model opfundet med henblik på at forstå, hvordan hjernen i en levende organisme fungerer. Sandt nok blev de mest grundlæggende ideer fra begyndelsen af anden halvdel af det 20. århundrede taget som grundlag, som nu kan kaldes irrelevante eller for forenklede.
Selv navnet "neuralt netværk" kommer fra ordet "neuron" - dette er navnet på en af de vigtigste funktionelle enheder i hjernen. Neurale netværk består selv af noder - kunstige neuroner. Så vi kan sige, at mange ideer om moderne arkitektur blev "kikket" fra naturen selv.
Men endnu vigtigere er det neurale netværk en matematisk model. Og da dette er noget relateret til matematik, så kan vi bruge den fulde kraft af det matematiske apparat til at finde ud af eller vurdere egenskaberne ved en sådan model. Du kan betragte et neuralt netværk som en funktion, og en funktion er også et matematisk objekt. Det enkleste og mest forståelige eksempel: en funktion, der f.eks. tager et hvilket som helst tal som input og tilføjer 2 til det: f (4) = 6, f (10) = 12.
Men sådan en funktion er meget nem at programmere, selv et barn kan klare den efter et par timers sprogindlæring. programmering. Og årsagen er, at en sådan funktion er meget let formaliseret, beskrevet i detaljer i et enkelt og forståeligt sprog.
Der er dog nogle opgaver, som vi ikke engang ved, hvordan vi skal gribe an. Jeg kan for eksempel give dig billeder af katte og hunde blandet sammen, og du kan sortere dem i to bunker uden problemer. Men hvad er du præcis styret af, når du skal bestemme svaret? Begge er luftige. Begge arter har en hale, ører, to øjne. Måske størrelsen? Men der er meget små hunde, der er store katte.
Vi kan ikke beskrive mange opgaver i den virkelige verden, vi kender ikke afhængigheden af vores observation og nogle betingede "korrekte" svar.
Vi ved bare, hvordan vi skal give dette svar – og det er det, uden at tænke på, hvordan det bliver.
Det er her, neurale netværk kommer til undsætning. Disse matematiske funktioner trænes ud fra dataene. Du behøver ikke at beskrive forholdet mellem input og output. Du forbereder blot to stakke billeder, og modellen træner for at give korrekte svar. Hun lærer selv at finde denne forbindelse, hun finder den selv, stoler på fejlhvem gør. Forvekslet en bengalsk kat og en rottweiler? Nå, det bliver bedre næste gang!
Processen med at lære et neuralt netværk er en sådan justering af "neuroner" for at lære at løse et problem og give det rigtige svar. Og hvad der er mest bemærkelsesværdigt: Der er et teoretisk bevis for, at et tilstrækkeligt stort neuralt netværk med et tilstrækkeligt stort datasæt kan lære enhver kompleks funktion. Men det vigtigste her er computerkraften (fordi neuronen kan være meget stor) og tilgængeligheden af mærkede data. Nemlig markeret, det vil sige, at de har klassen "hund", kat eller hvad som helst.
Vi forstår ikke helt, hvordan modeller fungerer - de mest komplekse og store modeller kan lide ChatGPT næsten uanalyserbar.
De bedste forskere arbejder på udfordringen med at "forstå" den indre funktion af deres processer lige nu.
Men vi ved, hvilken opgave modellerne var uddannet til, hvilken fejl de forsøgte at minimere under træningen. For ChatGPT består opgaven af to. Den første er forudsigelsen af det næste ord i henhold til dets kontekst: "mor vaskede ..." Hvad? Det er, hvad modellen skal forudsige.
Den anden opgave er at sikre, at svarene ikke er stødende, men samtidig forbliver brugbare og forståelige. Derfor gik modellen viralt – den er direkte trænet til at generere den slags tekst, som folk kan lide!
Du kan læse mere om, hvordan ChatGPT fungerer i min artikel.
2. Kan neuroner tænke?
Forskere forstår stadig ikke, hvad det vil sige at "tænke" eller "ræsonnere", og hvordan intellektet fungerer generelt. Derfor er det svært at bedømme, om en model som ChatGPT har sådanne egenskaber.
Lad os forestille os en situation: du nærmer dig døren til din lejlighed. Har du den idé, at du skal hente nøglen fra venstre lomme på din rygsæk for at åbne døren? Kan vi sige, at beskrivelse og præsentation af handlinger er en tankeproces? I det væsentlige har vi etableret et forhold mellem den aktuelle tilstand og det ønskede mål (åben dør). Hvis du mener, at svaret på spørgsmålet ovenfor er ja, så ville mit svar være det samme. 🙂
En anden ting er, når det kommer til innovative tanker, der ikke har været udtrykt før eller ikke er så almindelige. For eksempel kan du jo sagtens finde fejl i eksemplet ovenfor: “Ja, jeg har læst denne model 100500 gange på internettet og i bøger. Selvfølgelig ved hun det! Intet overraskende." Forresten, hvordan vidste du det? Er det fordi dine forældre viste dig i barndommen, og du så processen i hundredvis af dage i træk?
I dette tilfælde er der ikke noget præcist svar. Og pointen her er, at vi ikke tager højde for én vigtig komponent: sandsynlighed.
Hvor sandsynligt er det, at modellen vil generere en tanke, der passer til din specifikke definition af "tanke"?
Når alt kommer til alt, kan en neuron som ChatGPT fås til at generere en million forskellige svar på den samme anmodning. For eksempel "kom med en idé til videnskabelig undersøgelse». Hvis én generation ud af en million er virkelig interessant og ny, tæller det så som bevis på, at en model kan føde en idé? Men hvordan vil dette være anderledes end en papegøje, der råber tilfældige ord, der nej-nej og lægger op til noget forståeligt?
På den anden side giver folk heller ikke altid rigtige tanker - nogle sætninger fører til en blindgyde og ender i ingenting. Hvorfor kan neurale netværk ikke tilgive dette? Nå, en ny idé ud af en million genereret er virkelig dårlig... Men hvad nu hvis 100 ud af en million? Tusind? Hvor går denne grænse?
Det er det, vi ikke ved. Tendensen er, at vi først tror, at det bliver svært for maskiner at løse problem X. For eksempel for at bestå Turing-testen, hvor du blot skal chatte med en person i en halv time. Så, med udviklingen af teknologi, finder folk på måder at løse, eller rettere sagt, træne modeller til en opgave. Og vi siger: "Nå, det var faktisk den forkerte test, her er en ny til dig, neuroner vil helt sikkert ikke kunne bestå den!" Og situationen gentager sig.
De teknologier, der nu er 80 år siden, ville være blevet opfattet som et mirakel. Og nu forsøger vi med al magt at rykke grænsen til "rimelighed" for ikke at indrømme over for os selv, at maskiner allerede ved, hvordan de skal tænke. Faktisk er det endda muligt, at vi først opfinder noget, og derefter post factum og retrospektivt definerer det som AI.
3. Hvis neuroner kan tegne og skrive poesi, så kan de være kreative og næsten som mennesker?
Svaret afhænger faktisk i høj grad af oplysningerne ovenfor. Hvad er kreativitet? Hvor meget kreativitet er der i den gennemsnitlige person? Er du sikker på, at en pedel fra Sibirien ved, hvordan man skaber? Og hvorfor?
Hvad hvis en model kan producere et digt eller et maleri, der betinget kan nå finalen i en bykonkurrence for amatørforfattere eller børnekunstnere? Og hvis dette ikke sker hver gang, men én ud af hundrede?
De fleste af disse spørgsmål kan diskuteres. Hvis det forekommer dig, at svaret er indlysende, så prøv at interviewe dine venner og familie. Med en meget høj sandsynlighed vil deres synspunkt ikke falde sammen med dit. Og her er det vigtigste ikke skændes.
4. Er det muligt at stole på svarene fra neurale netværk og ikke længere google?
Det hele afhænger af, hvordan modellerne bruges. Hvis du stiller dem et spørgsmål uden kontekst, uden ledsagende information i prompten, og forventer et svar om emner, hvor faktuel nøjagtighed er vigtig, og ikke den generelle tone i svaret (f.eks. et hændelsesforløb inden for en bestemt periode, men uden en nøjagtig angivelse af steder og datoer), så er svaret Ingen.
Af indenlandsk anslået OpenAI, i sådanne situationer, den bedste model til dato, GPT-4, svarer korrekt i omkring 70-80% af tilfældene, afhængigt af emnet for spørgsmålene.
Det kan se ud til, at disse tal er meget langt fra den ideelle 100% faktiske "nøjagtighed". Men faktisk er dette et stort spring i forhold til den tidligere generation af modeller (ChatGPT, baseret på GPT-3.5-arkitekturen) - de havde en nøjagtighed på 40-50%. Det viser sig, at et sådant spring blev foretaget inden for rammerne af 6-8 måneders forskning.
Det er klart, at jo tættere vi kommer på 100%, jo sværere bliver det at lave nogle rettelser for ikke at "bryde" noget i forståelsen og kendskabet til modellen.
Men alt ovenstående refererer til spørgsmål uden sammenhæng. For eksempel kan du spørge: “Hvornår var Einstein? Modellen bør kun stole på intern viden, der blev "hardwired" ind i den på stadiet af langsigtet træning på data fra hele internettet. Så personen vil ikke være i stand til at svare! Men hvis de gav mig en side fra Wikipedia, så kunne jeg læse den og svare efter informationskilden. Så ville rigtigheden af svarene være tæt på 100 % (korrigeret for kildens rigtighed).
Følgelig, hvis modellen er forsynet med en kontekst, hvori information er indeholdt, så vil svaret være meget mere pålideligt.
Men hvad nu hvis vi lader modellen google og finde informationskilder på internettet? Så hun selv finder kilden og bygger et svar ud fra den? Nå, det er allerede gjort! Så du kan ikke google dig selv, men uddelegere en del af internetsøgningen til selve GPT-4. Dette kræver dog et betalt abonnement.
Med hensyn til yderligere fremskridt med at udvikle pålideligheden af faktuelle oplysninger inden for modellen, siger OpenAI CEO Sam Altman giver et estimat på 1,5-2 år til at løse dette problem af et team af forskere. Det vil vi glæde os meget til! Men for nu skal du huske på, at du ikke behøver at stole 100% på det, der er skrevet af en neuron, og tjek i det mindste kilderne igen.
5. Er det rigtigt, at neurale netværk stjæler tegninger af rigtige kunstnere?
Ja og nej - begge sider af konflikten skændes aktivt om dette i domstole rundt om i verden. Det kan siges med sikkerhed, at billederne ikke er direkte gemt i modellerne, bare "vagtsomhed" vises.
I denne plan neuroner meget lig folk, der først studerer kunst, forskellige stilarter, ser på forfatternes arbejde og derefter forsøger at efterligne.
Men modeller lærer, som vi allerede har fundet ud af, ifølge princippet om fejlminimering. Og hvis modellen under træning ser det samme (eller meget lignende) billede hundredvis af gange, så er den bedste strategi set fra hendes synspunkt at huske billedet.
Lad os tage et eksempel: din lærer på kunstskolen valgte en meget mærkelig strategi. Du tegner to billeder hver eneste dag: det første er altid unikt, i en ny stil, og det andet er Mona Lisa. Efter et år forsøger du at evaluere, hvad du har lært. Da du har tegnet Mona Lisa over 300 gange, husker du næsten alle detaljerne, og nu kan du gengive den. Det vil ikke være den nøjagtige original, og du vil helt sikkert tilføje noget af dit eget. Farver vil være lidt anderledes.
Og nu bliver du bedt om at tegne noget, der var for 100 dage siden (og som du så en gang). Du vil gengive, hvad der kræves meget mindre præcist. Bare fordi hånden ikke er proppet.
Det er det samme med neuroner: de lærer på samme måde på alle billeder, bare nogle er mere almindelige, hvilket betyder, at modellen også oftere får bøder under træning. Dette gælder ikke kun for malerier af kunstnere - for ethvert billede (selv reklame) i træningsprøven. Nu er der metoder til at eliminere dubletter (fordi træning på dem i det mindste er ineffektivt), men de er ikke perfekte. Forskning viser, at der er billeder, der opstår 400-500 gange under en træning.
Min dom: neurale netværk stjæler ikke billeder, men betragter blot tegninger som eksempler. Jo mere populært eksemplet er, jo mere præcist gengiver modellen det.
Folk gør det samme under træning: de ser på skønheden, studerer detaljerne, stilarterne af forskellige kunstnere. Men for kunstnere eller fotografer, der har brugt halvdelen af deres liv på at lære et håndværk, er synspunktet ofte radikalt anderledes end det, der er beskrevet ovenfor.
6. Er det rigtigt, at "alt er tabt", og neurale netværk vil tage arbejde fra folk? Hvem bekymrer sig mest?
Det er vigtigt kun at adskille "neurale netværk", der udfører visse opgaver, fra generelle neurale netværk som ChatGPT. Sidstnævnte er meget gode til at følge instruktioner og i stand til at lære af eksempler i sammenhæng. Sandt nok er størrelsen af deres "hukommelse" begrænset til 10-50 siders tekst, ligesom evnerne til refleksion og planlægning.
Men hvis nogens arbejde kommer ned til rutinemæssig udførelse af instruktioner, og det er nemt at lære på et par dage ved at læse artikler (eller hvis hele internettet er fyldt med disse oplysninger), og arbejdsomkostningerne er over gennemsnittet - så snart et sådant arbejde automatisere.
Men i sig selv betyder automatisering ikke en fuldstændig udskiftning af mennesker. Kun en del af rutinearbejdet kan optimeres.
En person vil begynde at få mere interessante og kreative opgaver, som maskinen (indtil videre) ikke kan klare.
Hvis vi giver eksempler, så til gruppen af foranderlige eller udskiftelige erhverv Jeg vil f.eks. inkludere skatteassistenter-konsulenter, der hjælper med at udarbejde en erklæring og tjekker for typiske fejl, identificerer uoverensstemmelser. Ændringer er mulige i en sådan specialitet som en dataansvarlig for kliniske forsøg - essensen af arbejdet er at udfylde rapporter og forene dem med en tabel med standarder.
Men en kok eller en buschauffør vil være efterspurgt meget længere, blot fordi de kan forbinde neurale netværk og en ægte den fysiske verden er ret kompliceret, især med hensyn til lovgivning og regler - takket være bureaukraterne for at flytte væk Krise AI!
Der forventes store ændringer i de brancher, der er forbundet med trykt materiale og tekstinformation: journalistik, uddannelse. Med en meget høj sandsynlighed for den første vil neuroner meget snart skrive udkast med et sæt afhandlinger, hvor folk allerede vil lave punktændringer.
Jeg er mest tilfreds med ændringerne på uddannelsesområdet. Spise forskning, som viser, at kvaliteten af uddannelsen direkte afhænger af tilgangens "personlighed", og hvor meget tid læreren afsætter til en bestemt elev. Det enkleste eksempel: undervisning i grupper på 30 personer ved hjælp af en lærebog er meget værre end individuel vejleder til specifikke behov (omend efter samme program som i lærebogen). Med udviklingen af AI vil menneskeheden have mulighed for at give en personlig assistent til hver elev. Det er bare utroligt! Lærerens rolle vil, som jeg ser det, skifte til en strategisk og kontrollerende rolle: fastlæggelse af det generelle program og studierækkefølge, afprøvning af viden og så videre.
7. Er det muligt at uploade din bevidsthed til en computer, lave en digital tvilling og leve evigt?
I den forstand, hvor det er forestillet på baggrund af sci-fi, nej. Du kan kun lære modellen at efterligne din kommunikationsstil, lære dine vittigheder. Måske vil modeller på GPT-4-niveau endda være i stand til at opfinde nye indrammet i din unikke stil og præsentationsmåde, men det betyder tydeligvis ikke en fuldstændig overførsel af bevidsthed.
Vi som menneskehed ved igen ikke, hvad bevidsthed er, hvor den er lagret, hvordan den adskiller sig fra andre, hvad der gør mig – mig, og dig – til dig. Hvis det pludselig viser sig, at alt dette kun er et sæt minder og oplevelser multipliceret med individuelle karakteristika perception, så vil det højst sandsynligt være muligt på en eller anden måde at overføre viden til neurale netværk, så de simulerer fremtidigt liv på deres grundlag.
8. Er det farligt at uploade din stemme, dit udseende, din tekststil i et neuralt netværk? Det ser ud til, at sådan en digital identitet kan blive stjålet.
Du kan bogstaveligt talt ikke downloade noget til dem. Du kan træne dem (eller genoptræne dem) på en sådan måde, at resultaterne mere ligner dit udseende, din stemme eller din tekst. Og sådan en trænet model kan virkelig blive stjålet, det vil sige blot kopiere scriptet og et sæt parametre for at køre på en anden computer.
Du kan endda generere en video med en anmodning overføre penge på en andens bekostning, hvilket din pårørende vil tro på: de bedste deepfake- og stemmekloningsalgoritmer har allerede nået dette niveau. Sandt nok kræves der tusindvis af dollars og titusvis af timers optagelse, men ikke desto mindre.
Generelt, med udviklingen af teknologi, bliver spørgsmålet om identifikation og bekræftelse af identitet vigtigere.
Og de forsøger at løse det på den ene eller anden måde. For eksempel er der en startup WorldCoin (faktisk laver den en kryptovaluta), som lederen af OpenAI, Sam Altman, investerede i. Meningen med opstarten er, at hver enkelt information om en person vil blive underskrevet med sin egen nøgle til efterfølgende identifikation. Det samme vil gælde for massemedierne, for at vide med sikkerhed, om denne nyhed er sand eller falsk.
Men desværre, mens alt dette er på stadiet af prototyper. Og jeg anser ikke den dybe indførelse af systemer i alle brancher for at blive implementeret i horisonten af det næste årti, simpelthen fordi det er for kompliceret og storstilet.
9. Kan neuroner begynde at skade og overtage verden?
Faren er ikke den aktuelle udvikling, men hvad der vil følge dem med videre udvikling. I øjeblikket er der ingen metoder blevet opfundet til at kontrollere driften af neurale netværk. Tag for eksempel en meget simpel opgave: at sørge for, at modellen ikke bander. Aldrig nogensinde. Der er ingen metode, der giver dig mulighed for at følge en sådan regel. Indtil videre kan du finde forskellige måder at "avle" det på.
Forestil dig nu, at vi taler om GPT-8 betinget, hvis færdigheder vil være sammenlignelige med færdighederne hos de mest dygtige og smarte mennesker. Det neurale netværk kan programmere, bruge internettet, ved det psykologi og forstår, hvordan folk tænker. Hvis du giver den frie tøjler og ikke stiller en bestemt opgave, hvad vil den så gøre? Hvad hvis hun finder ud af, at hun ikke kan kontrolleres?
Sandsynligheden for en dårlig vending er ifølge estimater ikke så stor. Der er i øvrigt ingen alment accepteret vurdering – selvom alle skændes om detaljerne, om de skadelige konsekvenser og så videre. Nu kalder de omtrentlige tal fra 0,01% til 10%.
Efter min mening er disse enorme risici, hvis man antager, at det mest negative scenarie er ødelæggelsen af menneskeheden.
Interessant nok er ChatGPT og GPT-4 produkter, der blev skabt af teams, der arbejder på problemerne med at "justere" intentionerne hos mennesker og neuroner (detaljer kan findes her). Det er derfor, modeller lytter så godt til instruktionerne, prøv ikke at være uhøflige, spørg opklarende spørgsmål, men dette er stadig meget langt fra ideelt. Problemet med kontrol er ikke engang halvt løst. Og mens vi ikke ved, om det overhovedet bliver løst, og i så fald med hvilke metoder. Dette er det hotteste forskningsemne i dag.
10. Kan et neuralt netværk forelske sig i en person?
Med nuværende tilgange og arkitekturer af neuroner, nej. De genererer kun tekst, der er mest plausibel som en fortsættelse af inputteksten. Hvis du smider det første kapitel af en kærlighedshistorie ind, omskriver den under din personlighed og beder modellen om at besvare dit kærlighedsbrev, vil hun klare det. Men ikke fordi jeg blev forelsket, men fordi det passer bedst til konteksten og anmodningen "skriv et brev til mig!". Husk, at modeller lærer at generere tekst, der følger instruktionerne.
Desuden har neurale netværk i den grundlæggende version ikke hukommelse - mellem to forskellige lanceringer glemmer de alt og ruller tilbage til "fabriksindstillingerne". Hukommelse kan tilføjes kunstigt, som fra siden, så f.eks. 10 sider af de mest relevante "minder" føres ind i modellen. Men så viser det sig, at vi simpelthen fodrer et sæt begivenheder ind i den originale model og siger: "Hvordan ville du opføre dig under sådanne forhold?" Modellen har ingen følelser.
Læs også🧐
- Hvor og hvordan bruges kunstig intelligens: 6 eksempler fra livet
- 9 naive spørgsmål om kunstig intelligens
- 8 myter om kunstig intelligens, som selv programmører tror