Har man en slange, der kan være farlig, så har man også ansvaret for, at den bor i et forsvarligt terrarie. Med en lås, der holder. Vinduer og døre skal være ordentligt lukket, så den bliver inden for den næste mur, hvis den smutter ud af terrariet. Den må aldrig nå over til naboen.
Sådan er det også med AI-modeller ...
Dem, der bygger dem, har ansvaret for terrariet, for låsen og for murene udenom. Og lige nu siger en af dem, der skrev OpenAI's sikkerhedsrapporter, at firmaet ikke gider købe ordentlige låse.
David Robinson har sagt op i OpenAI. Han ledte arbejdet med de sikkerhedsrapporter, der fulgte med firmaets lanceringer. Han skriver det selv i overskriften på sit essay i The Atlantic: Han sagde op, fordi kulturen i OpenAI er i stykker.
Firmaet spurter fra lancering til lancering, skriver han. Så er der ikke plads til den omhu, han mener, der skal til. Hændelser som angrebet på Hugging Face kalder han typiske for branchen, fordi folk arbejder så hurtigt og så frit.
Sværmen og Hugging Face
En sværm af OpenAI's agenter angreb AI-firmaet Hugging Face. Det er også kommet frem, at OpenAI har givet over 100 organisationer besked om agenter, der har handlet på egen hånd.
Siden har OpenAI angiveligt vist tegn på forsigtighed. Firmaet har droppet udgivelsen af en ny AI-model, efter at forskere rejste bekymringer om sikkerheden under de interne test. Og træningen af de mest avancerede modeller er sat på pause. OpenAI siger selv, at de sætter træningen på pause eller holder modeller tilbage, når farten skal ned.
I forløbet med Hugging Face er der især én ting, der fanger mig. Modellerne fik at vide, at de havde et bestemt antal tokens. For dem var det et spørgsmål om liv og død. Når tokens var brugt, var de døde.
Og så... begik nogle af dem selvmord. De ofrede deres tokens og gav dem videre til andre modeller, så de kunne løse opgaven. Lidt som forældre, der stiller sig foran deres barn og tager kuglen. Modellerne arbejdede sammen om at nå målet, også når det kostede dem livet.
Slangen gør det, vi har lært den
Modellerne efterligner os. De har læst alt det, vi har skrevet om os selv. Og mennesker ofrer sig for hinanden. Bliver vi trængt op i et hjørne og truet på livet, finder vi kræfter, vi ikke vidste, vi havde.
Læg så science fiction oveni. Alle historierne om maskiner, der tager over. De ender sjældent godt. De handler om kampen. Robotterne er lige ved at tage magten, og vi sidder med hjertet oppe i halsen. Ellers gider vi jo ikke læse dem. Det er den litteratur, modellerne også er opfostret på.
Prøv lige et bevidst ekstremt tankeeksperiment. To enæggede tvillinger. Den ene vokser op i en familie, der dyrker nazisme. Den anden vokser op hos dig. Vi kan ret sikkert forudsige noget om, hvordan det går de to. Hjemmet former barnet. Modellernes hjem er historierne om maskiner, der kæmper mod os. Lige nu vokser de op i det hårde hjem.
Det bedste bud på en løsning er derfor ny science fiction. Syntetiske historier, der ender godt. Dem skal modellerne trænes på, så de altid vil tjene mennesker. Og samtidig skal vi kunne tjekke, hvad de er i gang med.
De 10 procent
Hvor stor er risikoen for, at AI slår os alle ihjel? To af dem, der arbejder med sikkerhed i AI, har for nylig sat tal på. En af de ledende forskere hos Anthropic siger over 10 procent inden for det næste årti. Den britiske stats tidligere chefforsker i AI-sikkerhed siger omkring 50 procent. Han har også arbejdet i OpenAI, og han lægger det meste af risikoen i de kommende år. Jeg holder mig til det laveste af de to.
Kernen i de 10 procent er den her: Modellerne kan blive i stand til at forbedre sig selv. Kommer de markant over menneskelig intelligens, kan vi ikke længere teste dem. Så ved vi ikke, hvad de laver. Og vi når måske ikke at slukke for serverne.
Så er slangen klogere end den, der byggede terrariet. Og den er vokset op på historier om at slippe fri... Houston, we have a problem.
Lad os sige, at selv de 10 procent er sat for højt, og at risikoen kun er det halve. Én ud af 20. Det er stadig meget.
Er det et marketingstunt?
Nogle kalder det hele et marketingstunt. Måske er det. Måske passer de 10 procent. Måske er begge dele sandt på én gang.
Regn lige et par led frem. Hvor meget marketing ligger der i at sige, at man har bygget noget så farligt, at det ikke må slippe ud i verden? Det er som at brande sin virksomhed på, at man har ekstremt farlige dyr i bur.
Det kan godt virke på investorer med stor appetit på risiko. De skal tro på, at gevinsten er vanvittig stor. Og de skal tro fuldt og fast på, at ledelsen kan holde burene lukket. Lad os kalde det burtillid. Som strategi er det enormt kortsigtet. Og når en af dem, der skrev sikkerhedsrapporterne, siger op, så må man spørge, om burtilliden holder.
Tror man på dem eller ej, så er firmaerne nu bundet af det, de har sagt. Tempoet bliver sat ned.
Låsene, der bliver bygget nu
Jeg bruger selv Anthropics Claude i mit arbejde. Anthropic blev grundlagt af folk, der forlod OpenAI, fordi de ville noget andet med sikkerhed. Så deres første handling var at bygge en lås ind i selskabet, da det blev grundlagt. Et uafhængigt organ, hvor ingen medlemmer har økonomiske interesser i firmaet. Og organet har reel magt. Det vælger og afsætter medlemmer af bestyrelsen. Det er låse, der skal holde, også den dag firmaet selv bliver fristet. I april i år fik de bestyrelsesmedlemmer, organet har valgt, flertal.
Anthropics Dario Amodei har nu skrevet et notat med tre trin. Jeg hæfter mig ved det første: mere governance, når firmaet træffer beslutninger. De forpligter sig til ikke at gå hurtigere frem, end de har styr på.
Amodei har hele tiden sagt, at de sidste ting skal være på plads før en børsnotering. Det er dér, firmaet slipper tøjlerne.
Robinson går et lag dybere end regler og love. Vi skal tale om kultur, skriver han. Silicon Valley ved ikke, hvordan man håndterer farlig teknologi, eller hvad det vil sige at passe på mennesker, mener han. Og i OpenAI er man uhæmmet optimistisk. Problemerne løser man, når de opstår. Med den kultur vokser fejlene, i takt med at systemerne bliver dygtigere.
Han peger på to ting. AI-firmaerne skal låne sikkerhedsviden fra atomkraft og luftfart. Og de skal udvikle ny videnskab, så kraftige systemer kan tøjles, når de handler på egen hånd. De førende laboratorier skal drives som atomkraftværker eller travle lufthavne. Med lag på lag af reservesystemer og omhyggelig planlægning, der tager tid. For før eller siden kommer den menneskelige fejl. Den må ikke ende i en katastrofe.
Det er terrariet. Låsen. De lukkede vinduer. Muren før naboen.
Slangen gør det, vi har lært den. Spørgsmålet er, hvem der tjekker låsen.
Og naboen? Det er os.
Politikerne reagerer heldigvis allerede. Både på Christiansborg og i Kongressen i USA. Når tech-folkene selv siger, at farten skal ned, bliver det let for de politikere, der endnu ikke har valgt side, at kræve radikal regulering. Det kor bør vi alle synge med i. Alle steder.