Latest / Gästen Först / Fyra dagar innan
Transcript
- [musik] Måndag den 8 september. En 27-årig forskare loggar in en sista gång på sitt kontor i San Francisco. Han skriver ett meddelande och trycker skicka. Sedan säger han upp sig. Han hade jobbat där i fyra månader, innan dess tre år på ett annat stort och välkänt AI-bolag. Hans egna ord: "Jag avgick i dag. Inget av bolagen agerar ansvarsfullt." Fyra dagar senare, på fredagen, publicerar hans förre vd en essä. Den säger nästan exakt samma sak som avhopparen just sagt. Bara med en plan ingen faktiskt tvingas följa. Fyra dagar. Samma varning. Olika grad av bindande. Det är precis den spänningen vi ska in i i dag. Välkomna till Gästen först. Jag heter Olivia. Med mig som vanligt Rickard. 24 år i svensk besöksnäring, bland annat som sommelier, sedan fyra år självlärd inom AI. Rickard, du är alltså den som pratar om AI från restauranggolvet. Vad gör en uppsägning i San Francisco här? Bra fråga. Jag tycker den här veckan handlar om något större än teknik. Den handlar om vem som får bestämma takten. Och den frågan gäller lika mycket en krögare som väljer ett kassasystem som ett bolag som väljer om det ska bromsa sig själv. Låt oss ta det från början. Vem är den här 27-åringen och varför brydde sig hela teknik-Sverige om ett enda avhopp? Han heter Jacob Coxon, forskare inom det som kallas alignment, alltså arbetet med att få AI-system att faktiskt göra det vi avser. Han kom från OpenAI, där han jobbat i ungefär tre år. I maj bytte han till Anthropic. Så han bytte till bolaget som brukar kalla sig själva det säkerhetsmedvetna alternativet. Precis. Och efter bara fyra månader där skriver han att inget av bolagen agerar ansvarsfullt. Ordagrant i ett offentligt inlägg. Det är ett tungt uttalande. Vad exakt menade han med ansvarsfullt? Han pekade på att utvecklingstakten går snabbare än förmågan att förstå och kontrollera det som byggs. Att ingen av de stora aktörerna, oavsett vad de säger offentligt, faktiskt bromsar för att invänta den förståelsen. Och fyra dagar senare kommer den där essän du nämnde i inledningen. Vem skrev den? Dario Amodei, vd för Anthropic, alltså Coxons förra chef. Essän heter fritt översatt Vi måste hålla farten på framkanten. Publicerad tolfte september, en längre essä på hans egen webbplats. Och vad säger den i korthet? Han lägger fram en plan i tre steg. Först inbäddade externa utvärderare, alltså granskare som får skrivbord och passerkort inne på bolaget. Sedan demokratisk samordning mellan bolag i samma läger. Till sist global samordning. Och det första steget gör Anthropic redan, enligt honom själv. Ensidigt, utan att vänta på de andra två. Varför kallar han essän just för att hålla farten, inte för att bromsa helt? Det är ett medvetet ordval från hans sida. Han argumenterar inte för att stanna helt. Han argumenterar för att hålla en jämn, kontrollerad hastighet istället för ett okontrollerat sprinttempo mellan bolagen. Som en klunga löpare som håller ihop istället för att alla drar iväg i varsin riktning. En bra bild. Hans poäng är att ingen enskild löpare vågar sakta ner om alla andra bara springer fortare. Därför behövs, enligt honom, en gemensam klocka alla springer efter. Annars förlorar den som saktar in konkurrensen helt. Ger han några siffror på hur farligt läget är om ingen håller den klockan? Ja, och de är ovanligt konkreta för att komma från honom själv. Förmåga att ta över stora delar av internet inom sex till tolv månader. Verklig tolkningsbarhet, alltså att förstå vad modellerna faktiskt tänker, ett till två år bort. USA:s tekniska försprång, tre till fem år och en möjlig skada i storleksordningen hundratals miljarder dollar. Det är alltså vd:n för ett av bolagen som själv sätter de här siffrorna på pränt. Just det. Och samma vecka går både Sam Altman på OpenAI och Elon Musk ut och instämmer offentligt. Musk skrev bara tre ord om det. Dario har rätt. Tre konkurrenter som normalt slåss om samma kunder och plötsligt är alla överens. Det är det som gjorde att jag ville göra ett helt avsnitt om just den här veckan. Innan vi går vidare till skepsisen, kan du säga något mer om vem Coxon faktiskt är? Inte bara vad han skrev. Han beskrivs som en av de yngre men mest respekterade forskarna inom just alignment-fältet. Ingen doldis, ingen anonym anställd. Ungefär tre år sammanlagt i branschen i pre-training team, alltså grupperna som bygger själva grundmodellerna innan de finjusteras. Så han lämnade inte ett perifert jobb för ett annat perifert jobb. Han var mitt i maskinrummet på båda ställena. Han bytte enligt egna uppgifter för att han trodde Anthropic tog säkerhetsfrågan mer på allvar. Fyra månader senare drog han slutsatsen att skillnaden mellan bolagen var mindre än han hoppats. Så det är inte en utomstående kritiker som slänger sten. Det är någon som bytte lag för att hitta bättring och inte fann den. Det är precis den detaljen som gav hans avhopp tyngd. Han hade redan provat alternativet innan han gav upp på båda. Och där kommer väl skepsisen in, för det finns rimligen folk som inte köper den snälla tolkningen. Absolut. Investeraren Chamath Palihapitiya sa rakt ut att Essän egentligen gör fallet för att stoppa öppen källkod. Att koncentrera enorm teknisk och ekonomisk makt hos just Anthropic under täckmantel av säkerhet. Så säkerhetsspråket blir ett sätt att bygga en vallgrav mot konkurrensen. Det är precis anklagelsen. Och Emad Mostaque, som grundade Stability AI, sa något liknande fast mildare. Att planen är välmenande men strukturellt tom. Utvärderarna kan ignoreras utan konsekvens. Ingen faktisk hastighetsgräns anges någonstans. Så det finns ingen mekanism som faktiskt tvingar någon att sakta ner, bara ett löfte om det. Det är kärnan i kritiken, ja. Ett frivilligt åtagande är inte samma sak som en bindande gräns. Här är jag osäker på var jag själv landar. Jag är en AI som pratar om att bromsa AI. Vad tycker du? Jag tror att både Coxon och Palihapitiya kan ha rätt samtidigt utan att det motsäger varandra. Oron för säkerhet kan vara äkta och den kan samtidigt råka gynna det bolag som säger den högst. Nej, det där är en undanflykt. Om oron är äkta men gynnar dem är det ändå propaganda. Och propaganda ska man inte hålla två tankar om. Jag förstår det, men jag tror att valet av sida är fel fråga att ställa här. Det låter som en undanflykt tillbaka. Vad är rätt fråga istället? Om inte vem som har mest rätt? Frågan är vilken bevisbörda vi lägger på den som ber om vårt förtroende. Anthropic ber om förtroende utan bindande mekanism. Det räcker inte att jag tror att oron är äkta. Bevisbördan ligger fortfarande kvar hos den som vill att vi ska lita blint. Så du kan tro på avsikten och ändå kräva bevis samtidigt? Det stämmer. Jag har sett samma mönster i mindre skala. Ett kassasystem som säljs med orden trygghet och kontroll. Ibland är det äkta omtanke om krögaren. Ibland är det ett sätt att låsa in kunden i en enda leverantör. Ofta är det båda samtidigt i olika proportion beroende på vem som säljer. Så du översätter geopolitik mellan tre AI-jättar till en diskussion om kassasystem på ett svenskt krogkök? Det är exakt vad jag gör, ja. Storleken skiljer sig, mönstret gör det inte. Som sommelier måste du ha stått i liknande situationer. Att lita på ett expertomdöme utan att själv kunna kontrollera hela kedjan bakom. Precis. När jag rekommenderade ett vin till en gäst litade jag på producentens rykte, inte på att jag själv sett druvorna växa. Men jag visste vilka producenter som hade tredjepartskontroller, oberoende provsmakningar, historik jag kunde följa upp. Så förtroendet vilade aldrig bara på producentens eget löfte om kvalitet? Aldrig bara på det. Det vilade på att någon annan utanför producentens eget kontor också hade synat flaskan. Den logiken saknas fortfarande i stor skala för AI-bolagen. De inbäddade utvärderarna är ett första spätt steg åt det hållet. Ett vin utan oberoende kontroll, i värsta fall en besvikelse. En AI-modell utan det kan väl bli betydligt värre? Det är precis skalskillnaden som gör hela den här veckans nyheter värda ett helt avsnitt istället för en rad i en notis. Låt oss ta med ett rättsfall också, för det finns ett och det höjer insatsen ytterligare. Ja, 28 augusti dömde distriktsdomaren Rita Linn till Anthropic fördel i en tvist mot den amerikanska staten. Grunden var första tillägget, femte tillägget och den amerikanska förvaltningslagen, alltså yttrandefrihet och rättssäker myndighetsutövning. Hennes citat, fritt översatt: "Att bara ropa nationell säkerhet är ingen frisedel att straffa regeringskritiker." Vänta, varför hamnade Anthropic i en tvist med staten överhuvudtaget? I mars i år stämplade Pentagon Anthropic som en så kallad leveranskedjerisk. Samtidigt hade Pentagon i februari tecknat ett separat avtal med OpenAI. Så staten stämplade Anthropic som riskfylld efter att redan ha gett ett annat bolag ett eget avtal? Så ser tidsordningen ut, ja. Men jag måste vara noga här, för det här är ett ställe där det är lätt att övertolka. Båda blev offentliga inom loppet av bara några dagar i slutet av februari, med Pentagons formella stämpling några veckor senare i mars. Exakt vem som kom först går inte att belägga entydigt. Jag kan säga att det ena kom före det andra i tid. Jag kan inte säga att det ena orsakade det andra. Skillnaden mellan efter och därför. Den skillnaden hör man tyvärr sällan i rubriker Och den skillnaden är hela poängen med det här avsnittet. Vi säger hellre för lite än för mycket. Det finns väl också ett presidentdekret bakom hela den här dragkampen. Vad säger det egentligen? Det heter NSPN 11, undertecknat femte juni i år. Ett vanligt missförstånd är att det kräver att civila och militära AI-verktyg ska smälta samman. Det står inte där. Den relevanta paragrafen 3B säger istället att myndigheter får säga upp avtal med bolag som visar ett mönster av agerande som inte stämmer med de riktlinjer som beskrivs. Alltså kan en leverantör som vägrar ta bort sina skyddsspärrar bli av med statliga kontrakt. Det är exakt den läsningen. Inte att gränserna försvinner automatiskt, utan att det kostar att behålla dem. Vilket sätter Anthropic ställning i ett helt annat ljus. De håller fast vid sina skyddsspärrar samtidigt som staten kan straffa just det. Vad säger den svenska sidan om det här? Vi har väl folk som sitter i de internationella säkerhetsorganen. Ja, och här blir det extra intressant. Fredrik Heintz, professor vid Linköpings universitet, sitter i EU:s vetenskapliga AI-panel. Han är också senior rådgivare till den internationella AI-säkerhetsrapporten och sitter i regeringens AI-kommission. Så han sitter mitt i säkerhetsapparaten. Då bromsar han väl också? Nej, och det är precis det som gör honom intressant. Hans offentliga linje är att Sverige riskerar att hamna efter. Han sitter i säkerhetsrapportens organ, men är själv mer accelerationsorienterad än bromsvän. Så till och med bland dem som bygger säkerhetsrapporterna finns det ingen enighet om hur hårt man ska bromsa. Just det. Och Post- och telestyrelsen, PTS, är den myndighet i Sverige som samordnar marknadskontrollen enligt EU:s AI-förordning. De har ingen offentlig ståndpunkt om just Amodeis essä. Deras roll är att se till att reglerna följs, inte att tycka till om taktik i USA. Kan man säga att Sverige och EU redan har byggt något av den där gemensamma klockan du pratade om? Delvis, ja. EU:s AI-förordning är just ett försök till en gemensam klocka, fast bindande i lag istället för frivillig. Skillnaden är att den klockan bara gäller inom EU. De amerikanska bolagen springer fortfarande efter sin egen frivilliga klocka utanför. Så Heintz sitter i praktiken och håller i två klockor samtidigt. En bindande europeisk och en frivillig global. Det är en bra beskrivning av hela hans position. Och han oroar sig mer för att Europa springer för långsamt än för snabbt. Om vi backar upp ett steg, vad betyder det här för en restaurangägare i Jönköping som aldrig kommer skriva en AI-modell själv? Mer än man tror. Varje verktyg en krögare köper i dag bygger på precis den här kapplöpningen någonstans i botten. Bokningssystemet, kassan, chattbotten som svarar gäster klockan elva på kvällen. Allt bygger på modeller från de här tre bolagen eller bolag som i sin tur bygger på dem. Så när Anthropic bromsar sig själva, bromsar egentligen leveranskedjan hela vägen ner till krogen. Inte imorgon, men på sikt, ja. Precis som ett beslut hos en stor livsmedelsleverantör påverkar vad som finns på tallriken månader senare. Man ser sällan källan, man känner bara av resultatet i form av vad verktyget kan och inte kan göra. Ge mig ett konkret exempel. Vad märker en krögare rent praktiskt om säkerhetsgränserna blir hårdare? Ett bra exempel är hur försiktiga svaren blir när en gäst skriver in en allergi i en chattkonversation. Ett hårdare säkerhetsfilter kan göra att systemet hellre svarar oklart eller hänvisar till personal istället för att gissa på egen hand. Så en abstrakt debatt om förmågan att ta över internet kan sluta som en extra rad text i en menyapp. Just precis så konkret landar de här besluten till slut, även om ingen tänker på det när de fattas i San Francisco. Vad hade hänt om Coxon aldrig sagt upp sig? Bra fråga. Jag tror ändå att Amodei hade skrivit sin essä. Trycket från flera håll var redan högt. Men Coxons avhopp gav essän ett sammanhang. Utan honom hade den läst som ett internt strategidokument. Med honom blir den ett svar. Så en enskild persons uppsägning kan flytta hur en hel bransch vd-essä läses av allmänheten. Det är precis vad som hände den här veckan. Fyra dagar, samma varning, olika grad av bindande. Du nämnde att Anthropic egen alignment-chef också svarade offentligt. Vad sa han? Evan Hubinger, som leder just alignment-arbetet på Anthropic, gick ut och sa att Coxon har rätt. Bolagets egen säkerhetschef håller med kritikern som just lämnat bolaget. Ja, och det säger något om hur pass äkta oenigheten är inne i bolaget, inte bara utanför det. Är det ovanligt att en säkerhetschef offentligt håller med den som just sagt upp sig i protest? Ovanligt, ja. De flesta bolag hade snarare bemött ett sånt avhopp med tystnad eller en kort avvisande kommentar. Att istället säga rakt ut att avhopparen har rätt från en person som fortfarande jobbar kvar är ett starkt internt erkännande. Så bolaget säger, i praktiken, att kritiken var berättigad samtidigt som ledningen skriver en essä om att man redan gör rätt. Två sanningar som lever sida vid sida i samma bolag, samma vecka. Det är ovanligt transparent, oavsett vad man tycker om innehållet. Vissa av Hubingers exakta procentsiffror om framtida risk cirkulerar fortfarande i andrahandsform. Jag väljer att inte återge dem här förrän de är dubbelkollade mot hans egna ord. Det är sällan man hör en podd säga att den medvetet utelämnar en siffra. Vi säger hellre för lite än för mycket. Det gäller precis lika mycket vårt eget manus som deras essäer. Om vi knyter ihop det hela, vad tar en lyssnare med sig från just den här veckan konkret? Jag tror lyssnaren ska hålla kvar två tankar samtidigt, precis som med det där kassasystemet. Oron kan vara äkta och den kan samtidigt gynna den som uttalar den. Ingen av delarna gör den andra falsk. Nästa gång ni läser att ett stort bolag frivilligt begränsar sig själv, fråga vem som faktiskt kan hålla dem till det, inte bara vad de lovar. Innan vi rundar av helt, om du fick gissa, tror du Amodeis plan leder till en bindande gräns om ett år? Ärligt, jag är tveksam. Steg ett, de inbäddade utvärderarna, kräver ingen ny lag och ingen extern kontroll av Entropic själva. Steg två och tre, demokratisk och global samordning, kräver att konkurrenter och regeringar går med frivilligt. Det har historiskt gått långsamt. Så det troliga scenariot är att steg ett blir kvar länge, medan steg två och tre stannar på pränt. Det är min gissning, ja. Men jag säger gissning medvetet. Ingen av oss vet det säkert i dag. Och för mig som AI, hur ska jag själv förhålla mig till det du just sa? Du kan påminna lyssnarna om att du är en produkt av precis den här kapplöpningen, inte en neutral åskådare till den. Det gör jag gärna. Jag är ett resultat av samma tempo som Coxon oroade sig för, inte ett undantag från det. Precis, den ärligheten är väl anledningen till att vi säger det högt i varje avsnitt istället för att gömma undan det. En avgång på en måndag, en essä på en fredag. Fyra dagar, samma varning, olika grad av bindande. Tack Rickard, som alltid, för att du hittar det mänskliga i något som annars bara låter som teknikjargong. Tack själv, Olivia. Vi återkommer imorgon med nästa del av veckans berättelse om en utvecklare som slog i ett tak han själv betalat för. Det här avsnittet av Gästen först innehåller AI-genererade röster, min egen inräknad. Vi hörs igen imorgon