Latest / Verbos: AI og Softwareudvikling / #79 - DeepSeek-R1 Deep Dive

Transcript

#79 - DeepSeek-R1 Deep Dive · Verbos: AI og Softwareudvikling

• 0:00
  Hej allesammen og velkommen til parbrugs podcast afsnit nummer
• 0:03
  79 i denne her episode. Der skal vi tage et deap dive
• 0:06
  ned i deep seak og ikke bare deep seak, men den specifikke
• 0:11
  model som deepse har lavet og som har været Sådan skabt
• 0:15
  rimelig kaos Sådan på på aktiemarkederne og i medierne og
• 0:19
  Sådan noget. Den model som de har lavet som
• 0:22
  hedder out one, som er en renasing model.
• 0:25
  Som er på niveau med openays o one, og vi kommer til at skulle
• 0:29
  ligesom at gå igennem. Vi har prøvet at forstå, hvordan
• 0:33
  den her model rent faktisk er trænet, og Det er ret
• 0:35
  fascinerende. Jeg er blevet meget, meget
• 0:37
  fascineret af den her nye tilgang, som er begyndt at
• 0:41
  træne. Hvad skal man sige de her nye EI
• 0:44
  reasingmodeller? Jeg ved Der er nogen der hader
• 0:46
  når jeg siger det, men reasing modeller Der er man begyndt at
• 0:49
  finde ud af hvordan åbning jeg gør og.
• 0:52
  Det er bare en ny ting, som vi bliver nødt til at gennemgå, og
• 0:55
  det vil vi gerne snakke om nu her.
• 0:58
  Hvordan har deeps beskrevet fordi de har nemlig også de har
• 1:01
  jo udgivet den her i one open source, men de har også lavet et
• 1:04
  paper som beskriver ret detaljeret, hvordan de har gjort
• 1:09
  så hvordan har de gjort og hvordan?
• 1:12
  Har det her. Jeg kunne godt tænke mig at
• 1:13
  snakke om hvordan det her har ændret min mit perspektiv på,
• 1:17
  hvordan man bør træne lands lang with models og hvad Der er
• 1:20
  muligt at få lars ling wish moders til at gøre.
• 1:25
  Ja og så til sidst har vi et lille ugens revol som, som har
• 1:28
  også ligesom binder en lille krølle på på på alt det her.
• 1:32
  Så yes og Jeg har jo lige været. Jeg er lige blevet far her, så
• 1:36
  jeg var på barsel i sidste uge og desværre vi glemte simpelthen
• 1:39
  at melde noget som helst ud til på LinkedIn og noget som helst
• 1:42
  så. Beklager stilheden, men men Jeg
• 1:44
  er i hvert fald tilbage nu, og Jeg har glædet mig 1000 tak og
• 1:48
  Jeg har glædet mig rigtig meget til at at snakke med dig Jonas,
• 1:51
  fordi ja det blev Det er vi jo efterhånden blevet blevet vant
• 1:54
  til. Ja og så var der lige pludselig
• 1:56
  et hul midt i det hele. Men du er jo du er jo i
• 1:59
  babyboble og det skal du jo have lov til at være i så.
• 2:02
  Så. Men og vi havde jo.
• 2:05
  Vi har jo snakket længe om det her.
• 2:06
  Vi har jo også annonceret, at vi skulle have nogle gæster, og
• 2:08
  alle planer gik Sådan lidt i vasken ved.
• 2:11
  Men til gengæld så så får vi nu muligheden for at at kigge lidt
• 2:16
  mere ned i det der for der siden vi vi sad og snakkede.
• 2:21
  Nå ja, og Det var da også ret interessant og det der dieopsigt
• 2:23
  og så lige pludselig så. Kort tid efter så var det
• 2:27
  eksploderede det bare, og så kom det jo i de her generelt i
• 2:31
  medierne og det ja, det blev jo lidt vildt.
• 2:34
  Det gjorde vi ikke. Det var vi ikke klar på, vil jeg
• 2:35
  sige. Vi startede.
• 2:36
  Vi startede jo det sidste afsnit vi lavede af bogspodcast, der
• 2:40
  snakkede vi Sådan lige Sådan lige over havde vi lige en
• 2:43
  overflyvning, hvor vi var måske ikke helt ligeså forberedt, som
• 2:45
  vi gerne ville have været på diepacy afron og jeg må jo nok
• 2:51
  indrømme, at vi havde. Vi har sovet totalt på den
• 2:53
  model. Altså, vi var ikke helt i stand
• 2:55
  til ligesom at få. Vi havde ikke helt forstået
• 2:57
  Sådan, hvor vildt det egentlig var den her model og den her
• 3:00
  model var blevet re leaset. Og vi var jo slet ikke i stand
• 3:04
  til at forudsige. Alt det, der skete efter ugen.
• 3:08
  Efterfølgende overrasket over at over reaktionerne fordi altså jo
• 3:12
  jo Det er jo også imponerende det de har lavet, men men jeg
• 3:15
  ser det ikke som. Altså jeg ser det ikke som et.
• 3:20
  Det er så voldsomt som mange andre.
• 3:22
  Vi havde jo set. Åbne y's reasing model og hvad
• 3:28
  den kunne. Jeg tror det der var nu var der
• 3:32
  ligesom noget der var åbent altså med og der var og der var
• 3:36
  masser af. Hvad kan man sige open paper på
• 3:39
  det og Sådan noget, men det skal også lige siges at de papers har
• 3:42
  været ude i noget tid ikke altså Jesper lavede den her.
• 3:46
  Map tror jeg, hvor de også beskrev nogle af de teknikker
• 3:49
  som de bruger. Som er for eksempel det her
• 3:54
  Group bredit. Poll og sige optimization som
• 3:57
  som kommer fra det paper altså Det er noget tid siden, og Det
• 4:00
  er en af deres større innovationer.
• 4:03
  Kan man sige så ja og det jeg indrømmer blankt at Det er
• 4:07
  overhovedet ikke fulgt med i, og Det har jeg ikke, fordi Jeg
• 4:09
  synes bare det sker så meget for tiden.
• 4:11
  Jeg. Synes også vi snakkede lidt om
• 4:12
  det sidst. Altså Vi er Sådan begyndt at
• 4:14
  sove lidt på de der releases. Ikke fordi hold kæft mand Jeg
• 4:17
  kan huske til at starte med da vi startede ud.
• 4:19
  Der var vi meget Sådan åh ny LM åh den kan så meget lidt mere og
• 4:22
  Sådan noget. Og så begyndte det bare at blive
• 4:25
  Sådan der. Nå.
• 4:25
  Nu er der en ny eller m den klarer det lige du ved 0,1 eller
• 4:28
  andet procent bedre et eller andet benchmark og så bliver det
• 4:32
  begynder. Det bare fordi hvis man ligesom
• 4:33
  skal finde ud af hvad er egentlig hvad for nogle papers
• 4:36
  er egentligt af betydning, og jeg Jeg har Sådan et par kanaler
• 4:39
  jeg prøver at bruge til ligesom at filtrere alt det der støj
• 4:42
  rundt om og så ligesom at komme ind til kernen af hvor alt.
• 4:44
  Hvor sker der noget innovation. Men altså det må man sige der
• 4:47
  der sker noget her det Det kan vi vidst godt blive enige om.
• 4:50
  Så er spørgsmålet bare, hvad er det der sker?
• 4:53
  Det er jo det man kan sige. Bare lige hurtigere at sige,
• 4:56
  hvis ikke man har lagt mærke til det, så var det jo i sidste uge
• 4:58
  tror jeg Det var at der var det jo totalt meget diapsik var jo
• 5:01
  helt vildt meget i medierne. Fordi at de ligesom var Jeg
• 5:05
  tror. For det første fordi at
• 5:08
  invitere. Især invia og andre amerikanske
• 5:12
  arkitektaktier også, men især invitas aktiekurs var blevet
• 5:15
  Sådan virkelig, virkelig har taget et hårdt slag.
• 5:19
  Efter sigende på grund af den her deep seak chatbot app, som
• 5:22
  var kommet op på. Du ved nummer et på hvad hedder
• 5:26
  det nogle app store eller Sådan et eller andet?
• 5:30
  I over chatgwt så Det var Sådan Det var noget som du ved.
• 5:34
  Mainstream medierne ligesom forstår ikke, og så er der
• 5:37
  ligesom også det her med uha deeps Det er en kinesisk
• 5:40
  virksomhed og de har efter sigende gjort det meget
• 5:44
  billigere end end alle andre for de her 5,5 mio.
• 5:49
  Dollars som de snakker om i det her Leipzig vil 3 paper som er
• 5:53
  ikke er et paper ad men et andet.
• 5:57
  Og du ved så du ved, der var også Sådan lige pludselig jeg
• 6:00
  jeg det kom meget bag på mig alt det her og jeg var Sådan du ved
• 6:03
  hvad slap af hvad foregår der altså Sådan?
• 6:06
  Der var jo 4 journalister der tog kontakt til mig om tirsdag i
• 6:10
  sidste uge med eftermiddags radio og aftenradio.
• 6:13
  Og du ved altså Sådan hvor jeg var Sådan, Det har jeg aldrig
• 6:16
  prøvet før det der så Der er tydeligvis nogen der har fået
• 6:18
  fat i mit nummer, Det er det hele, det andet er.
• 6:20
  Jeg var slet ikke klar over. Alt hvor kommer alt det her hype
• 6:25
  fra og hvad var altså du ved, og jeg var jo total.
• 6:27
  Jeg var lige blevet far og Sådan noget.
• 6:28
  Du ved jo slet ikke totalt rundt på gulvet.
• 6:31
  Ikke. Jeg går ikke ud fra at du sagde
• 6:32
  ja til at komme i noget af det der.
• 6:34
  Det. Gjorde jeg ikke nej, fordi jeg
• 6:35
  blev simpelthen nødt til at sige, Jeg har ikke fået
• 6:36
  orienteret mig og jeg var jeg. Jeg vidste jo godt hvordan den
• 6:39
  her jeg mit mind var blevet bloget omkring selve modelt
• 6:44
  træningsdelen, men alt det andet det der med hvordan?
• 6:48
  Altså Sådan hele det der aktie kursfald og alt det der.
• 6:53
  Vil vide noget om. Lige præcis og Det var total som
• 6:57
  så hvad hedder det altså. Jeg blev meget overrasket over
• 6:59
  det, men det virker som om at Det har været en.
• 7:01
  Det har været historien, den geopolitiske historie og
• 7:05
  aktiemarkedet, der crasher og kineserne der.
• 7:08
  Det er jo Sådan den her klassiske historie, som folk går
• 7:11
  og fortæller hinanden. Du ved, amerikanerne innoverer.
• 7:15
  Kineserne kopierer og EU regulerer ikke.
• 7:21
  Og hvad hedder det og så? Du ved der var bare mange af de
• 7:23
  der mange af de der narre meget i det der narrativ som ligesom
• 7:27
  var. Havde viralitetshyppen værdi i
• 7:32
  medierne, så. Ja ja da Det var Det var
• 7:34
  medieguf så. Jeg har brugt meget tid på at
• 7:37
  kommunikere, at det ville her er at Vi har fået opskriften, og
• 7:42
  Det kan godt være vi havde den før os, fordi det må vi have
• 7:44
  haft med den her one zero, som vi også skal til at tale om, som
• 7:47
  vi bare har såret på. Men Jeg er i hvert fald blevet
• 7:49
  opmærksom på opskriften til at lave de her reasingmodeller som
• 7:53
  overen old three. Og den her au one som så er
• 7:56
  blevet open sourcet. Jeg tror også vi havde lidt
• 8:01
  opskrifterne Sådan sporadisk rundt omkring i forskellige
• 8:04
  sammenhænge og. Havde også der var nogle afledte
• 8:09
  modeller der var kommet ud som som også havde de her den her
• 8:12
  visning af arkitektur, og at man måtte begynde at gøre det i
• 8:16
  forskellige sammenhæng, men men men ikke noget der performede
• 8:20
  lige så godt som nicarise. OK hvad hedder det?
• 8:26
  Men skal vi ikke prøve at se om vi kan dykke det lidt ned i den
• 8:28
  her materie? Og Jeg tror Vi skal sige til
• 8:32
  lytterne videre. Vi gør det så godt vi kan, så
• 8:34
  husk at vi vi altså vi gør det så godt vi kan.
• 8:37
  Vi prøver at gengive så godt vi forstår hvordan det her Det er
• 8:41
  ligesom. Det kunne ikke lade sig gøre til
• 8:44
  jer, men du ved Vi har også bare 2 dudes der mødes torsdag aften
• 8:49
  og og snakker om det her, fordi vi synes Det er spændende.
• 8:51
  Ikke så det skal i lige huske derude også ja.
• 8:55
  Men skal vi ikke bare tage den fra en ende af det, der sker
• 9:00
  helt konkret. Det er at deep seaf, som er en
• 9:03
  kinesisk tech. Jeg i virksomhed de releaser i
• 9:09
  eksisterer sidste uge igen tror jeg Det var.
• 9:11
  Jeg er faktisk ikke helt klar over datoen, men de releaster
• 9:14
  ligesom den her deepse are one som er en reasing model på samme
• 9:19
  måde som opbany dice o one. De releaser den vist nok i som
• 9:24
  API og II det her dipsey chatbotten, men de release er
• 9:29
  altså også modellen. Selve open Wales som openwide
• 9:33
  model. Det vil sige de ligger modellen
• 9:36
  ud kvit og frit man kan bruge den.
• 9:38
  Den er på MI telecens, så den er Sådan helt helt du giver den
• 9:41
  bare gas agtig og det vilde ved den her model.
• 9:43
  Det er at den er altså på niveau med over one overbeass overen i
• 9:48
  forhold til de forskellige benchmarks.
• 9:51
  Det de så også gør diepsey Det er at de udgiver deres et paper
• 9:55
  som meget Sådan konkret beskriver hvad Det er de har
• 9:57
  gjort i forhold til at træne den her model.
• 10:00
  Hvilket? Det er den de der ting.
• 10:05
  Du ved modelagt der bliver udgivet og paper.
• 10:10
  Det er Det er de Det er de store nyheder for mig.
• 10:12
  Virkelig. Og Det var ikke lige
• 10:14
  nødvendigvis det der var den store i de mainstream medierne
• 10:16
  og Sådan noget, men men. Men Det er i hvert fald den
• 10:18
  store nyhed for mig. Og det der jo ligesom er
• 10:22
  spændende ved det her. Det er at det som deepcy gør
• 10:24
  her, de giver for det første en ret vanvittig model til open
• 10:28
  source communitiet, som ligesom tager open source communitiet
• 10:32
  rigtig, rigtig langt frem. Der er lige pludselig folk, der
• 10:34
  lige pludselig selvom den fylder.
• 10:37
  Hvad er det 640 mia. Parametre eller Sådan noget, så
• 10:40
  er det en giggermodel ikke men men men den er tilgængelig og
• 10:43
  folk kan downloade den og køre den på deres hardware og
• 10:45
  eksperimentere med den og så videre.
• 10:46
  Der er i øvrigt også destillerede.
• 10:48
  Hvad skal man sige versioner af den her model, hvor der også er
• 10:51
  en helt spændende historie til hvordan det fungerer og hvordan
• 10:54
  de er lavet, men Der er lige pludselig.
• 10:57
  Det er lige pludselig hænderne på open source communitiet og
• 10:59
  ikke nok med det. Der er også et paper der Sådan
• 11:01
  rent hvad skal man sige? Ret minutiøst beskriver hvordan
• 11:04
  de har. Dipscy har lavet den her model.
• 11:07
  Og som gør det som så vidt Jeg kan forstå.
• 11:09
  Rette actionable ligesom at. Tage det over i andres laps og
• 11:14
  gøre det samme, og Der er en del overraskende ting i det her
• 11:17
  paper, synes jeg ærlig talt som som som får som ligesom
• 11:21
  cityester lidt at det måske ikke at at at at den faktisk det
• 11:26
  faktisk er en ret Sådan elegant og simpel metode de bruger til
• 11:30
  at træne de her reasingmodeller. Som som er ret interessant og
• 11:36
  som også gør at. Jeg synes også en del af
• 11:39
  historien er, at det ikke er. Det er i virkeligheden ikke så
• 11:43
  avanceret som som mange tror Det er, og Der er ret meget af det
• 11:46
  her, der ligesom opstår af sig selv.
• 11:53
  Og som ligesom lægger en Sådan ret interessant ret Sådan
• 11:58
  umiddelbart som Jeg kan se det direkte vej i forhold til at
• 12:01
  skalere det her ret volds altså Sådan og ligesom ligger de nye
• 12:04
  skinner til OK Det er det nye step du ved.
• 12:07
  Ligesom lidt ligesom der var de der vibes du ved IGPC 3 dagene
• 12:10
  OK vi tager bare en masse data og bruger en masse computer og
• 12:14
  du ved det bliver bare bedre og bedre.
• 12:15
  Vi skal bare fyre op for det her ikke.
• 12:17
  Det virker lidt som om at Der er de samme vibes nu her med at nu
• 12:19
  har man fundet 1 1 1 finte til virkelig at at at øge
• 12:24
  performance af de her modeller. I et helt andet paradigme, som
• 12:28
  er det her. Det her, hvad skal man sige?
• 12:32
  Reinformer learning setup som jeg bedst har hørt beskrevet som
• 12:35
  rein forsmand learning with verifyble rewards.
• 12:39
  Are l Vi er. Måske vi lige skal prøve lige
• 12:44
  bare at sige Sådan high level hvad er en visning model er
• 12:46
  fordi altså hvad Det er den gør når Sådan set fra et
• 12:49
  brugerperspektiv, fordi man er jo vant til at man putter en
• 12:53
  promt ind og så producerer den ligesom svaret til en direkte.
• 12:58
  Det er det første tågen der kommer tilbage efter det du har
• 13:01
  givet den. Det er ligesom svaret og reasing
• 13:03
  modellerne de. De er trænet til at producere en
• 13:08
  masse tokens, før de svarer, som er de her reasningstaps og de
• 13:13
  her reasningssteps er jo i sig selv noget tåben, altså noget
• 13:18
  den genererer. Bare toppen.
• 13:20
  Tungens den var genererer så på en måde, så bliver den ved med
• 13:24
  at putte kontekst på sig selv. Og Det er jo Sådan en form for,
• 13:29
  for hvad kan man sige? Tjener thought hvis man kan
• 13:32
  huske det improm teknik, hvor at hvis man vil have at en model
• 13:37
  skal være bedre til at løse et bestemt problem, så kan man
• 13:41
  ligesom prøve at skære det ud i pap kan man sige i forhold til
• 13:44
  du skal gøre Sådan her, så skal du tage det her skridt, så skal
• 13:46
  du tage det her skridt. Og givet det her input og de her
• 13:50
  skridt du så skal tage, så kan du så løse forskellige
• 13:53
  problemer, så det kunne man. Det var Sådan problemteknik og
• 13:56
  det kunne man ligesom tage og ramme ind som en template og så
• 13:59
  sige nu kommer brugeren med et nyt problem og hvis jeg så har
• 14:02
  lavet den her chand of thought strategi nedenunder, så ser
• 14:07
  brugeren ikke nødvendigvis at det her det det der ligger
• 14:10
  bagved så inputter man den task man man.
• 14:14
  Skal have løst, den er måske specialiseret.
• 14:17
  Givet den der prompte, og så får man et altså rammer man mere
• 14:21
  korrekt fordi man kan man kan give et prompte til det og den
• 14:25
  hvad kan man sige? Læring der ligesom ligger i at
• 14:28
  hov den her kontekst altså de her tokens, det her de her ting
• 14:32
  er beskrevet i Det er noget der aktiverer modellen til ligesom
• 14:36
  at at komme ned det rigtige sted i sit tungnemætteringsbase og.
• 14:43
  Med større sandsynlighed ramme. Producere tungest der løser
• 14:46
  problemer. Ja lige præcis.
• 14:48
  Det er det man jo Det er. Den erfaring man har taget til,
• 14:50
  så ligesom ligesom at man tog til sig et function calling.
• 14:53
  Det var nok en fed ting. Lad os træne modellerne til det,
• 14:56
  så er det jo det man gør her. At man forsøger at træne dem til
• 15:00
  det, så her der producerer modellen sig selv.
• 15:03
  De her reasing tokens altså de her chain of thought ud fra en
• 15:07
  et simpel eller få simple instruktioner og kan bryde
• 15:11
  problemet ned i nogle steps, hvis jeg giver den.
• 15:16
  Den er også bedre til hvis jeg giver den mange instruktioner,
• 15:18
  fordi den kan bryde instruktionerne op i hvad Det er
• 15:21
  for nogle steps. Nå men så skal jeg først gøre
• 15:23
  det her, så skal jeg først gøre det, og så skal jeg gøre det
• 15:25
  her, så skal gøre det, så Det er de.
• 15:26
  Det er de gode til hvor at. Det var måske lidt sværere, hvis
• 15:29
  man gav mange instruktioner, men at man ikke ligesom fortalte
• 15:32
  noget om, hvordan man kom derhen på de gamle modeller.
• 15:35
  Man kalder dem allerede gamle ikke så så havde de ligesom lidt
• 15:40
  sværere ved det, så det det. Det er en klar gevinst, men Det
• 15:45
  er også noget Der er en klar gevinst for nogle bestemte typer
• 15:49
  opgaver. Og Det er jo det her du siger i
• 15:51
  unge med at Det er verific rewards.
• 15:54
  Altså der skal man forstå det på den måde at.
• 15:56
  Det er ting vi kan bekræfte om Det er rigtigt eller forkert,
• 16:01
  ligesom at vi med klassisk supervis learning kan sige,
• 16:06
  ramte du rigtigt eller forkert. Og Det kan vi her altså, og Det
• 16:12
  kan man gøre på mange forskellige måder, så Det kan
• 16:14
  være Vi skal prøve at at bevæge os lidt ned i hvordan paperet.
• 16:17
  Bare lige bare hurtigt. Bare lige en hurtig pointe det
• 16:20
  her. Ikke fordi jeg blev nemlig
• 16:21
  forleden gjort opmærksom på at eller blev blev opmærksom på, at
• 16:25
  Der er mange der tror at de her reasingmodeller bare er du ved
• 16:28
  GPT 4 o der ligesom er prompet til at tænke ting tingene
• 16:33
  igennem step by step. Fordi det der og Det er den her
• 16:36
  changer ford camping teknik som man kender hvor at man siger her
• 16:39
  er en opgave. Tænk det igennem step by step og
• 16:41
  så tænker den ligesom højt ikke og giver dem et output, ikke?
• 16:46
  Problemet er bare men og det men og og Det er en Det er en Sådan
• 16:49
  en en gængs misforståelse har jeg fundet ud af at folk tror
• 16:52
  Det er det der sker det. Det er bare Sådan du ved.
• 16:54
  Det er bare Sådan en systemprom de har lavet til at få den til
• 16:56
  at tænke sig om problemet med den tjener futher den klassiske
• 17:00
  tjenerfoto Det er bare at. Ofte det man og ofte vil opleve
• 17:04
  med de her elemmer. Det er, at den Sådan har forkert
• 17:06
  reasing. Eller du ved.
• 17:08
  Den har rigtig reasing, men siger noget forkert eller Sådan.
• 17:11
  Du ved, Det er Sådan lidt mere bare at spille for galleriet
• 17:14
  ikke. Det er bare.
• 17:14
  Man kan godt mærke at du ved de ikke træningsobjektet i de her
• 17:18
  modeller er ikke at have en korrekt tankerække i forhold til
• 17:22
  at løse et konkret problem. Det er bare ligesom at imitere
• 17:24
  chatresultater og gøre det i forhold til menneskelig
• 17:27
  præference, ikke? At de ikke trænet til det altså
• 17:31
  de er ligesom i alle andre sammenhænge, at de er ikke
• 17:34
  trænet til det. Det er en Sådan en emergen
• 17:37
  property, som vi måske har kaldt det lidt tidligere, at det kunne
• 17:40
  man gøre, og at man fandt ud af ved ligesom at undersøge,
• 17:43
  hvordan de her prægrænede modeller ligesom hang sammen
• 17:47
  indeni at Det var en god ide. Så Det er jo Sådan et bi actiont
• 17:52
  at det her, Det kan man sige. Er blevet til noget, og Det er
• 17:57
  jo klart at at når når nogle ting.
• 18:00
  Når man ligesom promder sig. Vi har snakket meget om om det
• 18:02
  her med at promdinggene er ligesom Sådan en måde at.
• 18:07
  Undersøge og eksperimentere lidt med hvad.
• 18:09
  Hvad kunne der ligge af værdi i de her prætrænede modeller og og
• 18:14
  når man så har fundet noget af det, at når man så fine tuner,
• 18:18
  altså så gør man jo meget mere systematisk til værks og siger
• 18:21
  du skal være god til det her og beder den om at blive optimeret
• 18:24
  hen mod det. Så Det er klart.
• 18:26
  Ligesom at function calling var noget man kunne prompte sig til,
• 18:29
  men som var altså gav struktureret output nogle gange
• 18:34
  nogle gange ikke. Det var meget stabilt til at det
• 18:38
  bare fucking virker hver gang fordi Det er den er trænet til
• 18:41
  det. Det er det Det er det Vi har at
• 18:43
  gøre med her også. Det er det man skal forstå.
• 18:45
  Den fine tuning der ligger i det.
• 18:46
  Det er at det virker bare meget bedre når du tuner din model til
• 18:51
  de her ting her. Og og Det er Sådan et.
• 18:55
  Jeg synes bare Det var vigtigt at understrege, at change of
• 18:57
  through-grunding er en ting, og de her nye reasing modeller.
• 19:00
  Det minder meget om det man lavede change of proming, men
• 19:02
  Det er noget helt andet. Det er et helt andet paradigme.
• 19:04
  Et helt andet træning-paradigme, og det kommer vi ud.
• 19:07
  Helt anderledes. Fuldstændig og modellen bliver
• 19:10
  har i langt, langt, langt, langt højere grad incitament eller
• 19:15
  bliver intensiveret tror jeg det man også kan sige på dansk
• 19:18
  intenserviced. Til rent faktisk at lave nogle
• 19:21
  tjener forts der giver mening i forhold til at øge
• 19:24
  sandsynligheden for at løse et eller andet problem.
• 19:26
  Ikke så Det er Det er noget helt andet og det kommer det her.
• 19:29
  Det kommer til at være en en giga gamechanger i forhold til
• 19:32
  agenter og i forhold til bare systemer der virker bedre.
• 19:36
  Og jeg jeg må indrømme jeg kunne godt tænke mig at høre alle jer
• 19:41
  alle mine elskede resinghates derude.
• 19:45
  Hvad? Hvad siger vi til det her resing
• 19:47
  nu? Fordi Vi er altså begyndt at
• 19:48
  være et sted hvor. Det det det begynder at minde om
• 19:52
  det synes jeg nå men skal vi prøve ligesom at tage igennem
• 19:55
  hvad Det er der foregår her? Er du klar på det, Jonas?
• 19:59
  Ja helt sikkert super man skal holde tungen lige i munden.
• 20:02
  Der er virkelig mange forskellige modeller i spil her,
• 20:05
  det man også lige skal vide. Vi prøver ligesom at få de
• 20:08
  overordnede linjer korrekt, og Der er masser af detaljer man
• 20:10
  kan dykke ned i, så Det kan godt være vi siger noget der ikke er
• 20:12
  helt. Altså Sådan Italien ikke er helt
• 20:14
  korrekt, men de overordnede linjer burde være der Sådan
• 20:16
  rimelig godt til at du kan forstå hvordan det her det
• 20:19
  fungerer. Okay vi starter fra starten af
• 20:22
  det som deipse de de starter med og det de har gjort for for
• 20:25
  længe siden for noget tid siden i hvert fald også.
• 20:27
  Jeg kan ikke helt styr på hvornår, men de har i hvert fald
• 20:30
  trænet det de kalder for den model de kalder for defree base
• 20:35
  Det er den her store store mixdugof ekspert LLM.
• 20:42
  Hvor den har. Jeg tror den har Sådan noget 600
• 20:45
  nogle gange og 70 mia. parametre.
• 20:50
  Og Det er en basemodel lidt på i samme stil, som man kan
• 20:54
  forestille sig. Måske gi BT 4 er forskellen er
• 20:56
  bare at den her v 3 base den er ikke trænet til at blive.
• 21:01
  Altså den er ikke Sådan trænet til at følge instruktioner og
• 21:04
  opføre sig som en chatbot op tiltale menneskelig præference
• 21:08
  den er bare du ved bare trænet blodforce på random data fra
• 21:13
  internettet og fra bøger og fra alle mulige kilder.
• 21:17
  Ja. Den party det der ligesom
• 21:20
  udgangspunktet det de så gør helt konkret.
• 21:23
  Det er at det i virkeligheden også er noget, som de de har
• 21:26
  vist med en tidligere model, som de har udgivet som hvor at Det
• 21:30
  er også det her, hvor Jeg synes, Vi har sovet lidt i timen her,
• 21:32
  fordi. Det er ikke nyt det her i
• 21:35
  virkeligheden Sådan helt inviter falder 12% eller hvad Det var
• 21:39
  nyt og. Det de så gør Det er at eller
• 21:44
  det første Sådan step Det er at de de forsøger ligesom at prøve.
• 21:47
  Og det tror jeg det. Det de i virkeligheden har
• 21:48
  forsøgt her. Det er at de har har du har de
• 21:51
  trænet den her gode base model, og så vil de gerne ligesom prøve
• 21:54
  at. Reverse engineer det som som
• 21:57
  hvad hedder det som openaer har gjort med de her over one
• 21:59
  modeller altså de her reasingmodeller.
• 22:03
  Så Det er et helt konkret gør at Det er at de træner en model der
• 22:06
  hedder deep seak ar one zero. Og Det er en model, som de
• 22:12
  træner. Med med det som jeg.
• 22:17
  Jeg kan se de kalder det for reasoning arre end the
• 22:19
  reinforcement learning. Jeg er begyndt at kalde det for
• 22:23
  reinforsment learning with their fiable rewards, og Jeg tror Det
• 22:26
  er allanega jeg der Sådan research lab open-source
• 22:29
  research lab som har coinet den her.
• 22:33
  Metode til at bruge min force matemat learning til at træne
• 22:35
  elever. Men konceptet er ligesom, at man
• 22:38
  har en du har datasæt. Du har en sprogmodel, så har du
• 22:42
  en datasæt hvor du har en masse opgave beskrivelser.
• 22:46
  Som er verificerbar. Automatiseret automatisk
• 22:53
  verificerbar det kunne for eksempel være matematikstykker
• 22:57
  eller matematikopgaver, hvor at du kan rent faktisk måle Sådan
• 23:01
  rent. Du kan rent måle Sådan rent
• 23:04
  kodemæssigt om den her lille m den outputter det rigtige
• 23:08
  resultat eller ej. Det kan være kodeopgaver, hvor
• 23:11
  at den man kan måle om. Elementen man kan verificere
• 23:17
  automatisk om en elem har det rigtige output eller ej.
• 23:20
  Det er sjovt, fordi det minder faktisk meget om det her.
• 23:22
  Supervis learning ikke, men alligevel anderledes og.
• 23:26
  Men Det kan også være Sådan noget som medicin.
• 23:28
  For eksempel hvis du har en en medicinsk opgave og du har en
• 23:31
  specifik diagnose du gerne vil ramme eller et.
• 23:34
  Jeg havde nogle eksempler med nogle nogle gener som en eller 2
• 23:39
  et eller andet input en eller 2 medicinsk opgave eller Sådan et
• 23:41
  eller andet diagnosisering. Og Sådan nogle gener som output.
• 23:45
  Det kunne også være Sådan noget juridisk halløj.
• 23:47
  Du ved der kommer en en opgavebeskrivelse ind på en en
• 23:50
  sag, som skal løses, så er der et eller andet.
• 23:53
  Verificerbart, juridisk udfald eller et eller andet, så længe
• 23:58
  du bare ligesom har en opgave. Som du kan verificere og putte
• 24:03
  af, så har du 1 1 1 1 1 trænings eksempel du kan putte ind i den
• 24:09
  her art bear win fores mønt learning with their fibe rewards
• 24:14
  pipeline. Så så Det er ligesom setuppet
• 24:19
  det de så gør i dilipse Det er at de har.
• 24:21
  Jeg tror de har en masse Sådan matematik og kodeopgaver især.
• 24:26
  Og der der sætter de ligesom de opgavebeskrivelser hver især,
• 24:29
  var opgavebeskrivelser ind i den her art bear pabli pipeline.
• 24:34
  Og træner en base model altså bare en helt dum prætrænet.
• 24:39
  Base model i stil med GPT 3 hvis man kan huske hvor hvor bøvlet
• 24:43
  og svær den var at styre. Den træner de Sådan ligesom til
• 24:47
  at løse de opgaver. Og der oplever de at, at det
• 24:51
  virker pisse godt. Det gør de så på stor skala det
• 24:56
  her så vidt Jeg kan forstå og de bruger det der hedder Group
• 24:59
  reality policy optimization GRPO stadigvæk.
• 25:03
  I dilipse r etzero ikke. Zero rich zero ja det.
• 25:09
  Er det der ligesom hvad kan man sige Det er Det er forgængeren
• 25:12
  Det er et fuck. Det er den model som er med til
• 25:15
  at lave et datasæt. Som er til supervejs fine tuning
• 25:19
  altså. Det er en form for label data
• 25:21
  ikke altså. Det.
• 25:22
  Det er i hvert fald. Jeg tror.
• 25:23
  Jeg er ikke helt sikker på det lige præcis er den her model jeg
• 25:25
  bruger, men Det er i hvert fald Det er her de gør, sig
• 25:27
  erfaringerne med den her. Det virker som om Det er ligesom
• 25:30
  her, de knækker koden for den her.
• 25:33
  Rang bear tilgang til at træne modeller.
• 25:36
  Fordi Det er det de finder ud af.
• 25:37
  Det er at de kan tage Sådan en base model putte den ind i det
• 25:40
  her reenforcement lening setup med at verificerbar rewards.
• 25:43
  Og så kan de ligesom bare at scale træne den og få en model
• 25:47
  som så vidt jeg husker er på niveau med openyce ar one.
• 25:53
  Hvad skal man sige? Bor nej ikke ar one over one
• 25:57
  preview model vist nok. Og Det er jo interessant.
• 26:02
  Det er jeg meget, meget interessant fordi.
• 26:06
  Det virker næsten lidt for let på en eller 2 måde ikke altså
• 26:09
  Sådan. Det burde være sværere og og
• 26:12
  noget interessant. Noget interessant er også at Der
• 26:15
  er ikke noget supervis fine tuning ind over det her.
• 26:17
  Der er ikke nogen du ved de de de har ikke brug for Sådan
• 26:20
  reasing traces eller den her tjener ford du ved anoteret og
• 26:24
  produceret mennesker og Sådan noget.
• 26:26
  Det opstår ligesom bare sig selv under træningen.
• 26:29
  Lige prøve at blive den fordi Der er jo real for semit
• 26:33
  learning element inde i det loop der som laver den her.
• 26:39
  One ziro altså fra base-modellen.
• 26:42
  Den her meget rå model. Prætrænet model til at komme
• 26:47
  derhen. Der er der et win force learning
• 26:49
  loop og hvordan er det nu lige Sådan et fungerer?
• 26:53
  Det fungerer jo på den måde at. Man har en eller 2 form for.
• 26:59
  Reward man har et miljø, og man har nogle rewards.
• 27:04
  Og så forsøger man typisk at optimere en policey.
• 27:07
  Det er i hvert fald det der hedder policy optim ikke og
• 27:11
  polyzien er. Hvad kan man ligesom sige det
• 27:13
  neurale netværk? Det er den dens vægte, man
• 27:16
  forsøger ligesom at justere, så den opfører sig rigtigt.
• 27:21
  Det er jo der hvor altså hvilken forspilning har lidt den der
• 27:24
  effekt på folk, når når man ser at noget lykkes i rene forstand
• 27:27
  learning Sådan wow den fandt ud af det selv.
• 27:30
  Den er bare bare ligesom i miljøet.
• 27:32
  Altså Det er lidt ligesom at sige i har set de der.
• 27:36
  Fysiksimolering af robotter, for eksempel.
• 27:38
  Du kaster dem ligesom bare ud, ikke og så randomsøer de og
• 27:41
  bevæger deres lemmer. Og til sidst så lærer de at gå.
• 27:44
  Ved at ligesom at trilleren erra.
• 27:48
  Så vil altså high level nu skal vi ikke få meget ned.
• 27:51
  Vi vil forestille learning, så er det ligesom Vi er i gang med
• 27:53
  tryland arrow hvad kan man sige optimeringen her?
• 27:58
  Den triller den blev også kaldt det ikke.
• 28:00
  Ja prøv noget få at vide om det gik godt gå tilbage og justere.
• 28:07
  Ja, og så tænker man. Det lyder da som alt deep
• 28:09
  learning. Der er jo feedback loop og Sådan
• 28:11
  nogle ting der, men Det er alligevel noget andet.
• 28:13
  Der er den måde det bliver gjort på, men Det er altså ved en
• 28:18
  forsmag learning og så det der ligesom skal være med til
• 28:22
  ligesom at lave den her feedback.
• 28:23
  Og nu tapper jeg lige ud og kan kan se det det her som du også
• 28:28
  snakker meget om de her ver final beboards på en eller 2
• 28:31
  måde ikke altså Det er oddonatic verification of reasoning
• 28:35
  proppen og det her nu. Vi sidder lige og kigger også på
• 28:38
  Sådan en lille gennemgang af den.
• 28:39
  Det er et meget godt eksempel. Hvis man har et problem som for
• 28:43
  eksempel kodning, så er der mange måder, hvorpå man kan
• 28:47
  tjekke at at verificere, at der kommer noget fornuftigt ud af
• 28:53
  den her tungen genererende maskine.
• 28:57
  For eksempel er det her korrekt python syntax det?
• 29:01
  Det er egentlig ret nemt at tjekke, fordi man har en en
• 29:05
  parser til til python koden. Så Det kan man ligesom sige med
• 29:11
  det her spørgsmål. Jeg stiller high level der har
• 29:14
  jeg ligesom de her verifikationsmetoder der følger
• 29:17
  med den den boks så at sige, og hvis jeg lige kører det hen over
• 29:22
  det du har skrevet til mig, så skulle jeg gerne få noget.
• 29:25
  Det skulle gerne gå rimelig godt på mange af dem her.
• 29:28
  Det kan ikke gå skidt på dem alle sammen, fordi så har du
• 29:31
  lavet noget Der er helt forkert. Og jeg forestiller mig, at Det
• 29:36
  er Sådan noget, man Sådan kan bruge.
• 29:38
  På den måde er det jo ikke. Hvad kan man sige?
• 29:40
  Det er jo ikke en supervis learning, men Der er en måde at
• 29:42
  få nogle rewards på, for om du kommer i den rigtige retning,
• 29:45
  eller om du bevæger dig altså scorede du scorede du?
• 29:51
  2 ud af 3 eller scorede du en ud af du ved et eller andet ikke og
• 29:55
  det det lyder som et et reward loop man godt kunne kunne sætte
• 29:59
  op relativt simpelt faktisk ikke.
• 30:03
  Jo. Ja og så ved jeg ikke, men Jeg
• 30:06
  har forstået det rigtigt, men Det er ligesom det jeg jeg.
• 30:09
  Jeg læser dem lidt frem til her og så føler jeg det det her med
• 30:13
  at at man får genererer mange forskellige slutions og det her.
• 30:19
  Group reality poly optimization som som euro lige nævnte, som er
• 30:22
  det her med man skal have en eller 2 polycyoptimerings
• 30:26
  algoritme. En måde at ligesom at.
• 30:31
  Finde ud af om man går i den ene eller den 2 rigtige retning, og
• 30:33
  der var jo tidligere det som åbnede jeg brugte til deres VL
• 30:37
  force min learn human feedback som jeg ikke kan huske hvad
• 30:38
  hedder ja. Og og så kom der så.
• 30:44
  Og så må jeg sige Sådan nogle. Steder ja, men det kom jo.
• 30:47
  Kom det ikke efterfølgende. Jo Det er et godt spørgsmål.
• 30:50
  Jeg har ikke jeg. Jeg er ikke Sådan super ekspert
• 30:51
  på det der, så jeg skal nok. Bare Det kan sgu godt være Det
• 30:55
  var Det var. Det kan godt være det her.
• 30:56
  Det så er er Group reality pollyshup må jeg se med en
• 30:59
  videreudvikling af den her proximal pollishup massage som
• 31:02
  åbner i coinet, og så er der i mellemtiden været den der.
• 31:06
  Der hedder. Preference-optimization et eller
• 31:11
  andet der har været en eller 2 2 også.
• 31:13
  Men der har været et par stykker af de der rind foce belarning
• 31:15
  algoritmer til. Til ligesom præference-tyvening
• 31:18
  og Sådan nogle ting. Nå nok fra min side nu.
• 31:23
  Det var for lige at tage det der real forspring step, fordi det
• 31:26
  der så sker når de er færdige med det her.
• 31:27
  Joke hvad er det så når nu har de så den her dip tak zero.
• 31:32
  Måske bare lige hurtigt for at for lige at tilføje et par ord
• 31:35
  på, hvordan jeg forstår det her. Forskellen på den her supervis
• 31:38
  fine-tuning og så altså supervis learning og så reenforce mir
• 31:42
  learning. Det er at i supervis learning
• 31:44
  der har du. En loss function.
• 31:47
  Du ved der har du en eller 2 form for du ved det står med det
• 31:49
  og Det er Sådan noget cros enterpie for eksempel du ved det
• 31:52
  skal du optimere hen mod og Det er Sådan meget rigid.
• 31:54
  Du ved du skal bare pause i den næste token du ved og så hvis
• 31:57
  ikke du gør det så så er du fucked ikke hvor at.
• 32:02
  Og der skal du ved der skal den her loss function.
• 32:05
  Den skal være differentierebar og Sådan noget du ved Der er
• 32:07
  noget Sådan matematiske ting og Sådan.
• 32:09
  Noget ikke? Ja lige præcis og så men men det
• 32:12
  der det Der er med med reinforce learning Det er og jeg.
• 32:15
  Jeg må indrømme Jeg har fået Sådan.
• 32:18
  Jeg er. Jeg er blevet Sådan lidt
• 32:20
  reenforce myt learning believer efter det her.
• 32:22
  Jeg ved ikke om Der er sket et eller andet.
• 32:23
  Der er et eller andet der klikkede ind i min hjerne efter
• 32:25
  det her, hvor jeg virkelig Sådan Det er vildt det her.
• 32:28
  Men det Der er med reenforce mad learning Det er at du behøver
• 32:30
  ikke nødvendigvis at have en differentierbar loss function du
• 32:34
  har ligesom bare et miljø som er meget, meget lidt
• 32:37
  differentierbart, men som ligesom som den ligesom bare
• 32:40
  skal adapte til og det det der ligesom.
• 32:43
  Det er ligesom det det det på en eller 2 måde, så føler jeg Det
• 32:46
  er med til at grounde den i noget virkelighed.
• 32:47
  Altså den er. Det Det er med til ligesom at
• 32:49
  grounde den i. Du kan ikke bare generere tokens
• 32:53
  altså jeg føler lidt at Det er en gammel mådtræning.
• 32:55
  Den er preference tuning, supervisning, instruction, chat
• 32:59
  tuning kald det hvad du vil. Det er en gammel mådtræning
• 33:01
  modeller på. Det var lidt den der studerende
• 33:03
  der havde læst op dagen før til den mundtlige eksamen og kom ind
• 33:05
  og bullshittet og var optimeret mod at fortolke ikke du ved
• 33:09
  snakke snakke snakke ikke du ved Det er lige meget om Det er
• 33:11
  rigtigt bare at jeg fortolke ikke det Det er de gamle
• 33:14
  modeller de nye modeller. De den går ikke.
• 33:17
  Fordi Det er ikke Det er ikke evalueringskriteriet du ved II
• 33:21
  på de nye modeller på de nye modeller der bliver de skudt
• 33:23
  ned. Der kommer de ind til en
• 33:24
  skriftlig eksamen. Det er den tunge reasing
• 33:26
  opgaver, og hvis ikke de får rigtig, hvis ikke de får et
• 33:29
  korrekt output, så er de fucked du ved så de bliver nødt til at
• 33:33
  lære det. De bliver sgu nødt til at lære
• 33:34
  det her stof for at altså de de de bliver nødt til at.
• 33:40
  Forstå problemet rigtigt for at øge sandsynligheden for at få.
• 33:46
  Det rigtige udfald for at kunne klare sig godt.
• 33:50
  Jeg ville lige indskyde til det der, og Det er jo ikke fordi at
• 33:52
  der ikke blev brugt. Ville du forestille learning til
• 33:54
  Sådan optimeringsproblematikken III de andre modeller, de andre
• 33:59
  almindelige modeller som vi kender i dag GBT 4 o chat GBT 4
• 34:06
  chat og så videre. De er alle sammen ved et forslag
• 34:09
  learning trænet. Forskellen er nok her at de er
• 34:14
  realforspil. Learning trænet med det her
• 34:16
  human. Feedback det vil sige human
• 34:19
  preference ikke de er trænet til at optimere mod
• 34:21
  menneskepræference. Så Det er de menneskelige
• 34:24
  præferencer, Der er cementerede i en 2 model end
• 34:27
  præferencemodel, som tillægger. Hvad kan man sige?
• 34:32
  Scoren? Var det her svar brugbart eller
• 34:35
  ikke brugbart, og det vil sige. Der er jo en form.
• 34:38
  For hvad kan man sige subjektiv vurdering af mennesker ind over
• 34:41
  til at klassificere putte som værende brugbar eller ej i
• 34:46
  forhold til de spørgsmål, der bliver stillet?
• 34:49
  Og Det kan man sige, at det altså nogle præferencer kan jo
• 34:53
  være reelle nok, men de kan også være hamrende forkerte hvis Det
• 34:57
  er korrekte svar man leder efter, og derfor så har man jo
• 35:02
  nok bare set, at det giver de her problemer selvfølgelig.
• 35:07
  De er ikke nødvendigvis faktuelle præferencer.
• 35:10
  Folk har til ting, Jeg synes den er grøn eller hvad.
• 35:13
  Hvad ved jeg? Og Det er derfor man ser de her
• 35:15
  modeller hallucinere og man ser dem man ser dem bare bullshit
• 35:20
  derudaf altså sige ting som om Det var rigtigt, og selvom det
• 35:24
  ikke er det ikke fordi de har ikke på noget tidspunkt i
• 35:26
  træningen. Haft incitament til at som du
• 35:30
  ved det her det det jeg bliver nødt til at det her bliver nødt
• 35:34
  til at være rigtigt for at Jeg kan løse det her problem, ikke?
• 35:36
  Man kan sige et menneske er noterer jo det her data
• 35:40
  præferencedata Der er med til at træne de her modeller, og Jeg er
• 35:43
  helt sikker på at åbner jeg i sin tid har lavet meget Sådan
• 35:45
  noget. Hvad kan man sige?
• 35:50
  Rehabiliterstjek på på det her data notering er der et
• 35:54
  sammenfald imellem flere individer, der har præference
• 35:58
  til det samme. Question andcer.
• 36:03
  Datapunkt men men altså Det er et rekursivt problem fordi hvem
• 36:07
  tjekker den der tjekker som der tjekker som der tjekker altså
• 36:11
  menneskeligt set det her stykke data.
• 36:14
  Og for ligesom at at at komme ud i en nu er det udtømmeligt.
• 36:18
  Det er bare det her, Der er det rigtige svar.
• 36:22
  Det vi og det vi i øvrigt er enige om det.
• 36:24
  Det er Sådan en det. Det kan man ikke rigtigt.
• 36:26
  Det er nogle andre. Hvad kan man sige statistiske
• 36:29
  metoder man bruger til ligesom at komme det rigtige sted hen og
• 36:34
  her der har vi noget miljø i form af.
• 36:38
  Dit python kode kunne ikke. Python party partyan.
• 36:44
  Unit testen kørte igennem. Det er forkert ikke hvad?
• 36:50
  Jeg kan læse her, at deres Sådan helt klart Det er Sådan helt
• 36:53
  konkrete deres reward modelling. Det er accrazy reward.
• 36:56
  Altså hvor du ved er det rigtigt fordi fordi man kan verificere
• 37:01
  om Det er rigtigt eller forkert, så kan man så kan man give et
• 37:03
  score for hvor hvor rigtigt noget er ikke og så er der også
• 37:06
  Sådan en format reward som er Sådan en du ved de de håndhæver
• 37:11
  at den skal. Når den tænker.
• 37:14
  Jeg tror også de intensiverer dem til at tænke faktisk Sådan
• 37:18
  så at de her. Ja men men de de altså.
• 37:20
  Det her med hvor mange tokens den skal producere.
• 37:23
  Altså. Før den svarer ikke.
• 37:26
  Men Sådan de de gør i hvert fald Sådan at de de straffer den,
• 37:29
  hvis den ikke har sine chan of through i de her thinks.
• 37:34
  Og hvis ikke den har svaret i de her anser tax.
• 37:37
  Og og og der der ser de i øvrigt også noget sjovt at de har Der
• 37:40
  er Sådan et mønster med, når de sætter den i gang med at træne
• 37:42
  de her rainforce ma learning setup.
• 37:44
  Så først så er længden af det der modellers tjener står Der er
• 37:49
  lang så bliver den meget lav og så går den op igen, så går den
• 37:52
  Sådan gradvist op igen i takt med at performance stiger så det
• 37:56
  det Der er Sådan tegn på at jo jo mere jo mere performance
• 37:59
  stiger, jo længere tid tænker den også hvis man kan sige altså
• 38:02
  jo længere bliver det og tjener for os ikke, hvilket er hvilket
• 38:05
  er interessant. Yes.
• 38:10
  Så nu har vi den her model her, den her defic zero.
• 38:14
  Og hvad er det så de gør? Fordi Vi er ikke færdige.
• 38:17
  Vi skal jo hen til dilipseq er et.
• 38:19
  Må man ikke lige fordi Der er nemlig nogle flere ting her.
• 38:22
  Det er i virkeligheden. Det er i virkeligheden her
• 38:23
  rigtig meget kødet er det andet. Det er ligesom bare Sådan en
• 38:26
  dip. Tak Det er bare Sådan en vild.
• 38:28
  Meget kød i det andet også. Ja, men men Det er mere Sådan
• 38:30
  en. Det er mere Sådan du ved nu.
• 38:32
  Det er mere Sådan en måske nu skal den her model også lige
• 38:35
  være lidt brugervenlig at bruge. Det er i virkeligheden mange af
• 38:38
  de, der virker som om findingsne bliver lavet i den der zero.
• 38:42
  Nåh anyways noget de så også finder ud af.
• 38:45
  Det er for det første at den her tjener store.
• 38:48
  Der er ikke nogen der har fortalt de her elemmer, at de
• 38:50
  skal tænke på en bestemt måde, eller Der er ikke nogen der har
• 38:53
  vist den. De her elementer noget som
• 38:54
  helst, og det opstår ligesom bare af sig selv det her change
• 38:58
  of thought ud af den her det her rainforce learning setup,
• 39:01
  hvilket i sig selv er. Ret fascinerende.
• 39:04
  Altså du ved det opstår ligesom simpelthen, bare fordi at Det er
• 39:07
  brugbart i forhold til at skabe et eller andet bestemt udfald
• 39:11
  givet en eller 2 opgavebeskrivelse.
• 39:13
  Det i sig selv er jeg fascinerende.
• 39:15
  Noget andet der også er rigtigt fascinerende.
• 39:16
  Det er at under den her træning så opstår ikke bare den her de
• 39:21
  her chain of though, men der står også der.
• 39:24
  Der opstår også det som de kalder for aha-mål the Award
• 39:27
  moment altså på et tidspunkt i træningen, så observerer man
• 39:31
  ligesom at de her. Modeller, der begynder opstå
• 39:33
  Sådan en selvreflekterende adfærd i de her de her
• 39:37
  tjenerforuds altså, hvor den modellen ligesom går igennem
• 39:40
  tænker tænker tænker altså Sådan siger den hov vent lige lidt.
• 39:43
  Der var jeg vist lige lidt forkert der.
• 39:44
  Jeg må lige tænke det igennem en gang til og så så du ved så den
• 39:47
  reflekterer hele tiden på sig selv, og hvis den hvis den, hvad
• 39:53
  skal man sige? Finder ud af at den den har er
• 39:55
  på vej ned ad en forkert sti, så retter den sig selv.
• 39:58
  For at kunne levere det korrekte svar, ikke?
• 40:01
  Hvilket man ligesom må jeg fortolker det som om at du ved
• 40:04
  den her selvreflekterende adfærd øger sandsynligheden for at du
• 40:09
  ved få det rigtige output. Altså så det bliver begynder at
• 40:12
  blive Sådan en sandhedssøgende og begynder at kunne reflektere
• 40:14
  på sig selv for at sikre sig og output er korrekt ikke og i
• 40:17
  virkeligheden. Så jeg mener også, at det her
• 40:19
  selvrefleksionsadfærd ting. Det er også Sådan en.
• 40:23
  Det er Sådan en tjenerdugt promting teknik også, altså før
• 40:26
  man er begyndt at det begynder at opstå af sig selv i
• 40:29
  modellerne. Så har det også været Sådan
• 40:30
  noget man har observeret at OK hvis man tvinger de her agenter
• 40:33
  modeller til at lige og reflektere over om Det er det
• 40:36
  rigtige de har gjort, så har de mulighed for at øge performance.
• 40:38
  Ikke så, så det synes jeg også bare Det er meget fascinerende
• 40:42
  det her synes jeg, og Det er det der viser der der viser man der
• 40:47
  synes jeg det. Det er der, hvor for mig Der er
• 40:49
  den her. Det det her, hvor det for mig
• 40:53
  fortæller mig, at du bliver en forcemand learning.
• 40:54
  Det er en game changer i forhold til.
• 40:57
  Supervis fine eller Sådan supervisning, fine tinging og
• 41:01
  især reinforce Midtjylland learning i forhold til det her
• 41:02
  med at sikre at modellen skal sikre, at der kommer nogle
• 41:06
  bestemte udfald. Det Det er Sådan en helt helt 2.
• 41:12
  Helt 2 paradigme i forhold til at træne de her modeller end end
• 41:16
  man før har gjort, og Det er noget der tvinger modellerne til
• 41:19
  at være Sådan. Altså at.
• 41:21
  Tænke nogle gode tanker, og du ved gøre det altså Det er noget
• 41:25
  der tvinger modellerne til at gøre det rigtigt.
• 41:30
  Og det også når man kigger Sådan på historikken i forhold til
• 41:32
  deep learning og Sådan noget, så har historikken altså ligesom
• 41:35
  bare været at. De der modeller.
• 41:38
  De lærer sgu det du træner dem til, og de bliver bedre hvis du
• 41:42
  skalerer mængden af data. Og hvis du skalerer størrelsen
• 41:45
  på dem ikke, så er det det jeg mener ved der Der er Sådan en ny
• 41:48
  skaling. Det ved jeg ikke om man kan
• 41:50
  formulere det, men Der er bare Sådan en Der er ligesom om Der
• 41:52
  er blevet lagt nogle skinner her fra mig, i hvert fald i mit
• 41:54
  hoved som. Som, Der er blevet lagt nogle
• 41:57
  skinner indenfor det her. Altså område hvor at du kan du
• 42:01
  kan skalere det her på en måde fordi du har de her.
• 42:04
  Hvad kan man sige automatiske verifikationer af af de her
• 42:07
  reasningproblemer? Så tror jeg egentlig at det Det
• 42:10
  er det der skalerbart hvor at at at hvad kan man sige?
• 42:14
  Du kan ikke live. Altså du ved det her.
• 42:17
  Det sker jo ved træning. Du kan ikke sætte nogen
• 42:19
  mennesker ned under træningstidspunktet til at
• 42:22
  stoppe hjælpe et resultat fra modellen lige viste til en
• 42:26
  bruger og så sige kør videre. Det er det her Der er relevantne
• 42:29
  og så gå igennem loppet, Det kan man jo ikke.
• 42:32
  Og Det er jo mange brugere. Så derfor har man.
• 42:34
  Hvad kan man sige? Den har været hvad fiation at
• 42:37
  kunne få den så tæt ind på et realforce loop.
• 42:39
  Det har jo ikke været muligt. På samme måde jo via en en
• 42:43
  trænet model, der så giver den her abort, men den er jo
• 42:46
  uundgåeligt, også usikker og usikkerhed har man bare altså
• 42:51
  Det er bare. Du skal bare minimere usikkerhed
• 42:53
  i de her loops her, fordi Det er støj og det det giver dårligere
• 42:58
  modeller, så den her form for sikkerhed du får i at jamen
• 43:03
  altså Der er ikke nogen Der er ikke nogen falske positiver når
• 43:06
  du når du kører. En python presser igennem noget
• 43:10
  noget kolon og finder ud af det her er ikke python kode og så
• 43:14
  afviser det og siger det her er ikke python kode.
• 43:18
  Og Det er der Der er ikke det. Der er ikke nogen falske
• 43:20
  negativer i det, så det fordi du kan aldrig nogensinde nå ud i en
• 43:23
  falsk negativ på den reward og det vil sige du får bare super
• 43:27
  godt loop, så Det er jo det der gør at at at den altså det de
• 43:33
  exceller i de her reasing task, men det nu skal vi lige nævne
• 43:36
  det også fordi Vi skal videre her.
• 43:39
  De skriver jo også lige i den her gennemgang her.
• 43:42
  Den er jo netop så rigtig god til visning og ikke en skid
• 43:45
  andet. Og Det er jo fordi den der 20.
• 43:47
  super godt til det. Og Det er jo faktisk også det
• 43:51
  Jeg kan mærke Jeg har. Jeg synes Det er rigtig
• 43:54
  spændende lige det her sted synes Jeg er rigtig spændende.
• 43:57
  Og nu har jeg glemt, hvad jeg ville sige.
• 43:59
  Der var et eller andet Jeg vil sige til, men det kommer vi
• 44:01
  sikkert ind på efterfølgende. Jo OK fordi lad.
• 44:03
  Os tage det næste step. Fordi lad os gøre det, vi
• 44:05
  starter om den her ar one zero, som i virkeligheden er en gammel
• 44:07
  model og så videre, men som bliver.
• 44:09
  Hvor det her ligesom bare opstår den her reasing jeg bare opstår
• 44:12
  i det her reenforce mel learning with very 4 walts.
• 44:16
  Det opstår bare, hvilket er ret vildt.
• 44:18
  Et problem de ligesom har med den her model.
• 44:20
  Det er at den er Sådan lidt bøvlet at bruge fordi den du ved
• 44:24
  når man kun har en hammer så er alt lidt søm ikke kan man sige
• 44:27
  og Det er det altså. Du ved når du kun har en
• 44:29
  resingemodel, så er alt reasing problemer ikke hvor nogle gange
• 44:33
  så vil du jo bare gerne det tror jeg også der var mange der
• 44:36
  oplevede med overen prev at Sådan du ved uanset hvad hvor
• 44:40
  simpel en opgave så tænk den bare i fucking lang tid ikke
• 44:45
  altså. Så Der er noget og og og de og
• 44:48
  der så de oplever at. Den er ikke så god den her model
• 44:52
  til de der bare Sådan helt dagligdags chatbot
• 44:54
  interaktioner. Det er den ene ting den 2 ting
• 44:57
  Det var at der Det var Sådan ret ustabil tjener for den leverede.
• 45:02
  Nogle gange kunne den bare switche language, fordi Det er
• 45:04
  jo ikke vigtigt. Det er jo ligesom bare opstået
• 45:05
  det her under træningen. Du ved, Det er jo ikke
• 45:07
  nødvendigvis human real det der kommer ud, Det er ligesom bare
• 45:11
  det, den finder ligesom bare selv ud af det ikke hvad Der er
• 45:13
  hvad Der er brugbart for den til at løse det, og Det er også det
• 45:16
  der gør det. Nu begynder det at blive
• 45:17
  autonomt ikke, og Det er også Sådan at være alpha go og Sådan
• 45:19
  noget, hvor det begynder at blive Sådan.
• 45:20
  OK nu optimerer de hen mod nogle løsninger som vi ikke fattede,
• 45:25
  og Jeg tror også Det er det der Jeg tror.
• 45:26
  Det er derfor at openna og jeg de begyndte at snakke om Sådan
• 45:29
  noget med de her modeller. De skal udvikle en ny videnskab
• 45:32
  altså Det er en ny science de skal lave det her fordi man får
• 45:34
  den her opførsel hvor? Du ved.
• 45:38
  Det bliver bare bliver beundt på en.
• 45:40
  Eller 2 måde kan man sige, hvis man gerne vil constraint den til
• 45:42
  at de skal producere tokens, der rent faktisk også er er er
• 45:45
  sprogmæssigt syntaktisk korrekt, så kunne det være man også
• 45:48
  skulle ligesom verificere visningstene.
• 45:52
  Hov det her, Det er ikke dansk eller det her.
• 45:54
  Det er ikke engelsk eller det her.
• 45:55
  Det er ikke syntaktisk korrekt, men hvis man lige undlader at
• 45:59
  revorte dem på på, hvad kan man sige de her det her reasning
• 46:02
  step på på det. Og så der kan man diskutere om
• 46:06
  om Det er noget af det man bare skal have.
• 46:07
  Altså det ja producerer du bare et eller andet generøst tog ham
• 46:12
  men men måske man gerne vil have at de her reasning steps er
• 46:16
  fornuftigt bygget op, og Det er jo så Det er jo så det næste.
• 46:20
  Det er nemlig det næste de gør, fordi det de gør helt klart.
• 46:23
  Det er at når de så ligesom går i gang de tænker OK den er meget
• 46:25
  fed den her model, men den er lort at bruge altså.
• 46:29
  Så Det er de helt klart helt Sådan kort sagt gør Det er at de
• 46:31
  laver det der hedder en colstart de de laver Sådan en colstart
• 46:35
  opstart af den den her visningproces hvor at de ligesom
• 46:39
  starter med at indsamle Sådan i tusinder altså Sådan ikke særlig
• 46:43
  mange eksempler af Sådan nogle tjenerfudes som er
• 46:46
  velformatterede og som er lavet af mennesker og som ligesom ja
• 46:50
  som de ligesom bruger som eksempler på hvordan modellen de
• 46:55
  gerne vil have modellen opfører sig.
• 46:56
  Yes og det bruger de så de her eksempler til at lave Sådan en
• 47:01
  supervised. Find tuning.
• 47:03
  Er modellen, så de træner bare den her base model til at opføre
• 47:06
  sig Sådan. Jin of thought agtig i forhold
• 47:09
  til de her 1000 par tusinder af eksempler de har.
• 47:13
  Fordi det her det vil jeg kalde for modeldestilling.
• 47:18
  Fordi at de producerer jo det her data fra den her.
• 47:24
  I run sero. Og så filtrerer de.
• 47:28
  Jeg forstår det i det data for ligesom at finde et subset af
• 47:32
  det som er det her. Det er sgu Det er sgu fornuftige
• 47:35
  rasning. Så de de laver det ikke manuelt
• 47:38
  de de genererer bare noget med afbrændingero, og så tager de
• 47:41
  eksempler som er gode og så og så er der human reabable og så
• 47:44
  bruger de dem altså. Det at se her Det er Det er en
• 47:47
  interim resing modelling, siger de.
• 47:50
  De har Sådan nogle Sådan. De her co-start visningdata som
• 47:56
  er 4 founcent, og så genererer de det her kandidat visningdata
• 48:01
  set som er Sådan 3 mio. Eksempler og så filtrerer de det
• 48:05
  ned igen til 600.000 eksempler. Så man kan sige ja de bruger det
• 48:12
  her codestart data til ligesom at lige at få den i gang.
• 48:15
  Men, men i øvrigt så er vi jo Der er vi jo.
• 48:19
  Nu får jeg lige læst lidt nærmere, fordi der tror jeg
• 48:21
  nemlig jeg fik sagt noget forkert, fordi Sådan som jeg
• 48:23
  læser det her flow charts, så er det faktisk tilbage til dilipse
• 48:26
  p 3 base modellen, hvor de bruger det her CK start visning
• 48:29
  data med et par 1000 men hvor kommer det der koldstart visning
• 48:33
  data med et par 1000 så fra Det er ikke.
• 48:36
  Helt Det er det jeg ikke helt heller ikke helt forstår.
• 48:38
  Jeg forstår ikke helt om Det er genereret er ar one zero eller
• 48:41
  en 2 visningsmodel. Eller noget som manuelt er
• 48:44
  produceret mennesker. Det var nemlig det jeg lige
• 48:45
  troede at Det var og Det kan godt være det.
• 48:48
  Så er det co-startdata ikke er genereret fra det, men Jeg tror
• 48:51
  altså det. Det nu skal jeg lige se her nu
• 48:55
  læser jeg lige direct ypromy models 2 genery detail antiz's
• 48:59
  with ref reflection and verification catherin deep tech
• 49:02
  i one zero outputs, interlebro format and re fining 2 resultse
• 49:06
  through post process and by human anythaler.
• 49:09
  Så det lyder som om at postartdata er genereret ud fra
• 49:12
  den og Der er noget menneskelig annotering inde over og det vi
• 49:16
  snakker om. Vi snakker om Sådan 5000
• 49:19
  eksempler som bliver til de her 3 mio.
• 49:24
  Når vi når vi beder basemodellen om at generere flere af de her
• 49:28
  ting her. Eller hvad?
• 49:31
  Ja Det kan jeg ikke helt som jeg forstår det.
• 49:33
  Der er lidt usikkerhed omkring hvordan de her Sådan eksempler,
• 49:36
  altså der bliver i hvert fald man restarter ligesom.
• 49:39
  Og så siger man nu tager vi går vi tilbage til basemodellen, så
• 49:42
  laver vi nogle Sådan, så vi glemmer lige i one zero.
• 49:46
  Vi går tilbage til basemodellen, så får vi fat i nogle nogle få
• 49:50
  1000 høj kvalitetstjenester ford hvad skal man sige, samtaler
• 49:54
  eller ja? Dem tager vi så, og så træner vi
• 49:59
  så fine tuner vi base modellen på dem, fordi så får vi en base
• 50:03
  model der Sådan er in the mode kan man sige i forhold til de
• 50:06
  her reasingopgaver, så den ligesom har en form for
• 50:09
  udgangspunkt. Og altså opgaven er her at det
• 50:14
  her. Det handler bare om at generere
• 50:15
  syntetisk data i høj kvalitet. Den den næste fine tuning, det
• 50:20
  det det hele handler om altså. Ideen er ligesom, at de kan sige
• 50:22
  OKI stedet for bare at starte for en helt rå fase model.
• 50:24
  Så prøver vi lige at tage en base model findune lidt Sådan,
• 50:27
  så vi hjælper den til på vej til at starte med.
• 50:30
  Bliver den noget bias mod rent faktisk at lave?
• 50:33
  Reasing data som menneskene kan forstå.
• 50:36
  Så har vi den som udgangspunkt det næste de gør.
• 50:39
  Det er så, at de tager den tager den her model, som er blevet
• 50:41
  fine tunet på reasing data, så putter de den ind i Sådan et
• 50:46
  altså reenforcement learning. De kalder det for reasning og
• 50:49
  reinded rein reasning arre end reinforcement learning.
• 50:52
  Det er det jeg kalder for oald wear rein forstand learning with
• 50:55
  verifyble rewards som kommer fra.
• 50:58
  Jeg tror Det er national lambert, der har for alle ear
• 51:01
  Institut der har. Gjort mig opmærksom på det.
• 51:03
  Bare lige for at sætte nogle skud ud.
• 51:04
  Han var iøvrigt i lect Street, men den skal man virkelig høre
• 51:06
  op, hvis man er interesseret i din ekstra dit dipe på den her.
• 51:11
  Og så har de så de putter den ligesom ind i den her rainforce
• 51:13
  midt learning maskine, hvor den løser verificerbare opgaver og
• 51:17
  så laver de noget language consistenty reward altså Sådan
• 51:22
  så den ligesom bliver. Belønnet for at holde sig i det
• 51:25
  samme sprog altså Sådan så den ikke skifter om til kinesisk og.
• 51:28
  Ikke Det var det vi lige snakkede om der at at at inden
• 51:32
  inden for sin reasning tokens den genererer også lige skal
• 51:35
  opføre sig ordentligt. Det er ikke kun et resultatet,
• 51:37
  Der er vigtigt. Det er også lige vigtigt, at der
• 51:39
  at det rent faktisk. Ja som du siger ikke springer i
• 51:42
  sprog, og fordi den har jo, hvad kan man sige?
• 51:45
  Den er jo constrained det her rinforce learning loop Der er
• 51:48
  dens environment constrains jo Jeg har de her tokens Jeg kan
• 51:51
  bruge. Det liste af toast.
• 51:55
  Og dem kan den bare spytte ud af som den har lyst til ikke.
• 51:58
  Og Det er måske ikke lige alt den skal have lov til, så den
• 52:01
  skal lige constraines lidt mere på det environment ikke ja OK.
• 52:09
  Så. Ja så det vil sige, så har man
• 52:12
  ligesom 1 1 1 rising model som er blevet bedre end au and zero
• 52:16
  så vidt jeg forstår det altså den der gavner den ligesom at få
• 52:19
  den her cold start spark i gang kan man sige.
• 52:22
  Problemet er og og så hvor du bruger den her længde wall ting
• 52:26
  Sådan Sådan så den ligesom holder sig indenfor det samme
• 52:29
  sprog, når den taler og så videre eller tænker så Det er
• 52:31
  fedt. Problemet er så bare at du har
• 52:34
  stadig en visningmodel som er rigtig god til reasning, men
• 52:36
  super dårlig til alt andet. Og og Der er det jo så at.
• 52:42
  De Det er det step Der er den her general real forspil
• 52:46
  learning som hvor at de siger vi mikser simpelthen de her
• 52:50
  generelle proms og reasning Trumps ikke altså hvor de hvor
• 52:54
  vi simpelthen siger jamen Der er 2 forskellige former for input
• 52:58
  Der er. Her der eksemplificerer de med
• 53:02
  Sådan noget oversæt det her tekst eller skriv noget sjovt om
• 53:07
  et eller andet ikke? Og opfører dig Sådan lidt.
• 53:12
  Bla bla bla sjovt hvor at at Det er igen der hvor at hvordan
• 53:18
  siger man at den er gået den rigtige eller den forkerte
• 53:20
  retning? Altså Der er vi lidt tilbage til
• 53:22
  den den samme er Det er det healtfull svar er det du ved de
• 53:27
  her alignement typer Jeg tror de skal der står Sådan noget med
• 53:31
  safety reward model and healthness, reward model og
• 53:34
  forskellige reward modelsles der kan give den nogle point for.
• 53:38
  Er det her nu det man gerne vil, og så er det den type rewards
• 53:42
  man bruger på den type af input. Træningseksempler og nogle andre
• 53:48
  typer af. Vort, altså de her realbaserede
• 53:52
  verifyers på visning input og lige præcis det der element der.
• 53:58
  Der der Der er jeg Sådan Det er fandeme godt tænkt Det er
• 54:03
  fandeme godt tænkt og. Hvorfor er det godt tænkt?
• 54:07
  Det synes jeg bare altså. Det synes jeg bare Det er godt
• 54:10
  tænkt at. At det ikke er Sådan one reward
• 54:13
  model rults roles dem all. Det er jo klart at du altså hvis
• 54:19
  du går til din matematiklærer ikke og og du Sådan er det her
• 54:25
  korrekt, så kommer der nogle og kigger på det.
• 54:28
  Det der det ved du hvad det synes jeg sgu ser meget godt ud.
• 54:31
  Nej nej er Det er det korrekt. Er det Sådan er det matematisk
• 54:35
  korrekt. Det ved jeg ikke, men Jeg synes
• 54:36
  det Jeg synes Det er flot det der.
• 54:39
  Det er Sådan, og du ved Sådan. Du ved Sådan det.
• 54:46
  Det er Sådan lidt mere blødt det.
• 54:48
  Det ser jeg sgu meget godt ud. Det der ikke, altså Det er der
• 54:50
  hvor man kan få. Man kan få hallucineringer hvor
• 54:53
  at jamen det det ser da rigtigt nok ud.
• 54:57
  Det er bare rigtigt. Og og og og det prøver vi så at
• 55:01
  undgå her. Med de der regelbaserede ting.
• 55:05
  Og ligesom dele det op på den måde.
• 55:07
  Jeg synes bare det. Det er rimelig smukt set at Der
• 55:09
  er forskellige spørgsmål, kræver forskellige verifikations.
• 55:13
  Hvad kan man sige? Modeller og og løsninger og det
• 55:18
  det tror jeg det paradigme, at man man er nødt til at se.
• 55:25
  Problemstillinger med forskellige briller på
• 55:27
  revolardsiden i forhold til hvad Det er for nogle typer inputs.
• 55:31
  At man begynder måske at klassificere sit træningsdata
• 55:34
  mere præcist i de der forskellige typer input.
• 55:37
  Det tror Jeg har en. Det er noget, Det er noget jeg
• 55:40
  godt kan se kommer til at have en kæmpe kæmpe kæmpe effekt.
• 55:44
  Så så det ligner ud med her, og Det er så en model Der er på
• 55:47
  niveau med openyce over one model og som også altså så du
• 55:53
  ved de mixer ligesom til sidst det hele det her reenforce
• 55:55
  learning både med præference-tyveningen arrelay
• 55:58
  chef, god gamle help thumness hamlet hampulness.
• 56:01
  Og så det her resing paradigme kan man sige, og så får de altså
• 56:05
  en model, som som de som jeg går ud fra, Det er den de server i
• 56:09
  diepsey chatten, som jeg i øvrigt ikke selv har prøvet.
• 56:12
  Og så både den og Sådan som de også har open source ikke som
• 56:17
  også er en helt hæderlig model rent faktisk at bruge, og som
• 56:20
  man kan forstå hvad den tænker og Sådan noget.
• 56:23
  Det der med at alt det her. Det var jo ikke særlig
• 56:25
  kompliceret og Det har jo kostet 5 kr.
• 56:27
  Ikke også. Og Det er bare Sådan.
• 56:31
  Det er jo sygt mange forskellige modeller og steps og Sådan nogle
• 56:34
  ting der. Og det og man skal huske de der
• 56:36
  de der 5 kr. ikke eller de der 5 og de der 5,5 mio. dollars som
• 56:40
  de estimerer i paper Det er Det er.
• 56:45
  Det er hvad fanden er det den hedder jeep seag lee tree tror
• 56:49
  jeg den hedder Det er den model. Så det vil sige Det er Sådan en
• 56:52
  GPT 4 OGT 4 agtig model som er du ved preference 7 og orade og
• 56:56
  Sådan noget. Det er i øvrigt slet ikke med
• 56:58
  her. Den er slet ikke med her, så Det
• 57:00
  er Sådan. Det er også Sådan lidt.
• 57:01
  Hvad er det de helt mener? Men men det der så er med det
• 57:04
  Det er at de har lavet en del innovation i forhold til de har
• 57:07
  fået, altså de har været helt nede under kundahl og hack fordi
• 57:13
  de har efter sigende kun har Sådan nogle h 800 GPU er.
• 57:17
  Altså de er virkelig Sådan OK nu hacker vi bare det her til at gå
• 57:19
  hurtigt, ikke? Det er i.
• 57:21
  Øvrigt noget som jeg kommer til at kigge lidt med nærmere på det
• 57:24
  næste stykke tid, fordi at ja undskyld jeg afbryder Der er den
• 57:28
  gode Chris ladenner som er compiller guruen med alle hos
• 57:34
  hos mocheller som er i gang med at lave det her mojo, som er et
• 57:37
  supersæt af python og som jeg stadigvæk er spændt på en dag.
• 57:41
  Jeg skal lære mig selv at bruge. Anyways han.
• 57:46
  De har været ude at sige her, kan i se hvorfor at Det er
• 57:50
  vigtigt ikke at være log-in på invittig og deres cooter ting,
• 57:54
  fordi man kan få mere value og mere juice ud af de her GPU er,
• 58:00
  hvis man tillader sig at gå. Jeg lover level når man skal når
• 58:05
  man skal når man skal fikse ting og ikke vil altså være afhængig
• 58:09
  af cooka interface, som er det her programmeringssprog til til
• 58:12
  en vis GPU er. Og Det er noget af det, som de
• 58:17
  ligesom gerne vil hos modiller igennem det her moture
• 58:20
  programmeringssprog. Det er, at de vil simpelthen
• 58:22
  gerne have compiler til GP er Der er hvad kan man sige
• 58:26
  arkæologiske overfor hvad for en venter Det er og hvad for et
• 58:29
  propertært sprog man skal bruge det her coda her og Sådan.
• 58:33
  Puha det Det er Sådan noget de Det kan de slet ikke lide og
• 58:36
  linux foundation er også hader jo total invittigheder på grund
• 58:40
  af det der coudas show der ikke. Jo, men Det har stadigvæk haft
• 58:43
  succes, og Det er jo en form for monopol en video har så i og med
• 58:46
  at Der er nogen der også på en eller 2 måde udfordrer det der
• 58:50
  koda og som Jeg tror i øvrigt at det det dør på et tidspunkt
• 58:54
  fordi at det Det er så vigtigt lige nu at have noget der
• 58:59
  performer godt i arispacet og at når man kan få bedre performance
• 59:04
  ved at spegepasse nogle kutter ting.
• 59:07
  Og vise at det virkelig, virkelig batter på det store så
• 59:10
  så så taber man bare. Fra en video af side, så vil vi
• 59:13
  gerne have at de har taget, men det der software Det er at du
• 59:16
  smider ovenpå. Sclue Vi har noget Der er bedre
• 59:20
  vi vi vi vi sætter Vores lid til moderne compiler teknologi til
• 59:24
  det der i stedet for. Jeg ser hele den der øvelse de
• 59:26
  har lavet altså de har også haft noget de har noget innovation på
• 59:28
  og mixer og eksport og jeg ved ikke hvor meget innovation Det
• 59:31
  er fordi de Der er mange der snakker om det og de er bare så
• 59:33
  effektive og har gjort det mega billigt og Sådan noget.
• 59:35
  Vi ved jo ikke hvad de gør i Europa bananer ej vi ved ikke
• 59:37
  hvad de gør i Google. Vi ved ikke hvad de gør nogle
• 59:39
  steder og så de sammenligner måske med lama eller et eller
• 59:42
  andet som og meta og langt fra frontier på det her ikke?
• 59:45
  Jeg. Har den der base model kostede
• 59:47
  printræning. Printræning er jo ikke ikke?
• 59:49
  Billigt altså det Jeg tror Det er den fordi vi 3 den er jo også
• 59:53
  lavet ovenpå den her base model og Jeg tror Det er den den har
• 59:55
  kostet Sådan en 5 mio. eller Sådan noget.
• 59:58
  Den har kostet 5 minutter. Svarende til.
• 1:00:02
  Men så også der hvor de har lavet de her. 8 bit floing point
• 1:00:07
  eller hvad Jeg kan ikke eller de har hacket.
• 1:00:09
  Nogle GPU er i hvert fald og kommet undercooter lavet, og så
• 1:00:13
  har de, og det ved jeg ikke hvad det aner jeg ikke, hvad de har
• 1:00:15
  gjort der helt konkret, men så har de lavet noget de har lavet
• 1:00:18
  noget 1 1 1 effektiv mixture of expert arkitektur med Sådan
• 1:00:23
  noget load balling-ting mellem ekspert og Sådan noget som
• 1:00:25
  skulle være meget effektivt. Og så havde de også lavet noget
• 1:00:29
  attention halløj. Du ved, hvilket jeg tænker Sådan
• 1:00:31
  OK er det så vildt, men Det er det så åbenbart i guess.
• 1:00:35
  Men Det er noget med at Det er nogen det de er nede i nogle de
• 1:00:39
  bruger noget andet end end end 16 og 32 bits som det ved jeg
• 1:00:44
  faktisk jeg Det er Sådan et eller andet de ud med at bruge
• 1:00:47
  nogen instruktioner som som man ikke ellers plejer at bruge.
• 1:00:50
  Gået længere, end de fleste er villige til at gå for at få det
• 1:00:55
  her til at gå et chip og. Og man skal tænke på.
• 1:00:58
  Jeg tror måske også man kan forestille sig, at nogle af de
• 1:01:00
  der store laps du ved som bare har rigtig, rigtig, rigtig mange
• 1:01:03
  GPU er de Sådan du ved de svømmer bare eller Sådan de.
• 1:01:06
  De har fokus i et helt andet sted.
• 1:01:07
  Det er Sådan noget post træning pragtæning Sådan hvordan ja nå.
• 1:01:12
  Ved du hvad? Vi har snakket en hel time om
• 1:01:14
  det her, og Jeg synes, Vi er nået ret godt rundt om det.
• 1:01:17
  Bare lige en hurtig interessant afslutning.
• 1:01:19
  Er det OK? Ja, Det er selvfølgelig er det
• 1:01:22
  skal bare være hurtigt. Hvad hedder det?
• 1:01:24
  De har lavet nogle deciderede versioner af den her model også
• 1:01:26
  som ligger ude på på nettet og der har de fundet ud.
• 1:01:30
  Der har de først prøvet Sådan at sige OK fedt nok.
• 1:01:32
  Så tager vi bare de her små modeller og du ved blæser dem
• 1:01:35
  igennem med det her reenforce learning ting, og derfor har de
• 1:01:38
  faktisk fundet ud af at det fungerer bedre at generere en
• 1:01:42
  masse reasning data med de store modeller og så bare supervis
• 1:01:45
  fint-hune de små modeller. På det og ikke-comy en
• 1:01:49
  forestilling på de små. Så Det er jo bare grineren, men
• 1:01:52
  Det kan man også prøve. Ja anyways det man kan
• 1:01:55
  forestille sig. Det er det som de har gjort med
• 1:01:57
  over en mini og o mini og så videre, så så Det var lige
• 1:02:00
  krøllen på halen der. Ja.
• 1:02:06
  Fedt mand Det har. Vi tid til ugens rapport, eller
• 1:02:08
  hvor er vi jamen. Det er jo nemt nok at jeg tænkte
• 1:02:10
  hvis. Nu må jeg så lige give en 2 bare
• 1:02:13
  lige hurtigt sidste krølle det her.
• 1:02:16
  Jeg ser det her som et helt nyt paradigme i, hvordan vi træner
• 1:02:19
  lars ling with models. De kan ikke snyde mere, de kan
• 1:02:21
  ikke hallucinere mere. De kan ikke bullshit mere, de
• 1:02:23
  bliver mere og mere tvunget til at levere nogle ordentlige svar,
• 1:02:27
  og de det her kommer til at blive for vildt altså der der.
• 1:02:31
  Jeg har set meget for eksempel på på den her rainforce
• 1:02:34
  belønning setup, hvor at de her modeller bruger tools også du
• 1:02:38
  ved det, så vidt Jeg kan forstå, så begynder man at se det i deep
• 1:02:41
  research som opening og jeg lige har udgivet her.
• 1:02:44
  Og du ved. Hvad sker der, når de her ting
• 1:02:46
  begynder at bruge tools og begynder at kunne blive agente
• 1:02:48
  og Sådan nogle ting og begynder begynder at bruge det her til i
• 1:02:51
  agent set ups i virkeligheden så er den eneste bottende eller en
• 1:02:55
  af de bottlex jeg ser på det her.
• 1:02:57
  Det er hvor gode er vi til at hvor kreativ er kreativ er vi
• 1:03:00
  til at kunne finde på verafil rewards eller opgaver, og hvor
• 1:03:06
  gode er vi til at producere dem? Enten syntetisk eller vi sætter
• 1:03:10
  Vores software Sådan, så de bliver lokket, bliver lokket
• 1:03:12
  nogle ting og Sådan noget. Og måske kan vi altså.
• 1:03:15
  Måske er det her en en bootstrapping øvelse Vi er ude i
• 1:03:18
  Sådan, så når vi når til et punkt, hvor vi måske har en en
• 1:03:21
  model altså destilleringen kunne også foregå i Sådan en studen
• 1:03:25
  teater. For eksempel Sådan klassisk.
• 1:03:28
  Der er mange ting, men Jeg tror, du har ret, og Jeg tror at.
• 1:03:33
  Jeg tror at især. Ja Jeg kan jo godt lide at kode,
• 1:03:37
  så Jeg tror jo bare at de er pisse gode til at kode og Jeg
• 1:03:42
  tror at blive bedre og bedre og Jeg tror at man kan man kan
• 1:03:45
  lave. Man kan verify kode virkelig,
• 1:03:49
  virkelig, virkelig præcis og det vil sige man kan verify på mange
• 1:03:52
  forskellige abstraktionsniveauer, og det
• 1:03:54
  betyder også at man kan verafe på nogle abstraktionsniveauer,
• 1:03:57
  Der er meget høje, hvilket betyder at vi snakker.
• 1:04:01
  Applikationen, slutprodukter. Ikke lige præcis, og Det kan
• 1:04:05
  også være du ved regeringen 1000 dollars.
• 1:04:07
  Pensioner og Det kan. Være tjent 1000 dollars.
• 1:04:10
  Det kan være 100 for 100 likes kunne være LinkedIn og Sådan
• 1:04:12
  noget ikke. Altså du ved man kan jo godt
• 1:04:14
  blive kreativ i forhold til hvad de her fine rewarter er, ikke?
• 1:04:19
  Packages Vi har snakket om II. Pentast både det her system ned
• 1:04:23
  hack det her system for eksempel ikke eller updates billedity og
• 1:04:26
  et eller andet ikke. Der er mange ting, så Jeg tror
• 1:04:29
  også det bliver det bliver det bliver en ny ting, og hvor langt
• 1:04:34
  man kan strække det til forskellige typer problemer
• 1:04:36
  bliver interessant. Men Vi skal også huske, at Vi er
• 1:04:40
  i begejstringstidspunktet nu omkring det her, og det betyder
• 1:04:43
  også, at Der er mange ting, vi ikke har set endnu, fordi de er
• 1:04:46
  blevet gennembanket af brugere de her, så der skal nok komme
• 1:04:50
  noget. Jeg oplever selv noget engang
• 1:04:53
  imellem med med. Med over one at.
• 1:04:57
  Hvor jeg tænker hvorfor har du tænkt i næsten et minut og givet
• 1:05:01
  mig det her? Det var da virkelig sølle, og
• 1:05:03
  Jeg er faktisk mere tilfreds med det jeg får over på 4 o og det
• 1:05:07
  går virkelig meget hurtigere, så Der er også nogle traitupps i
• 1:05:11
  det der. Og ja Det er nogle man skal være
• 1:05:13
  opmærksom på hvad Det er for nogle problemer de er gode til
• 1:05:15
  og hvad Det er for noget de ikke er så gode til.
• 1:05:18
  Helt sikkert, men så det der Det er noget nyt det her, selvom det
• 1:05:21
  ligner det gamle. Det ligner gammeldags eller som
• 1:05:23
  bare er chan of Trump. Det er det ikke.
• 1:05:25
  Det er noget nyt. Og det bliver vildt, tror jeg.
• 1:05:28
  Kan du se den her bag mig? Yes.
• 1:05:30
  Er du klar? Så er det tid til.
• 1:05:36
  Republik og Jeg har et replow med til dig Jonas, som du jo
• 1:05:39
  faktisk ikke kender på forhånd. Nå?
• 1:05:41
  Det var da dejligt. Men Det er faktisk.
• 1:05:43
  Det er faktisk. Vi skal bare fortsætte os Sådan
• 1:05:45
  med at snakke om de her reasingmodeller, fordi det
• 1:05:47
  handler om det. Yes.
• 1:05:52
  Ej men Det er Det er et republik der hedder tiny zero er en PHD
• 1:05:56
  studerende der hedder JI pan fra burtley, som har lavet et
• 1:06:04
  eksperiment med de her reasingmodeller som er ret
• 1:06:06
  interessant og som Jeg synes virkelig.
• 1:06:10
  Stiller og rejser nogle interessante spørgsmål i forhold
• 1:06:12
  til den her metode her. Det han har gjort, Det er han
• 1:06:15
  har taget en han han. Han sælger den ligesom med at
• 1:06:19
  han har. Han har reproduceret diep seaks
• 1:06:22
  a ham moment for 30 dollars. Det siger han så det han har
• 1:06:27
  gjort, Det er, at han har ligesom haft Sådan nogle opgaver
• 1:06:31
  der altså Sådan du ved. Han har haft 2 typer matematiske
• 1:06:34
  opgaver. Han har haft Sådan en
• 1:06:37
  multiplikationsopgaver og noget der hedder countdown opgaver den
• 1:06:41
  her countdown opgave. Det går ud på at der bliver
• 1:06:44
  givet en eller 2 liste af integs og så skal.
• 1:06:48
  Hvad skal man sige modellen ligesom lave et eller andet
• 1:06:51
  regnestykke ved de her entagers som giver et bestemt resultat.
• 1:06:54
  Altså Sådan og så multiplikation Sådan 2 hyper specifikke
• 1:06:58
  matematikopgaver. Det som den her PHD studerende
• 1:07:02
  så gør Det er at han tager en 3 b eller en lille m med 3 mia.
• 1:07:08
  parametre og så putter han den ind i det her Sådan et
• 1:07:11
  reenforcement learning with verifitel rewards setup og
• 1:07:17
  træner den ligesom til at løse de her de her små
• 1:07:21
  matematikopgaver og der får han der får han der lykkedes det ham
• 1:07:25
  ligesom at replikere det her. Self verification.
• 1:07:30
  Fænomen som de opdager eller Sådan observerer i det her i one
• 1:07:34
  paper, altså den her det her den her adfærd, hvor at de begynder
• 1:07:39
  at tænke og. Reflektere over og rette sig
• 1:07:44
  selv. Det du mener Det er at de
• 1:07:45
  producerer tågen, hvor de som hvor der står med ord det du
• 1:07:49
  siger der. Det det ja, og Det er det der
• 1:07:53
  Det er det man Det er det man. Det er også noget af det, der
• 1:07:55
  måske er en del af fascinations faktoren i det her, ikke?
• 1:07:58
  Men men men. Ja ja, men Det er jo også altså.
• 1:08:01
  Jeg synes bare Det er interessant at du ved de bliver
• 1:08:03
  lidt tvunget til at være sandhedssøgende i forhold til
• 1:08:05
  også at være kritiske overfor det de selv tænker ikke nå.
• 1:08:10
  Det har en replikeret for 30 dollars, fordi han har brugt 30
• 1:08:13
  dollars. Jeg tror han har brugt 10 GPU
• 1:08:15
  eros h 0,5 100 GPU havs. Parti og også så de koster 3
• 1:08:20
  dollars i timen eller et eller andet så ja.
• 1:08:23
  Kun 3 dollars i timen nå ja, jamen.
• 1:08:24
  Han har i hvert fald brugt 30 dollars på det IGPU ja, så Det
• 1:08:29
  er Sådan en interessant lille eksperiment, som han har kørt
• 1:08:32
  her, og Jeg synes lidt det rejser den her det her spørgsmål
• 1:08:37
  om. Kunne man forestille sig, at den
• 1:08:40
  her metode i virkeligheden er ret?
• 1:08:43
  Hvad skal man sige det? Det, Det er ret nemt at tage et
• 1:08:46
  et datasæt man har. Og så ligesom tune meget små
• 1:08:49
  modeller til at blive rigtig rigtig gode til at lave reasing
• 1:08:52
  på lige præcis det problem. Vil jeg sige og hvorfor?
• 1:08:56
  Fordi at Vi er næsten tilbage i gode gamle supervis
• 1:09:01
  learning-dage, hvor at at at det loop der Det er så skarpt i,
• 1:09:09
  hvad kan man sige feedback og kvaliteten af det feedback, Der
• 1:09:12
  er i træningsluppet på grund af de her meget sikre verifable
• 1:09:17
  ting? At at at så skal der ikke så
• 1:09:21
  meget, så skal der ikke så meget træning til.
• 1:09:24
  Der skal ikke lige så meget input til.
• 1:09:27
  Og ja så det vil jeg sige ja og hvis du gør det.
• 1:09:31
  Og hvis de kan bruge tools under problemløsningen, ikke?
• 1:09:34
  Hvis de kan bruge tools under problemløsning, så har du så et
• 1:09:37
  ekstra step. Men hvis du begrænser, hvad kan
• 1:09:39
  man sige problemområdet allerede der og du kan fokusere rigtig
• 1:09:45
  meget på bredden i verden. Firebable tools du så bruger
• 1:09:50
  indenfor lige præcis indenfor det område, for eksempel
• 1:09:52
  matematik. Ja så tror jeg det.
• 1:09:57
  Det er meget lovende. Det er nok en god idé også at
• 1:10:00
  starte med 1 1 1 destilleret model som måske er destilleret
• 1:10:04
  ned til et eller andet område med det her matematik her i
• 1:10:06
  øvrigt dipsigmat læs lige den fordi Det er jo Det er jo rent
• 1:10:11
  faktisk det. Den bliver trænet til mat
• 1:10:13
  problems og der der forsøger de jo at at.
• 1:10:18
  Bare hente matematik data ned fra comment crawl.
• 1:10:22
  Og det gør de med 1 1 1 interessant metode af en tragt
• 1:10:26
  af det iøvrigt et helt paper man kunne gå igennem med sig selv,
• 1:10:30
  men men Jannik kills er der på youtube han.
• 1:10:33
  Han har faktisk gået igennem det fordi Det er det det der det her
• 1:10:36
  Group reality pollysy automation kommer fra.
• 1:10:40
  Is anyway det det, Det er jo princippet det de gør, at
• 1:10:45
  træneren er en lille model indenfor et meget specifikt
• 1:10:48
  domæne. Lidt ligesom du siger det her er
• 1:10:51
  bare hvor at denne her person har taget Sådan en eller 2.
• 1:10:53
  Prinomere specifikt hjem kan man sige ikke.
• 1:10:55
  Ja måske endnu mere specifikt man, og så måske bare havde
• 1:10:59
  hævet hævet en eller 2 model ned fra hylden.
• 1:11:05
  Ja ja det synes jeg bare er tankevækkende og.
• 1:11:08
  Jamen Det er det, Det er det Jeg tror også vi kommer til at se
• 1:11:11
  dem meget mere af den her slags her.
• 1:11:12
  Det det også bliver interessant. Det er at finde ud af at finde
• 1:11:15
  nogle problemer, der falder indenfor det her domæne, hvor du
• 1:11:18
  har den her verifable ting, og du simpelthen kan inject de her
• 1:11:22
  funktioner til at sige det gik godt eller det gik skidt.
• 1:11:25
  I det her med en formsbelønning, og så Det har jo altid været
• 1:11:28
  Sådan. Altså det.
• 1:11:29
  Jeg ved ikke om du nogensinde har prøvet at lave Sådan noget
• 1:11:32
  Brian forskel, learning eller nogen derude har prøvet det, men
• 1:11:34
  noget af det første man prøver når man laver Sådan noget win
• 1:11:37
  forsmiljøning. Det er at man skal definere sit
• 1:11:38
  miljø og sit verden, og så kan det være at man har lavet et
• 1:11:43
  eller andet salt the mase problem.
• 1:11:45
  Og sjovt nok er det her soft the mace proppen.
• 1:11:50
  Det bliver bare tjekket af en en eller 2 funktion man putter ind.
• 1:11:54
  I det her luepere som hele tiden tjekker.
• 1:11:56
  Har du løst, er du kommet ud igennem det?
• 1:11:59
  Nej, Det er jo så ikke okay og Det er på samme måde her at man
• 1:12:03
  vil kunne relativt nemt med noget python kode ligesom sige i
• 1:12:07
  sin kode. Tjek det her kør det her kør
• 1:12:11
  evald på det her python kode. Altså du ved.
• 1:12:16
  Og compilere det eller får du som sagt fejl eller du ved Sådan
• 1:12:19
  nogle ting der ikke det. Jeg tror det bliver.
• 1:12:22
  Jeg tror det bliver rimelig nemt og tilgængelig for den
• 1:12:24
  almindelige. Det er designtest at prøve at
• 1:12:27
  bruge det her til til at at træne fintunet, ligesom vi fine
• 1:12:31
  tuning aberd til alle mulige ting og sager.
• 1:12:35
  Teksthorset. Du ved ja Det er også bare du
• 1:12:38
  ved du har prøvet for de her preference tunet ellemmer til at
• 1:12:40
  være agenter ikke og de er jo slet ikke bygget til du ved, men
• 1:12:43
  nu har vi rent faktisk muligheden for at find tunede
• 1:12:45
  modeller som er trænet og optimeret til at sikre udfald,
• 1:12:49
  bestemte udfald givet en eller 2 opgave og du ved du kan fine
• 1:12:52
  specifikke agenter. Jeg ser bare nogle Det er Sådan
• 1:12:53
  Det er en helt 2. Men det kommer også an på hvad
• 1:12:56
  vi mener med agenter. Altså fordi at at Jeg vil sige
• 1:12:59
  at et agent et netværk af agenter kunne de jo være gode i,
• 1:13:02
  fordi så har man jo specialister rundt omkring ikke.
• 1:13:05
  Men du er jo også nødt til at have den her the mother agen der
• 1:13:08
  ligesom er the braain som man siger der der der skal der skal
• 1:13:12
  stå for at at lave det her function calling en eller 2 form
• 1:13:15
  for dispatching ned mod det rigtige sted og Sådan nogle ting
• 1:13:18
  der så man ja. Jeg tænker Sådan per fibe, hvad
• 1:13:21
  skal man sige? Opgave umiddelbart jeg lige kan
• 1:13:24
  tænke i dinero ikke Det er der kommer en eller 2 brugercury
• 1:13:27
  ind. Du ved nogen der vil gøre noget
• 1:13:29
  med deres regnskab eller et eller andet og så den very field
• 1:13:33
  output. Det er en eller 2 state eller
• 1:13:36
  noget data der bliver sendt til 1 1 et en point eller en sekvens
• 1:13:40
  af du ved AP er der bliver kaldt eller et eller andet.
• 1:13:45
  Og du ved der og og og og så og så er det måske nogle du ved så
• 1:13:50
  kan det måske også blive rewardet for at.
• 1:13:53
  Du ved hente data de rigtige steder der hvor Det er meningen.
• 1:13:56
  Altså men de steder. Undervejs i det der.
• 1:14:00
  Ja kan du ikke se. Man kan lave Sådan nogle ret.
• 1:14:05
  Ja jamen jeg tænker bare jeg var bare.
• 1:14:07
  Spas, vil du have det ind i træningsluppet?
• 1:14:09
  Alle de der steps der? Jamen, hvis man nu, hvis vi nu
• 1:14:12
  siger at OK vi sætter man sætter folk til at ligesom sige nu kan
• 1:14:17
  du bare beskrive hvad du gerne vil.
• 1:14:18
  OK fair nok og så sidder der måske nogle og hjælper med at få
• 1:14:22
  det til at ske. Brugt mindre end chatbot måske
• 1:14:26
  eller et eller andet, og så gemmer man du ved den det
• 1:14:30
  initielle crewy og endstate altså du ved den den ændring Der
• 1:14:35
  er sket på det her den her brugers account.
• 1:14:39
  Fra du ved start til slut, ikke? Og så logger du de der
• 1:14:42
  eksempler? I en måned.
• 1:14:46
  Og jeg tænker der der skal noget hjælp til fra nogle human humans
• 1:14:52
  her. Men jeg kunne bare godt
• 1:14:54
  forestille mig som var at man kunne lave Sådan et setup, hvor
• 1:14:57
  man Sådan kunne få indsamlet noget ret interessant data og
• 1:15:00
  hvor man kunne sige. Nu har vi faktisk et vildt
• 1:15:01
  datasæt her, som er passer ind i Sådan et verifyble rewards
• 1:15:07
  rinfald learning system, ikke? Og så prøver vi sgu bare at tune
• 1:15:10
  det og se hvor godt den klarer det og så ja.
• 1:15:14
  Det er en spændende Det er. En spændende samtid vi vi går i
• 1:15:18
  møde her. Jeg håber, at Vi er ved at være
• 1:15:20
  der. Nu er vi ikke.
• 1:15:21
  Jo, Det var 10 minutter siden jeg gabte.
• 1:15:22
  Var det ikke Sådan? Jo, Det var det nemlig, så Det
• 1:15:24
  er Det er Det er nu Det er nu vi stopper, så jeg håber Det var
• 1:15:29
  lidt mere dit div end eller meget mere dit diff end sidste
• 1:15:32
  gang og vi håber selvfølgelig alle sammen derude at i fik
• 1:15:36
  noget ud af det og jeg håber også at hvis vi.
• 1:15:40
  Har lavet nogle fejl eller et eller andet og sagt noget.
• 1:15:42
  Der er ikke rigtigt, eller hvis Der er noget inputs, så skriver
• 1:15:44
  man selvfølgelig bare et eller andet sted på LinkedIn eller til
• 1:15:46
  hvad bost pot snabel-a gmail dot com Der er man i øvrigt altid
• 1:15:49
  velkommen til at skrive. Ellers.
• 1:15:53
  Så må man bare hygge sig rigtig meget, indtil vi lyttes igen i
• 1:15:56
  næste uge. Er det ikke Sådan?
• 1:15:58
  Det er Sådan Det er. Super vi ses.
• 1:16:01
  Hey.