Latest / Verbos: AI og Softwareudvikling / # 34 - 20 Tekniske AI Ord Forklaret

Transcript

# 34 - 20 Tekniske AI Ord Forklaret · Verbos: AI og Softwareudvikling

• 0:00
  Hej allesammen og velkommen til. Hvad bruges podcast afsnit
• 0:03
  nummer 34 i det her afsnit, der sidder vi hjemme hos mig.
• 0:08
  Og hvad hedder det? Ja vi plejer at være online, men
• 0:11
  i den her episode sidder vi simpelthen hjemme hos mig, fordi
• 0:12
  Jeg har fået lokket. Jonas hele vejen til Roskilde,
• 0:15
  og Det er fra Københavns Roskilde, så Det er jo godt, at
• 0:18
  Jeg kan det indimellem, og Det er jo Sådan for lige at snakke
• 0:22
  om det, Vi skal tale om i dag. Det er jo Sådan, at i lyttere
• 0:25
  kan jo faktisk skrive ind til os, og Vi har fået en
• 0:27
  henvendelse om at prøve at gå igennem nogle af de ord, som vi
• 0:31
  tit bruger, men som er lidt tekniske og som kræver en
• 0:34
  ligesom en lille smule forklaring på, hvad det egentlig
• 0:37
  betyder, så Det er faktisk det, Vi har dedikeret episoden i dag
• 0:41
  til Det er, at Vi har simpelthen fundet 20 forskellige.
• 0:46
  Sådan OK tekniske ord som vi vi ligesom har fundet frem til, at
• 0:50
  vi bruger tit her i podcasten, og så vil vi prøve ligesom at
• 0:52
  simpelthen step by step ligesom tjene of dot prompting gå
• 0:58
  igennem dem og så og så bare ligesom forklare dem og prøve at
• 1:02
  forhåbentligvis prøve at. Oplyse jer derude, som ikke
• 1:06
  kender de her ord. Om dem, og Det er ord som bare
• 1:09
  lige får en lille teaser, så er det ord som rack retrieval
• 1:13
  augment the generation. Det er Sådan noget som
• 1:15
  embedding. Det er reinforcement learning
• 1:18
  from human feedback. Det er fine tuning pre training
• 1:22
  in cooder de er cooter Sådan nogle tekniske ord, som som jeg
• 1:25
  egentlig godt forstår, hvis ikke man forstår men ja og velkommen
• 1:29
  til hvad hedder det jeres værter er?
• 1:31
  Mit navn er Kasper unge og. Jeg hedder Jonas høgh Andersen.
• 1:34
  Lige præcis, og du skal en lille smule tættere på mikrofonen tror
• 1:37
  jeg også. Det, det gør jeg bare.
• 1:38
  Yes mega fedt. Ja og som hvis man følger med på
• 1:43
  video så kan man måske også se at Vi har forsynet os selv med 2
• 1:46
  øl. Ikke 2 LI som i byggeriet, men 2
• 1:49
  rent faktisk øl fra. Nu er det ikke fordi det skal
• 1:51
  være. Reklame det her, men fra fra
• 1:54
  svaneke 2 i svaneke i bager, som som vi vi fandt nede i brugsen,
• 1:58
  og som synes var gode ud, ikke? Hjælpe os igennem de her
• 2:01
  æresord. Og Det kan godt være lidt lidt
• 2:05
  lidt tungt, ikke så, men jeg tænker at vi kan starte med at
• 2:09
  åbne skal. Du.
• 2:12
  Yes. Mega fedt og Det er jo altid en
• 2:17
  fornøjelse at optage IRL og ikke.
• 2:21
  Jamen det det det giver bare lidt til stemningen her synes
• 2:23
  jeg så. Hvis vi kunne, hvis vi kunne
• 2:27
  optage i virkeligheden altid, så tror jeg virkelig, jeg ville
• 2:29
  foretrække. Det må jeg nok sige.
• 2:31
  Men Vi skal for at vi endelig mødes, skal nu ved jeg, hvem du
• 2:34
  er. Hvem er?
• 2:37
  Hvem er det der i mit hus? Nå men det her, Det er jo Sådan
• 2:42
  en. Det er næsten Sådan en frokost
• 2:43
  session. Er det faktisk.
• 2:45
  Hvor Vi skal prøve at gå lidt igennem det her.
• 2:47
  Hvad for nogle ord har du skrevet ned til os?
• 2:48
  Jamen Jeg har jo Jeg har jo. Cyklet ned i godteposen og
• 2:52
  ligesom prøvede at finde frem til nogle af de ord, som vi
• 2:54
  bruger rigtig tit, men aldrig rigtig forklarer, og Vi er jo
• 2:56
  godt, Vi har udmærket klar over, at Det er en rimelig teknisk
• 2:59
  podcast det her, og Vi er også klar over, at det ikke er alle
• 3:02
  dem, der lytter med, som er hardcore ingeniør, men som.
• 3:06
  Men Der er mange der ligesom Sådan bare.
• 3:08
  Jeg synes Det er interessant alligevel at prøve at følge med
• 3:10
  og lytte mere til lincoln og så videre, så Jeg har prøvet at
• 3:13
  finde nogle ord som ligesom giver giver mening i det
• 3:15
  perspektiv. Det er første ord som Sådan
• 3:17
  rimelig grundlæggende. Det er neurale netværk.
• 3:20
  Kan du måske prøve at sige et par ord om, hvad det hvad det
• 3:23
  egentlig er, fordi når man sidder og arbejder med det her
• 3:25
  rigtig meget, så er det jo super trivielt at Det er Sådan meget.
• 3:28
  Hvad skal man sige grundlæggende grundsten for for alt hvad man
• 3:31
  laver ikke, men men hvad er det egentlig det det det, hvad er
• 3:35
  det egentlig for noget som? Jeg nævner en streng også fordi
• 3:37
  Det er jo i virkeligheden. Det er ret teknisk, men Vi skal
• 3:42
  prøve at ikke at gå for meget ned i teknikken og prøve at
• 3:45
  holde det Sådan lidt overordnet. Et neuralt netværk består af
• 3:49
  nogle lag og nogle neuroner. Og data kommer ligesom ind i det
• 3:58
  første lag, og så bliver det fået videre til de næste lag,
• 4:01
  som består af de her neuroner og for hver gang, at data går fra
• 4:05
  et lag til et andet lag, så sker der en anden form for
• 4:07
  transformation i en aktivering af en neuron kan man også sige
• 4:11
  og og og det her data bliver så transformeret fra måske store
• 4:18
  større antal dimensioner til mindre antal dimensioner.
• 4:21
  Og så bevæger det sig til sidst ud i det, vi kalder for et et
• 4:25
  output. Og det her output lag altså,
• 4:28
  ligesom det vi ser, når vi ser resultatet af af modellen på en
• 4:33
  måde. Så og de her lag er jo en masse
• 4:37
  matricer, der bliver ganget sammen vægte og bias.
• 4:42
  Der var faktisk et ord til ikke 1 1 1 matricer eller en matrix.
• 4:47
  Og og hvad er så det Der er det jo?
• 4:51
  Der skal man jo tilbage til til sin til sin matematik dage, hvis
• 4:55
  man hvis man kan huske det, men Det kan være du skal.
• 4:57
  Du prøve at uddybe det? Ja man kan sige jeg.
• 4:59
  Jeg tænker rigtig meget på neurale netværk, som Det er i
• 5:02
  virkeligheden langt hen ad vejen.
• 5:04
  Så er det Sådan vægter matrix multiplikationer i virkeligheden
• 5:07
  ikke, så Det er en rigtig god ide at have forståelse for Sådan
• 5:11
  en basic ligner algebra for at at Sådan kunne for at det
• 5:14
  overhovedet giver mening på en eller anden måde ikke.
• 5:17
  Men Det er jo jamen, Det er jo typisk Sådan, at så har man
• 5:19
  noget data eller anden form for data, som kan være en noget
• 5:23
  noget tekst måske som er repræsenteret ved en vektor,
• 5:27
  altså en række af tal. Og Det er Sådan, Det er en hel
• 5:30
  historie for sig selv, hvordan man laver noget om fra tekst til
• 5:33
  en vektor, som er en basically bare en række af tal.
• 5:37
  Og der så har man ligesom Sådan en form for repræsentation af
• 5:40
  det her tekst i tal form, så vil du gerne ligesom transformere
• 5:43
  det stykke tekst om til et eller andet.
• 5:45
  Det kan være nogle klasser. Det kan være noget noget mere
• 5:48
  tekst du gerne vil generere. Det kan være Det kan være mulige
• 5:50
  forskellige ting, så du vil gerne ligesom have en form for
• 5:53
  transformation af det, den repræsentation, du har det tekst
• 5:56
  og det for mig. For mig er er neurale netværk,
• 5:58
  meget du det redskab du bruger til at lave den transformation,
• 6:02
  fordi så tager du din vektor og propper ind i et neuralt netværk
• 6:05
  som. Hvad skal man sige?
• 6:08
  Man kan sige? Groft sagt består af en masse
• 6:10
  matricer, en masse matrix, men altså det der hedder en matrix
• 6:16
  en matrix flere matricer. Og hvis man skal forstå hvad en
• 6:21
  matrix er, så er det i virkeligheden bare i stedet for
• 6:23
  det bare er en række af tal, så er det et gitter af tal, altså
• 6:26
  en kvadrat af tal på en eller anden måde.
• 6:28
  Rækker kolonner som i et excel ark.
• 6:30
  Vi kender det i virkeligheden. Ikke, og Der er Sådan nogle
• 6:33
  regler for, hvordan man kan multiplicere, eller ligesom
• 6:36
  gange i Sådan nogle vektorer og matricer sammen.
• 6:39
  Og Det er meget det, man ligesom så tager man sin vektor og
• 6:43
  multiplicerer med en masse neurale netværk i, som ofte
• 6:46
  kommer en eller anden form for serie, som så er de her lag.
• 6:49
  Og og og Der er så opgaven når man laver a jeg.
• 6:54
  Det er altså ligesom at at deep learning og Sådan nu kommer.
• 6:57
  Alle de der ord som skal forklares, men men det man laver
• 7:00
  når man laver II Det er at man træner de her matricer.
• 7:03
  Ofte man træner de matricer i det neurale netværk til at.
• 7:07
  Lære et eller andet, så den kan outputte et eller andet, der
• 7:10
  giver mening. Det kan være nogle klasser for
• 7:12
  eksempel man vil forudsige et eller andet om teksten.
• 7:14
  Så er er det en en sætning, som er glad eller sur eller midt
• 7:19
  imellem eller hvad for et ord skal jeg predicting næste gang?
• 7:24
  Ja, og Det kan du så træne de neurale netværk.
• 7:27
  Din matricer ind i dit neurale netværk til at gøre ja.
• 7:30
  Det er vi jo også. Måske kan sige Det er at hvis
• 7:32
  man har prøvet selv at lave Sådan noget meget simpel
• 7:35
  statistik med måske en lineær regression, så så har man jo der
• 7:39
  prøver man jo at. Givet et måske todimensionelt
• 7:43
  rum at at finde en linjes korteste afstand til nogle
• 7:49
  punkter i det her todimensionelle rum og er dybest
• 7:51
  set, så er normalen hvad jeg gjorde ikke meget mere
• 7:53
  anderledes end det, de gør det bare på en stor skala med mange
• 7:58
  parametre, altså parameteren den her beta vi kender fra Sådan
• 8:02
  todimensionelt rum ikke en parameter hvor at Vi er ude i
• 8:05
  mange parametre, og Det er derfor man bruger vektorer.
• 8:08
  Matricer i virkeligheden ikke og så.
• 8:12
  Er der jo så flere lag af det der kommer oveni så
• 8:15
  kompleksiteten i den type af af funktion.
• 8:19
  Man forsøger at optimere bliver bare enormt meget større.
• 8:23
  Ja, men da Jeg er stadig linjer algebra, som man kender det fra,
• 8:28
  hvis man har lavet Sådan en ULSDI statistik i gang ikke.
• 8:32
  Så det det det Det er meget Sådan hvis man forstår hvad det
• 8:34
  vil sige at. Lave Sådan noget lineær
• 8:37
  regression for eksempel. Altså Der er nogle punkter på et
• 8:40
  en eller anden todimensionel plot eller andet space og skal
• 8:43
  ligesom finde den linje, der passer bedst til til den til de
• 8:47
  punkter ikke. Det er i virkeligheden så har
• 8:49
  man, hvis man forstår den mekanisme, så forstår man i
• 8:51
  virkeligheden ret godt med i forhold til hvad neurale
• 8:53
  netværk. Gør det vil også sige.
• 8:56
  Og så har man så bare fundet ud af, at den neurale netværk, de
• 8:58
  fungerer rigtig godt, når man. Når man laver den meget dybe,
• 9:03
  altså når man putter mange lag på og når man laver den meget
• 9:06
  store altså Sådan ja g 3 4 stykker de er jo har mange
• 9:12
  milliarder parametre og så bliver de også rigtig gode når
• 9:15
  de store og når de trænede på meget data så ja Det var det
• 9:20
  første ord det næste ord Det er en berings hvad er en berings?
• 9:27
  Jeg tror Der er mange Jeg tror på det bliver brugt lidt i flæng
• 9:31
  efterhånden. Men men.
• 9:36
  Det jeg. Jeg tror det stammer Sådan helt
• 9:37
  tilbage fra fra word embedding, ikke?
• 9:40
  Altså Vi har. Vi har ligesom noget noget
• 9:43
  noget, nogle ord. Vi kunne godt tænke os at putte
• 9:45
  dem ind i en eller anden. Til repræsentation, og så siger
• 9:50
  vi vi en better det ind i et space.
• 9:52
  Og Det er i virkeligheden det, du siger.
• 9:53
  Det er i virkeligheden kernen ikke.
• 9:55
  Du har nogle nogle ord du har noget, nogle nogle.
• 9:57
  Bogstaver og nogle ord og problemet ved at have data
• 10:01
  repræsenteret på den måde. Det er, at Det kan ikke komme
• 10:05
  ind i nogen matematiske modeller, altså det.
• 10:07
  Det Det kan jeg ikke. Det er simpelthen bare et andet
• 10:09
  domæne. Kan man tage at lave det her ord
• 10:13
  og det her ord 2 forskellige ord og gange dem hinanden for
• 10:16
  eksempel. Eller?
• 10:17
  Trække det ene fra hinanden eller plus den, men hvis vi en
• 10:21
  better det ind i et vektor space, nu har vi ind i som er x
• 10:27
  antal dimensioner. Vi kan bare lad os tage 2 eller
• 10:30
  3 dimensioner. Det kan de fleste mennesker
• 10:32
  forestille sig. Så kan vi sige et ord findes i
• 10:35
  det her rum her og og og, og så er der den der klassiske med med
• 10:42
  konge og dronning ordene de de de befinder sig tæt på hinanden
• 10:47
  i en af dimensionerne, fordi at Det er noget royalt.
• 10:52
  Og mand og kvinde relaterer sig også til til kongen og
• 10:56
  dronningen og er så også en dimension i det her.
• 11:00
  Og hvis man så tager kongen og minus og en mand fra det.
• 11:06
  Får man så dronning for? Eksempel Sådan nogle.
• 11:08
  Ting så Sådan noget med at hvis man trækker kønnet væk fra det,
• 11:10
  hvad får man så det? Det er Sådan nogle ting man kan
• 11:12
  gøre når man har embedet noget i den helt klassiske forståelse.
• 11:16
  Af det lige præcis det der eksempel, det skal man så bare
• 11:18
  lige opmærksom på det specifikt til det der hedder word 2 back
• 11:20
  inventing, som er ord baseret indberetnings hvor at det man
• 11:24
  tit snakker om nu med med rack som Vi skal snakke om senere.
• 11:27
  Det er meget Sådan noget transformer baseret embedding
• 11:30
  hvor man hvad skal man sige embeder sekvenser og tekst.
• 11:34
  Er nemlig flere sekvenser. Af flere ord.
• 11:38
  Og Det er noget andet end end den enkelte og der der.
• 11:41
  Det kommer vi selvfølgelig ind på lidt senere, men men dybest
• 11:43
  set, så er det jo det. En embedding er en eller anden
• 11:46
  form for repræsentation af noget tekst, og Det er derfor ordet
• 11:48
  repræsentation. Det bliver tit brugt i Sådan en
• 11:50
  sammenhæng med embedding, at et neuralt netværk på et tidspunkt
• 11:55
  har en eller anden repræsentation.
• 11:57
  Af noget tekst i sig, der har en betydning, som man kan bruge og
• 12:02
  lave matematiske operationer. Ja så embedding is det
• 12:05
  hovedproblem som de løser. Det er at de laver tekst om til
• 12:09
  tal, ord og bogstaver om til tal.
• 12:11
  Sådan så man kan håndtere det i en eller anden form for
• 12:13
  matematisk domæne eller modellere det modem.
• 12:18
  Modellere det matematisk og og og der der skal man måske også
• 12:22
  vide, at det findes der rigtig mange forskellige metoder til
• 12:26
  Der er mere eller mindre avancerede metoder.
• 12:29
  Metoder, som er mere eller mindre avanceret, men også
• 12:32
  metoder, som kan bruges i forskellige, der giver mening at
• 12:34
  bruge forskellige sammenhænge. Og ja, og der bruger man en de
• 12:39
  mest moderne metoder til at gøre den slags anvender neurale
• 12:42
  netværk til at lære de her måder at repræsentere tekst på så
• 12:48
  neurale netværk forstår det på en eller anden måde kan man sige
• 12:52
  så og og i øvrigt, hvad skal man sige?
• 12:54
  Embede dings er vektor altså hvis du laver 1, 1 1 1 sætning
• 12:59
  eller et dokument ram til en embedding.
• 13:01
  Så laver du det om til en vektor, så vektor og embedding
• 13:05
  oplever jeg også tit bliver brugt Sådan lidt.
• 13:09
  På de samme tidspunkter ikke ja eller Sådan om de samme ting, så
• 13:14
  det næste som minder som alligevel er Sådan ret tæt op ad
• 13:17
  det her. Det er vektor databaser, men
• 13:20
  hvad er en vektor database? Jamen Det er jo så en database
• 13:24
  der netop kan opbevare de her embedding eller vektorer og og
• 13:29
  som gør det muligt at Jeg kan lave nogle operationer på på de
• 13:35
  vektorer. For eksempel, så har kender hvis
• 13:38
  man kender relationelle databaser eller bare postkasser
• 13:43
  marcher og hvad der ellers er derude, så så at de jo tiltænkt
• 13:48
  at de har Sådan et tabular data i sig ikke Sådan rækker og
• 13:52
  kolonner og celler. Der er relationer mellem
• 13:55
  tabellerne. Ja.
• 13:56
  Og når man så gerne vil vide noget eller genfinde 1 1 1 noget
• 14:01
  baseret på nogle værdier man måske gerne søge ned i det eller
• 14:04
  man vil gerne hente en eller anden oplysning på baggrund af
• 14:08
  et navn eller en e mail eller et eller andet, så kan man gå ned
• 14:11
  og lave nogle operationer på det her data og det i en database er
• 14:14
  det så struktureret, for eksempel et indeks?
• 14:18
  Sådan så at når man skal finde det, så går det hurtigt.
• 14:22
  Jeg plejer at bruge. Metaforen hvis du går ind i et
• 14:26
  bibliotek og alle bøger bare er scramble på alle hylderne, så er
• 14:30
  det ret svært at finde de rigtige forfattere.
• 14:32
  Men hvis du ved kender forfatterens navn, så kan du
• 14:34
  meget hurtigt igennem alfabetisk indeksering.
• 14:38
  Finde ud af hvor at at den bog den hører til.
• 14:42
  Dybest set er det det og indekseringen af hovedkirken i
• 14:45
  databaser. Det er derfor Vi har dem og en
• 14:49
  vektor database er så specialiseret i at lave
• 14:52
  operationer på indekseret vektorer.
• 14:55
  Og Det er så det. Og det kunne faktisk som du
• 14:57
  siger. Det kunne også godt have en
• 14:58
  embedding database nærmest ikke altså det kunne det nærmest også
• 15:01
  godt hedde. En eller anden 1 1 1 vektor
• 15:03
  søgemaskine i virkeligheden også ikke.
• 15:05
  Nogle gange er ordet database Sådan lidt misvisende, fordi det
• 15:09
  lyder også lidt som om, at Det er et arkiv.
• 15:13
  Hvor man lægger noget ned, og så rører vi det ikke.
• 15:14
  Det er ikke på den måde, det skal ses.
• 15:16
  Og så kan man sige det som måden som vektor databaser indekserer
• 15:22
  vektorer på. Det er Sådan en måde så, at hvad
• 15:25
  skal man sige? Det gør, at Det er hurtigt
• 15:27
  effektivt at søge. Ned i databasen altså finde
• 15:32
  vektorer, som givet en eller anden form for afstands metric
• 15:36
  ligger tæt på hinanden og som og så så derfor, hvis man har brugt
• 15:41
  en god embedding model til at embedde teksten.
• 15:46
  Hvis der så er en lav afstand eller en lille afstand mellem de
• 15:49
  2 vektorer, så betyder det også ofte at Der er 1 1 1 altså Der
• 15:53
  er en skal man sige en mening i de 2 stykker tekster som som er
• 15:57
  tæt på hinanden ikke? Det kan være et spørgsmål og
• 16:00
  svar for eksempel. Det kan være at man har et
• 16:02
  spørgsmål. Man skriver på Google, jeg leder
• 16:04
  efter det her og så kan så kan Google finde ud af at finde det
• 16:07
  Der er tæt på og og og Det er Det er en vektor databasers
• 16:12
  hjælper med. Jer super yes så og i en anden
• 16:17
  ting som ja og Sådan nogle var lidt hurtigt til sidst her
• 16:20
  vektor databaser Det er også noget de også gør.
• 16:22
  Det er at de de de gør at man kan søge ret effektivt ned i ret
• 16:25
  en ret stor mængde vektorer. Hvis du er Facebook og har 10
• 16:30
  milliarder af vektorer, de har måske lidt mere end det, men
• 16:32
  hvis de har 10 milliarder vektorer som repræsenterer
• 16:34
  brugere for eksempel og indhold. De vil gerne måle afstanden
• 16:38
  mellem bruger og indhold for at finde ud af, hvordan de skal
• 16:41
  lave et feed til en given bruger.
• 16:43
  Så hvis man ligesom skulle lave det manuelt ved bare at male
• 16:48
  Sådan helt manuelt i november eller et eller andet, så vil det
• 16:50
  gå rigtig langsomt. Det vi kalder brute force, at vi
• 16:53
  simpelthen bare tager fra en ende af første vektor regner
• 16:57
  afstanden ud. Den var så langt fra, og så
• 17:00
  regner vi afstanden ud for dem alle sammen, og så sorterer vi
• 17:03
  dem efter. Hvem har den korteste afstand?
• 17:05
  Det, det skal jeg ikke særlig godt.
• 17:07
  Nej, og Det er også blandt andet Sådan noget som væk til
• 17:10
  databaser er med til at løse det problem.
• 17:12
  Så kommer vi til næste ord rack, som i øvrigt står for retrieval
• 17:17
  augmented generation, og Det har man måske hørt derude, hvis man.
• 17:21
  Hvis man hører lidt om use case de forskellige use cases fra
• 17:25
  især generative ã r. Jeg tror Vi skal prøve at gå
• 17:28
  hurtigt hen over det, fordi det kunne vi bruge et helt afsnit på
• 17:32
  at gå ned i forager mange ting. Relaterer sig lidt til embedding
• 17:35
  og. Det gør det fordi at.
• 17:40
  Det som rack er Det er Det er en kobling imellem af et retrieval
• 17:45
  system, altså en database hvor du henter noget information og
• 17:49
  et generativ et system, hvor du genererer noget på baggrund af
• 17:52
  den information i chatten vi tjener.
• 17:55
  Vi sidder og skriver noget, så finder vi på et eller andet
• 17:58
  input, eller vi sidder måske og copy paster noget ind.
• 18:01
  Men et retweet augmented system kan finde ud af at retrieve
• 18:07
  relevant information til at svare på Vores spørgsmål.
• 18:11
  Derfra og måden det søger det frem på er at tage det spørgsmål
• 18:16
  eller den tekst vi umiddelbart måtte have.
• 18:19
  Og bruge den til ligesom at netop at lave en betting, altså
• 18:23
  lave en repræsentation af det spørgsmål og bruge den
• 18:26
  repræsentation til at finde ud af.
• 18:27
  Hvad kunne der være relevant information til i en database
• 18:31
  til at svare på det? Her, og det kunne så være Sådan,
• 18:33
  så kunne det jo være den tog. Den lavede en søgning ned og
• 18:37
  lavede det om til en betting og søgte ned i en vektor database
• 18:39
  og fandt nogle relevante dokumenter.
• 18:42
  Dybest set er det det går ud på, så er der rigtig, rigtig,
• 18:46
  rigtig, rigtig mange afarter af alle mulige ting ovenpå og.
• 18:50
  Du kan have specialiserede løsninger til at lave embedding
• 18:55
  til det rack system og koble det på det generative og Sådan
• 18:59
  noget. Men men men dybt sætter du det
• 19:01
  der? Så og som jeg ser det meget, så
• 19:04
  er rack med til at løse Sådan 2 problemer.
• 19:08
  Det ene problem, Det er at Det kan være med til at minimere
• 19:11
  hallucinere ting, så hvis du har en meget Sådan generel chatbot
• 19:14
  som chef for eksempel, og du gerne vil have nogle facts for
• 19:18
  eksempel, du vil gerne vide, hvem Der er dronningen i
• 19:20
  Danmark, eller hvem er regenten i Danmark er.
• 19:24
  Det du så gerne vil undgå. Det er at modellen hallucinerer
• 19:27
  at den ligesom bare trækker på sin sin viden.
• 19:29
  Den har som er cast eller stokastisk.
• 19:32
  Men det Det er Sådan rimelig. Probabilistisk, så det vil sige
• 19:36
  den kan godt den. Man kan ikke være sikker på at
• 19:38
  den ligesom giver det rigtige svar altid det man så gerne vil.
• 19:41
  Det er at man gerne vil søge på internettet for eksempel og
• 19:43
  finde ud af, hvem er egentlig agent i Danmark og så svare hive
• 19:46
  det ind i pumpen og svare på baggrund af det.
• 19:48
  Det er Sådan en ting, som jeg ser det løser en anden ting, som
• 19:51
  det også løser. Det er det her med, at hvis du
• 19:54
  arbejder hos novo nordisk for eksempel så ved, så er der så så
• 19:58
  ved den her sport model. Den er ikke trænet på novo
• 20:01
  nordisk data, den ved ikke en skid om novo nordisk og Sådan
• 20:04
  noget interne dokumenter og så videre.
• 20:06
  Så hvis man gerne vil have en chatbot til at svare på baggrund
• 20:08
  af interne dokumenter eller en eller anden intern afgrænset
• 20:12
  vidensdatabase, så kan du bruge rack til at få den til at gøre
• 20:16
  det. Yes.
• 20:20
  Det næste ord, Det er en hvad er en transformer?
• 20:23
  Ja. Start.
• 20:27
  Ja altså. Det korte.
• 20:31
  Man skal vide om transformere. Det er at Det er en bestemt form
• 20:34
  for neurale netværk, arkitektur, model og arkitektur, som er
• 20:37
  baseret på neurale netværk. Så som blev introduceret i 2017.
• 20:43
  Og som er blevet brugt rigtig meget siden især til sprog
• 20:47
  modellering, altså til at modellere sprog.
• 20:49
  Og Jeg tror Det var i 2018. Der var der nogen, der fandt ud
• 20:53
  af, at man kunne træne de her transformere på rigtig meget
• 20:57
  tekst og så få dem til at blandt andet at generere tekst på med
• 21:03
  Sådan ret imponerende, hvad skal man sige?
• 21:07
  Performance og så har man ligesom bare skaleret det her
• 21:11
  transformer den her transformer arkitektur op, og Det er
• 21:13
  faktisk. På de mødtes der Vi er i dag, så
• 21:16
  man kan sige en transformer er en bestemt machine learning
• 21:20
  model arkitektur som bruger neurale netværk, og den er
• 21:24
  blevet meget succesfuld, fordi den er rigtig god til at skalere
• 21:27
  op til rigtig meget computer til at knuse rigtig meget data.
• 21:31
  Og Det er den. Hvad skal man sige model
• 21:33
  arkitektur, som bliver brugt rigtig meget i altså mange af de
• 21:37
  de de de de, hvad skal man sige modeller og løsninger, som er
• 21:41
  state of the art, for eksempel g 3 t 4 ja.
• 21:46
  Ja så så Det er en transformer og hvis man skal gå måske lidt
• 21:50
  mere nørdet ned i det så er, og det ved jeg ikke om Der er behov
• 21:54
  for. Men men.
• 21:55
  Men, men det der var før det der var før transformere problem er
• 22:01
  det det man kan sige det som en transformer behandler den type
• 22:04
  data en transformer behandler. Det er sekvenser af data, altså
• 22:09
  rækker af data og der kan man godt se ord eller sprog som som
• 22:13
  en en sekvens af ord for eksempel og og Det er og Det er
• 22:18
  de her transformer rigtig gode til at håndtere den type data og
• 22:20
  gøre det rigtig effektivt. Og så bruger de noget der hedder
• 22:23
  attention, som faktisk er det næste punkt til at virke rigtig
• 22:28
  godt. Så var det.
• 22:29
  Giver det mening? Sådan.
• 22:33
  Hvad er? Det så 1 1 1 nøglekomponent II
• 22:37
  transformer arkitekturen. Og, og hvad skal vi sige om
• 22:41
  attention? Det er jo egentlig relativt
• 22:44
  komplekst. Jeg synes hver gang jeg prøver
• 22:46
  at dykke Sådan dybt ned i. Hvad er det egentlig der?
• 22:48
  Hvordan er det egentlig at tage en?
• 22:50
  Det fungerer så, så bliver jeg Sådan lidt.
• 22:54
  Balfelt at at det det overhovedet virker, at Det er
• 22:57
  Sådan det hænger sammen. Men det sjove ved Det er jo
• 22:59
  faktisk at man havde jo altså man kan sige.
• 23:02
  Transformeren blev jo udgivet i det paper, der hedder attention
• 23:06
  is all unit i 2017, og Det var et paper, som som ligesom havde
• 23:10
  den pointe, at du behøver faktisk ikke det her recurrent
• 23:14
  element, som man brugte før i recurrent networks, fordi da man
• 23:19
  brugte recurrent new networks Det har vi, skal vi måske også
• 23:22
  lige forklare hvad? Men der brugte man nemlig også
• 23:24
  sengen der og pointen ved recurrent neural networks.
• 23:27
  Det har jeg sagt mange gange nu. Det er at du tager altså i
• 23:30
  stedet for at behandle 1, 1 1 1. Række af ord for eksempel
• 23:36
  parallelt altså du putter alle ordene ind parallelt, så tager
• 23:40
  du et ord af gangen, og så tager du et.
• 23:42
  Har du Sådan en feedback mekanisme, som går tilbage ind i
• 23:46
  det næste ord, og så putter det ord til ind og et ord til ind og
• 23:49
  ord til ind, så du behandler dem sekventielt og så får du på en
• 23:53
  eller anden måde en butler nick i, hvor altså.
• 23:57
  Algoritmisk ikke særlig tid. Har ikke et særligt godt
• 24:01
  tidskompleksitet, fordi du netop skal vente på svaret fra det
• 24:04
  forrige. Den forrige beregning, før du
• 24:06
  kan gå videre med den næste beregning og og man kan sige, at
• 24:10
  attention mekanismen er meget stærkt.
• 24:14
  Parallelisere bar. Det vil sige, at du netop kan
• 24:16
  lave de her beregninger for, hvordan et ords repræsentation
• 24:20
  skal være i en sætning. Det kan du lave et parallelt,
• 24:23
  fordi du kan bare tage, hvad kan man sige et samme input flere
• 24:28
  gange, men men men med fokus på forskellige ord.
• 24:31
  Og ligesom regne dens intention ud.
• 24:33
  Men måske Vi skal prøve lige at sige hvad hvad er det der
• 24:35
  attention ordet vil du lige? Bare fordi jeg havde det dengang
• 24:40
  man lavede jo aldrig netværk eller eller recurrent neuralt
• 24:43
  netværk er en ender hedder de også.
• 24:45
  Der havde man faktisk også Joshua benzo blandt andet var
• 24:48
  med til at finde ud af at attention, hvis man putter
• 24:50
  attention ind i dem, så virker det rigtig godt, og der kan man
• 24:54
  sige så, så man har faktisk arbejdet med attention for
• 24:57
  transformere os, men det her transformer paper attention is
• 25:00
  all i need var ligesom bare fandt ligesom bare ud af at du
• 25:04
  behøver faktisk ikke det her recurrent det her feedback in.
• 25:09
  Det her sagde eller feedback komponent i dit modeller.
• 25:12
  Du behøver kun attention. Det kan ligesom stå for den der
• 25:15
  seriel eller den der. Hvad skal man sige sekvens
• 25:17
  modellering ikke? Ja og og Det har forklarer jo
• 25:22
  intet om, hvad jeg egentlig er. Det kan man jo så sige, men men
• 25:26
  skal vi prøve at se om vi kan skabe en eller anden form for
• 25:28
  billede? Og hvis vi.
• 25:32
  Hvis hvis Vi har et. Hvis Vi har en sætning, og Vi
• 25:37
  skal ligesom forstå den semantisk, så er det det, som
• 25:41
  attention gør. Det er, at Det er ligesom Sådan.
• 25:43
  Det modellerer sammenhængen imellem alle ordene i sætningen
• 25:49
  og det, Det kan man godt forestille sig Sådan lidt en
• 25:53
  sætning. Nu kan jeg ikke lige finde på
• 25:54
  en, fordi at jeg taler ikke så meget om, hvad attention
• 25:56
  betyder, så Jeg har ikke Sådan en i skuffen, men man kunne
• 25:59
  forestille sig en sætning hvor at at man ændrer et par få ord,
• 26:03
  og så er betydningen af det pludselig noget andet, eller
• 26:06
  lige præcis hvad det her ord betyder i den her kontekst af
• 26:09
  meget anderledes og for ligesom at kunne indfange det i en
• 26:14
  model. Og så skal man, så skal man
• 26:16
  forstå ordets relation til alle de andre ord, og Det er det jeg
• 26:19
  tager. Ingen gør.
• 26:22
  Uden at sige for meget mere teknisk omkring præcis hvordan
• 26:25
  det gør det, for det tror jeg ikke.
• 26:27
  Er nødvendigt. Det er en mekanisme som som
• 26:29
  forstår relation, relationer mellem ord og tager det med ind
• 26:33
  den information med ind i modelleringen af sprog.
• 26:36
  Man skal måske også. Det kan måske hjælpe og at at
• 26:38
  forstå at. For altså for eksempel dengang
• 26:42
  med det man laver 2 væk og altså.
• 26:44
  Back in the days der modellerede man ofte sprog.
• 26:48
  Hvor man ligesom bare ignorerede relationen og rækkefølgen af ord
• 26:52
  fuldstændig og og og der kunne man der, når man ligesom så
• 26:57
  fandt prøvede at evaluere nogle modeller og prøve at finde ud af
• 26:59
  hvordan hvor de ikke klarede sig særlig godt.
• 27:02
  Så var det ofte Sådan noget. Altså så var det ofte nogle
• 27:05
  nogle, så så viste så viste det sig ligesom at.
• 27:08
  At det den der relation mellem ord altså du kan ikke bare læse
• 27:12
  en bog hvor du tager alle ordene i bogen, bare random og så bare
• 27:16
  det giver ingen mening vel så den der rækkefølgen af ordene,
• 27:20
  ordene og relationen mellem dem har en eller anden form for
• 27:22
  information i sig ikke og det det som attention hjælper med at
• 27:27
  modellere den den information. Sådan er det.
• 27:33
  Et ord Vi har brugt rigtig tit. Det er tokens ja tokens og vi
• 27:38
  bruger Sådan noget som en en toke nisser og toke nisation og
• 27:43
  Det er måske også Det er også Sådan et ord hvor man tænker
• 27:45
  Sådan hvad? Er det egentlig?
• 27:49
  Ja det skal jeg prøve det. Det er jo en af de lidt simplere
• 27:52
  vil jeg sige heldigvis. Der er mange andre komplicerede
• 27:56
  ting. Men et tåben er egentlig bare et
• 27:59
  udtryk for. En enhed af noget tekst, og når
• 28:03
  jeg siger tekst, så er det egentlig bare nogle bogstaver.
• 28:06
  Jo det vi set eller er nogle karakterer, for Det kan også
• 28:09
  være ikke bogstaver. Nogle tegn et token kunne være
• 28:14
  bare et ord, men det behøver ikke være et ord.
• 28:16
  Det kunne også være at vi havde et sammensat ord for eksempel.
• 28:21
  På dansk som. Egentlig bestod af 2 tokens
• 28:24
  nemlig de 2 sammensatte ord snemand.
• 28:29
  Det kunne godt være så mænd og sne kunne godt være.
• 28:31
  Det kunne også være at at sne og mand var hver deres tunge, men
• 28:36
  at snemand også var et tungt i sig selv, så så når 1 1 1 når en
• 28:41
  sprogmoduler eller Sådan en af de her transformere som det jo
• 28:44
  er er den ligesom skal skal toke nice noget, så har den Sådan et
• 28:51
  kæmpe vokabular altså forestille sig bare som.
• 28:54
  Sådan en ordbog, men hvor det ikke er ord, hvor Det er en tung
• 28:57
  bog som du slår op i og finder ud af hov den her sætning
• 29:03
  indeholder de her elementer, så splitter den op.
• 29:06
  Det er den tonic, og så skærer den det hele op i nogle små
• 29:08
  bidder. Og putter det ind i Sådan 1 1 1
• 29:12
  1 dictionary siger vi også, og så har den det til at slå op i,
• 29:16
  og Det er egentlig det som toppens er ikke?
• 29:19
  Og ja. Ja Det er Sådan.
• 29:23
  Det er Sådan en måde, at hvad skal man sige?
• 29:28
  Dele tekst op i nogle endelige små chunks eller tokens, som man
• 29:34
  så ligesom kan. Tag og putte parallelt ind i de
• 29:38
  her transformer modeller, og Jeg tror måske også, det giver det
• 29:43
  måske også lidt lidt dybere ned end det måske er behov for.
• 29:46
  Men men man skal også tænke på altså før i tiden der gjorde man
• 29:50
  Det er man sagde okay, Jeg vil gerne repræsentere ord på en
• 29:53
  eller anden form for diskret måde, altså Sådan en form for
• 29:56
  Sådan en endelig måde. Sådan så Der er en enhed per
• 29:59
  ord. Så besluttede man sig ligesom
• 30:01
  for at sige, okay, fair nok jamen, hvad nu, hvis vi siger,
• 30:04
  Vi har et vocabulary på 3 år på 30.000 for eksempel?
• 30:08
  Vi har 30.000, hvor vi kan repræsentere Det kan der ikke
• 30:12
  der kan det ikke være. Mere behov for det, men så
• 30:14
  finder man ud af, at Der er faktisk rigtig mange ord i
• 30:17
  verden. Ja, og Der er rigtig mange ord,
• 30:21
  som ikke bliver brugt rigtig særlig tit, men som alligevel
• 30:24
  bliver brugt, og som er sprogpar at have ikke så så hvis du
• 30:29
  beslutter dig for at du vil lave en repræsentation for alle ord
• 30:32
  Sådan en til en mand altså ko snemand hat brutto.
• 30:37
  Produkt og så videre så så så skal du virkelig have mange
• 30:41
  forskellige. Altså så er det næsten Sådan en
• 30:44
  meget, meget meget stor repos, stort vocabulary og rigtig mange
• 30:49
  af de ord, som du gerne vil præsentere.
• 30:50
  De bliver brugt rigtig sjældent, så derfor så har man så ligesom
• 30:53
  fundet ud af, at det giver Det er meget.
• 30:56
  Det giver meget Sådan en bedre mening at at ligesom.
• 30:59
  Prøver faktisk at træne Sådan en tonic der en en eller anden form
• 31:03
  for algoritme, som kan splitte ord op II de her tokens.
• 31:08
  Og hvis man så træner Sådan en på dansk for eksempel, så vil
• 31:11
  den lære at bruge de her tokens effektivt.
• 31:15
  Sådan så, at hvis den hvis den kan for eksempel med rådet
• 31:18
  snemand, hvis den kan slippe afsted med i stedet for at have
• 31:20
  en token for snemand, hvis den så kan slippe afsted med at have
• 31:23
  en token der hedder sne og mand, så vil den kunne, så vil den
• 31:26
  gøre det og så ligesom kunne have det lidt mere effektivt,
• 31:30
  hvor capillary. Og det fede ved den her metode.
• 31:33
  Det er så, at hvis den så hvis den så overhovedet ikke kender
• 31:36
  et ord den får, så kan den altid falde tilbage på ligesom bare at
• 31:39
  stave det med med med alfabetet, kan man sige hvis det.
• 31:43
  Ja. Lidt skævt ja.
• 31:45
  Så det, men Det er Sådan lidt. Det er måske lidt svært at
• 31:47
  forklare den der, men men Det er Sådan Det er Sådan det der med
• 31:50
  at hugge nice tekst Sådan så man kan ligesom putte det ind i
• 31:52
  modeller. Det er Sådan.
• 31:53
  Det er også ret interessant område fordi at at Det er
• 31:57
  tydeligvis der hvor at en model vil være meget begrænset hvis
• 32:00
  den hvis den har Sådan 1 1 1 1 endeligt vokabular som den kan
• 32:06
  slå op i, hvis den pludselig lige pludselig får noget den
• 32:08
  ikke den ikke kender, hvad skal den så?
• 32:10
  Gøre. Ikke og så som du siger jamen så
• 32:14
  kan den bare stykke det sammen af bogstaver.
• 32:16
  Men men men når den så har stykket det sammen med bogstaver
• 32:19
  hver tåben har jo sine repræsentation, sine embedding
• 32:22
  og så videre. Vi har snakket om og er den så
• 32:26
  god, når det bare er karakter, altså bogstaver, der sættes
• 32:29
  sammen, så så det. Det er ret interessant område,
• 32:32
  men men dybest set er det jo er det jo, Det er jo det.
• 32:35
  Det er den modellens måde at splitte teksten op på, og Det
• 32:40
  har den enten lært, eller også så har man algoritmisk.
• 32:44
  Bestemt det på en eller anden. Måde ikke i gamle dage Sådan i
• 32:46
  word 2 væk dagene der havde man de der fikst hvor capillary hvor
• 32:50
  man har Sådan OK Vi har 30.000 kunder og hvis der så kommer et
• 32:53
  ord hvis du gerne vil gøre et eller andet ord du ikke kender
• 32:55
  og det ikke er II vocabulary så er det bare ærgerligt altså så
• 32:59
  kan du bare ikke så kan du ikke sige noget fornuftigt om Det er
• 33:02
  ord. Jeg.
• 33:03
  Ikke. Så.
• 33:07
  Næste ord back propagation Det er også et farligt ord, ikke
• 33:11
  Sådan et rigtig back. Bagagen det lyder fra altså det
• 33:15
  lyder teknisk ikke. Det vil du.
• 33:18
  Stoppe ja altså Jeg tror man kan sige back propagation.
• 33:21
  Det er jo Det er. Den algoritme, man bruger til at
• 33:26
  optimere neurale netværk på og få dem til at lære.
• 33:30
  Ud fra data. Så neurale netværk de fungerer
• 33:33
  Sådan, at man viser dem noget data, så giver de et eller andet
• 33:36
  output eller andet bud på, hvad de tror til at starte med i
• 33:40
  træningen, så er det helt tilfældigt.
• 33:41
  Så er det bare random. Og så er opgaven ligesom
• 33:45
  optimerings opgaven, måden de lærer på.
• 33:47
  Det er at man har, når de ligesom har givet deres gjort,
• 33:51
  så gemmer, så har man faktisk det rigtige svar til dem.
• 33:54
  Og så maler man en eller anden form for fejl de har lavet og så
• 33:58
  bruger man den fejl til at så bruger man back propagation til
• 34:02
  at til at tage den fejl. Og så ligesom hvad skal man sige
• 34:05
  informere det neurale netværk om hvordan de skal det neurale
• 34:10
  netværk skal ændre sin sin sine tal i sin matricer for at blive
• 34:15
  lidt bedre end jeg. De skal de skal den, så vil give
• 34:19
  et bud på hvad det rigtige svar. Er det synes Jeg er en en rigtig
• 34:22
  super måde at forklare det på, og Det er jo egentlig også det,
• 34:27
  vi kalder for Vores lærings algoritme, ikke?
• 34:30
  Altså Det er der hvor læringen kommer ind.
• 34:33
  Hvordan? Geoffrey hinton der.
• 34:35
  Har, jeffrey hinton, 86. Eller et eller andet og det, det
• 34:40
  indbefatter en masse, hvad kan man sige?
• 34:45
  Altså man skal gemme en masse data for hvad Det var givet den
• 34:50
  operation af alle de beregninger du lavede, og du kom til det her
• 34:53
  svar, men at du ramte så meget ved siden af hvad sker der så?
• 34:57
  Hvad skal du så justere og hvor skal du justere II den her
• 35:01
  beregning for at komme tættere på det rigtige svar.
• 35:06
  Ja det det. Det er jo der hvor at læringen
• 35:08
  kommer ind fordi hvis ikke man havde den der.
• 35:12
  Evne til ligesom at nå det neurale netværk ikke havde evnen
• 35:15
  til, ligesom at sige jeg gjorde det her forkert.
• 35:17
  Men hvis jeg skal gøre det igen, så ville jeg gøre noget andet.
• 35:20
  Så var der jo ikke. Noget, så Det er der ikke.
• 35:22
  Læringen det sker, så Det er jo et eller andet sted er det
• 35:26
  simpelthen. Det er jo kernen alvor.
• 35:28
  Vores Vores felt får sit superpower fra og og tit er det
• 35:35
  jo ikke noget, vi taler særlig meget om det her back
• 35:37
  provokation. Det er også relativt matematisk
• 35:39
  kompliceret. Vi bruger det bare ikke.
• 35:43
  Men Jeg synes egentlig, at den forklaring, Der er dybest set
• 35:47
  det, det går ud på, og selvom at Der er rigtig meget mere
• 35:50
  teknisk. I det skal man bruge noget der
• 35:52
  hedder gradienter og differentiale regning og Sådan
• 35:55
  noget til det ikke? Ekstra linie, algebra og.
• 35:59
  Lige præcis så og det. Men men Det er Sådan Det er
• 36:03
  rigtigt nok hvad du siger. Det er Sådan en.
• 36:05
  Det er bare Sådan en. Det Der er sgu ikke så mange der
• 36:09
  prøver at innovere lige der. Altså Det er Sådan nu.
• 36:11
  Skulle hente den. Jo han prøver jo faktisk lidt at
• 36:13
  lave en en anden en hvor han siger jamen, det her er jo
• 36:16
  egentlig ikke Sådan lærer som hjernen.
• 36:18
  Lærer altid været meget. Optaget af forward forward tror
• 36:21
  jeg den hedder. Forward forward ja lige præcis,
• 36:23
  så Det er faktisk giver noget. Det er lidt tid siden, men men
• 36:26
  hvor de hilton ligesom lavet et paper hvor han foreslog en anden
• 36:30
  approach til en algoritmen, kan man kunne bruge til at lære,
• 36:32
  hvilket jo er meget Sådan. Jeg ved ikke om de
• 36:35
  kontroversielle, men Det er meget Sådan.
• 36:37
  Det er meget fundamentalt på en eller anden måde, ikke?
• 36:38
  Altså hvis man kan lave om i den fundamentale ting at finde ud af
• 36:42
  at uh. Også fordi den bruger meget
• 36:44
  memory back propagation og den er Sådan den er Sådan.
• 36:47
  Det er en tung algoritme på en eller anden måde, så på den der
• 36:50
  kunne være mange Games at vinde ved at finde en en algoritme til
• 36:53
  at lære noget. Ikke lige så sexet, som bare er
• 36:55
  ingeniører derudaf. Nej, Det er lige så fedt.
• 36:57
  Det er ikke lige så sexet som bare skalerer modeller helt
• 37:00
  vildt hjernedødt op. Og der sidder nogle math?
• 37:03
  Cookies derude så bare gå ned til det vil vi gerne finde noget
• 37:06
  bedre på. Til næste år.
• 37:08
  Det er recurrent neural networks, og den skulle jeg nok
• 37:11
  have lagt lidt tidligere, men Det har vi snakket en lille
• 37:14
  smule om. Så skal vi springe den Norge.
• 37:16
  Ja altså man kan sige måske bare lige hurtigt for altså man kan
• 37:18
  sige. Lige hurtigt for at gå igennem
• 37:20
  det recurrent neural networks. Det er.
• 37:24
  Det bud man havde på neurale netværk, arkitektur til at
• 37:29
  behandle sekvenser af data, før man havde transformeret, vil jeg
• 37:33
  sige. Dybest set.
• 37:35
  Så så Det er Det er en en form for neurale netværk, som som
• 37:39
  tager en en række af data ind, så tager den et stykke data ind
• 37:43
  og putter noget og så tager det. Har den Sådan en stat den bliver
• 37:46
  ved med at opdatere Sådan så den bibringer.
• 37:49
  Eller den, den holder information omkring.
• 37:52
  Hvad der var før hvor? Den er i sekvensen.
• 37:58
  Men det gør den så recurrent. Den bliver ved med at gå tilbage
• 38:01
  og opdatere og tage et skridt videre lige præcis, og Det er
• 38:04
  derfor det der lag af recurrent lag.
• 38:06
  Ikke lige præcis, og Det er Der er mange.
• 38:09
  Der er ret mange som. Der er mange Sådan lidt.
• 38:13
  Lidt ærgerlige ting ved den arkitektur.
• 38:14
  Den er ikke så nem at skalere op Sådan rent computer mæssigt
• 38:17
  under træning og så hvad? Hedder det mere effektivt end
• 38:20
  fransk? Ja Det er der nogle der siger ja
• 38:22
  og hvad hedder det? Og så er det og så er der også
• 38:24
  det problem med at. I og med at de her recurrent
• 38:28
  neurale netværk skal holde informationen om den sekvens de
• 38:33
  i gang med at behandle i den her stat, så så kan de glemmer de
• 38:37
  ret hurtigt så vidt altså Sådan II hvad hvad?
• 38:41
  Jeg ved i hvert fald de den information, altså hvis den når
• 38:45
  langt hen i teksten, så glemmer den hvad der sker forude fordi
• 38:49
  at. Ja fordi.
• 38:50
  Det bliver udvasket. Det er ligesom en fotokopi af en
• 38:52
  fotokopi af en fotokopi den der. Opdaterer et stay og og det
• 38:56
  bliver jeg hele tiden modificeret en lille smule.
• 38:59
  Til ligesom at at. Men jo mere man så modificerer
• 39:02
  det jo jo mere bliver det. Der var mange steps tilbage.
• 39:07
  Det stand ligesom glemt at udvandet på en eller anden.
• 39:10
  Måde, og Det er der. Hvor transformere?
• 39:13
  Vel er bedre på den måde, at de ligesom har al information
• 39:17
  tilgængelig til hvilke på, hvilket på hvilket som helst
• 39:20
  tidspunkt ikke i. Et begrænset kontekst vindue.
• 39:23
  I et begrænset kontekst vindue selvfølgelig ikke.
• 39:25
  Det er det fede ved recorrendo networks.
• 39:27
  De kan bare hakke dig ud af. Som et kontekst vindue, som i
• 39:30
  øvrigt jo er talt typisk med, hvor mange tokens den kan
• 39:34
  begribe på en gang. Det her.
• 39:36
  Jeg tænkte ikke nå, der fik vi alligevel forklaret lidt ekstra.
• 39:40
  Der var lige en lille bøn. Ja og så hedder det.
• 39:45
  Det er måske ikke rigtigt ord, men Det er mere Sådan en lille
• 39:47
  diskussion, som er II feltet. Det kan være et token måske.
• 39:52
  E versus ML. Og Det var flere tons.
• 39:56
  Ja Det var Det var 3 tokens ikke tror jeg altså ã r versus
• 40:00
  machine learning ja hvornår kalder man det ene og hvornår
• 40:03
  kalder man det det andet Jeg har?
• 40:05
  Hørt trofisk spørgsmål. Det er måske lidt filosofisk
• 40:07
  spørgsmål altså jeg ved ikke om Der er Sådan skal man sige helt
• 40:10
  hårde definitioner på det, men Jeg synes man siger meget at når
• 40:14
  man skal sælge. Machine learning så kalder man
• 40:18
  det for en i, altså når man snakker med forretningsfolk
• 40:21
  eller folk der ikke ved noget om altså ikke som ikke er data
• 40:24
  scientist eller machining ingeniørs så siger man i, og når
• 40:28
  man snakker med nogen som. Som ligesom gerne vil, hvor man
• 40:32
  gerne ligesom vil, vil ikke virke som Sådan en nu siger man
• 40:36
  så, siger man machine learning ikke?
• 40:37
  Ja hvad? Hvad er din opfattelse?
• 40:39
  Af at jeg for nogle år siden, så så synes jeg Det var fjollet at
• 40:44
  kalde det jeg efter chat GBT så så synes jeg at det når jeg
• 40:50
  bliver spurgt til hvad jeg arbejder med.
• 40:53
  Hvis jeg siger machine learning, så er der ikke nogen der tænker
• 40:55
  på chat kan vi se lige. Præcis.
• 40:58
  Nå okay det lyder meget spændende eller maskinlæring for
• 41:03
  eksempel, hvis jeg kunne finde på at bruge den danske term, så
• 41:06
  er de Sådan helt. Men hvis jeg siger kunstige
• 41:09
  intelligens nå ej, Det er da også rigtigt oppe i tiden, er
• 41:12
  det ikke? Det er noget med chip.
• 41:14
  Og det lyder da spændende og og og Det var da godt du arbejdede
• 41:20
  med det, så så har du jo ligesom set før live.
• 41:23
  Tænker folk så. Jeg tænker bare jeg drukne mig
• 41:26
  lige for tiden, men men OK. Men, men så Jeg har bare
• 41:30
  overgivet mig til at kalde det kunstig intelligens på dansk,
• 41:33
  fordi det også har et fint dansk ord og og velkendt dansk ord.
• 41:37
  Og så æ ja ja så så kan jeg bruge forkortelsen â i fordi.
• 41:43
  KI ikke rigtig lyder så. Gider man ikke.
• 41:46
  Det er også Sådan ã r slash kunstig intelligens.
• 41:49
  Der var Sådan en hel siger man â eller â i.
• 41:52
  På dansk. Ja i jeg arbejder med ã r siger
• 41:56
  jeg siger ikke AI. Men Jeg har det Sådan lidt Jeg
• 41:58
  har det. Jeg føler lidt nogle gange når
• 42:01
  man er Sådan en teknisk meget teknisk, så så kan folk nogle
• 42:05
  gange godt føle, at hvis fordi hvis man nogle gange glemmer at
• 42:07
  man kommer til at bruge noget lidt teknisk sprog, så kan folk
• 42:10
  nogle gange godt føle, at man taler ned til dem og og derfor
• 42:14
  så kan man måske også virke Sådan lidt, lidt teknisk
• 42:17
  arrogant eller et eller andet når man siger ej, så hvis man så
• 42:21
  siger det AI på dansk, så er det lidt mere Sådan.
• 42:23
  Men, Der er højtflyvende planer noget mere Sådan i øjenhøjde
• 42:26
  ikke så Det er Sådan. Men Jeg synes helt dybest set,
• 42:29
  så synes jeg ikke Der er nogen forskel på de 2 rent teknisk,
• 42:33
  fordi det det vi måske kan kalder mere med sine lønning,
• 42:37
  altså Sådan mere klassiske med skinning de de algoritmer som Vi
• 42:42
  har i den. For det meste indebærer også en
• 42:47
  eller anden form for læring, funktion eller anden form for
• 42:50
  loss. Det er det, Det er det, der når
• 42:52
  vi siger loss funktion. Det var det, vi snakkede om
• 42:54
  tidligere med, at når du har ramt ved siden af det, du
• 42:57
  egentlig skulle ramme, hvor meget har du så ramt ved siden?
• 43:00
  Af så har du brug for en eller anden funktion til at måle hvor
• 43:04
  meget ved siden af din model. Er, og den kalder vi en loss
• 43:06
  funktion her. Og så har du en anden trick til
• 43:09
  at måle Sådan. Hvor meget er du ved siden af og
• 43:11
  det? Det kunne også være 2. 2 ved
• 43:13
  siden af ikke og så går vi tilbage og finder ud af hvad
• 43:16
  skulle vi så have gjort? Hvis vi skulle ramme nul ved
• 43:18
  siden af ikke Det er jo det, vi gerne vil hen.
• 43:20
  Vi vil gerne have nul, også ikke.
• 43:22
  Det sker også i stort set alt andet, som ikke er store sprog
• 43:27
  modeller, når vi snakker ai og machine learning og machine
• 43:30
  learning, hvor vi hvor vi lærer en model til at blive.
• 43:35
  Smart altså vi optimerer Det er et optimeringsproblem jo ikke og
• 43:39
  Det er det. Det er det både i det ene og det
• 43:41
  andet. Uanset hvad for et ord du lægger
• 43:42
  ned over det, så er det helt overordnet abstrakte loop, Der
• 43:46
  er i at at at lære noget gennem det her statistiske eller
• 43:50
  gentagne iterationer. Det er det samme, og derfor så
• 43:54
  har jeg det meget svært ved at at sige, at det skulle være 2
• 43:58
  forskellige felter, fordi det på Sådan et helt fundamentalt plan
• 44:02
  matematisk statistisk er en øvelse, Der er så ens uanset
• 44:07
  hvor du er i det der felt. Det er model modelleringen om
• 44:11
  metoden er så ens sammenlignet med nogle andre faggrene biologi
• 44:17
  og Sådan nogle ting, så kan vi begynde at give det et andet
• 44:20
  udtryk, fordi at Det er noget helt andet, ikke tit.
• 44:24
  Det er jo optimering af modeller matematiske modeller ikke altså
• 44:28
  med sin lønning. Har svært ved at kalde det
• 44:30
  forskellige ting, men Jeg har overgivet mig til at sige, nu er
• 44:32
  det kunstig intelligens, fordi det ved folk hvad.
• 44:34
  Er lige præcis, så svaret er et døssing er det altså bare kalde
• 44:39
  det et eller andet. Eller?
• 44:43
  Lige præcis LLM. Ja, hvad står det for for det
• 44:47
  første? Large language model.
• 44:49
  Det er jo noget vi snakker rigtig meget.
• 44:51
  Det må man sige. Man snakker rigtig meget om i
• 44:52
  den her podcast og Det er jo fordi Det er oppe i tiden.
• 44:57
  Måske vi snakker om noget andet en dag, hvor det bliver så meget
• 44:59
  oppe i tiden. Og give BT måske Vi skal også
• 45:03
  kunne sige hvad det står for, fordi det der skjuler sig jo den
• 45:06
  her transformer indeni ikke nogle gange så glemmer jeg
• 45:08
  faktisk om, men Det er. Jo.
• 45:11
  Jeg tænker, så Det er. Generativ free Strand
• 45:18
  transformer og Vi har faktisk pre training og pressetrang.
• 45:21
  Det forklarer vi længere nede så.
• 45:23
  Vi kommer lige til det, men en lars lange.
• 45:25
  Hvornår er den large? Ja fordi Det er et godt
• 45:27
  spørgsmål ikke? Altså man kan sige en en
• 45:29
  language model. Hvis vi prøver at glemme det der
• 45:32
  large øjeblik en language model. Det kan faktisk være mange ting.
• 45:36
  Det behøver ikke være en transformer.
• 45:37
  Det kan jo også være en et recurrent neuralt netværk, som
• 45:41
  er trænet til til altså til language model ikke så Jeg tror
• 45:45
  måske i virkeligheden en language model er en model som
• 45:48
  er modelleret. Til til lavede til at modellere
• 45:52
  sprog, ikke tekst, ja tekst ikke dybest set, men men i
• 45:56
  virkeligheden er det vel sprog generelt ikke?
• 45:58
  Altså fordi Det er vel Sådan noget som whisper er vel også en
• 46:02
  while model. Ja okay, okay så det blev lidt
• 46:07
  filosofisk spørgsmål, hvad hedder det?
• 46:09
  Det man det man ofte refererer til når man siger large language
• 46:12
  models, Det er de her store, meget meget store transformer
• 46:17
  baserede sprog modeller, som er trænet til det man kalder for
• 46:22
  casual language modeling eller language.
• 46:25
  Som går ud på, at Sådan forudsige det næste ord i en
• 46:29
  tekst basically, og så er man begyndt at kalde dem for large
• 46:35
  language models fordi. Fordi de begynder at blive
• 46:38
  rimelig store. Ikke fordi Der er nogen der har
• 46:39
  fundet ud af nogen, som hedder open og i blandt andet.
• 46:43
  Som har fundet ud af, at hvis man skærer de her sprogmoduler
• 46:46
  op. Så bliver de så kan de nogle
• 46:49
  interessante ting, og derfor er man begyndt at kalde for large
• 46:52
  landbrugsmodels. Men Jeg vil faktisk sige Der er
• 46:54
  en modbevægelse i øjeblikket mod folk, der prøver at lave det til
• 46:57
  not so large models, men stadig have den her imponerende
• 47:02
  performance. Ikke så så Jeg synes Det er et
• 47:05
  godt spørgsmål Sådan hvor længe bliver vi ved med at kalde dem
• 47:07
  for? Forarge.
• 47:09
  Language models ja. Ja jamen altså Jeg tror det det
• 47:12
  det hvorfor skal det der large ovenpå?
• 47:14
  Jeg tror det kommer af den der erkendelse som som som jo er
• 47:18
  dybest set åbne IS fortjeneste at at.
• 47:22
  At hvis vi smider mere computer efter det, og vi udvider
• 47:27
  antallet af parametre nu ude i nogle nogle sprog igen.
• 47:30
  Altså vi snakker om at Der er lag i den netværk, men men hvor
• 47:34
  mange neuroner er der i det her netværk?
• 47:38
  Altså hvor mange punkter skal skal den igennem den her dag,
• 47:43
  der skal data igennem? Det er jo det, der ligesom
• 47:46
  bestemmer hvor mange parametre den så træner.
• 47:50
  Meget god måde at sige det på mange punkter.
• 47:51
  Det skal igennem ikke hvor meget Sådan hvor mange operationer der
• 47:54
  skal laves på en så stor. Er den matrice det her excel ark
• 47:59
  kolonner og rækker et stort bliver det.
• 48:02
  Når det bliver rigtig, rigtig stort, så bliver det rigtig,
• 48:05
  rigtig tungt og fylder meget og Sådan nogle ting.
• 48:07
  Ja, så er vi. Så har vi jo opdaget at at, at
• 48:11
  Der er nogle nogle særlige egenskaber ved de modeller, Der
• 48:15
  er meget store. Altså de får nogle særlige
• 48:17
  egenskaber, når de bliver trænet med mange parametre, og derfor
• 48:21
  tror jeg det der udtryk large language models ind, fordi Det
• 48:24
  er noget andet end end de der mindre.
• 48:26
  Men så har man jo så netop også det.
• 48:28
  Det som du siger den der trend med at man finder nok ud af at.
• 48:31
  At måske kan kan de mindre modeller not so large language
• 48:35
  models ikke 100. Og 60 milliarder, men måske bare
• 48:41
  7 milliarder kun som jo er altså væsentlig mindre.
• 48:45
  De kan også noget som som og måske bare en milliard modeller
• 48:51
  kan også noget som de store kan og nogle gange bedre II nogle
• 48:56
  særlige cases man har givet dem til fintunet som vi.
• 49:00
  Også kommer lidt længere ned her, så Det er.
• 49:03
  Lars derfor. Hvis ikke man ved, hvad lars
• 49:05
  Løchte er, så er man godt nok, så har det ikke været en særlig
• 49:08
  spændende podcast indtil videre. Så ja.
• 49:13
  Det næste på listen er Det er faktisk.
• 49:18
  Jeg springer lige over, så går vi tilbage lige om lidt.
• 49:20
  Hvad er det jeg reinforcement learning?
• 49:23
  Ja. Det er ikke fordi Vi har snakket
• 49:27
  om det, men Det er fordi Vi har snakket vildt meget om det, men
• 49:29
  men. Ja, hvad fanden er reinforcement
• 49:31
  learning? Ja ja.
• 49:35
  Jamen Vil du prøve at give det et skud?
• 49:37
  Jeg. Vi har en forstmand learning er
• 49:42
  en en lidt anden type af læring, altså et andet et andet
• 49:48
  algoritmisk system til at lære en klassisk neuralt netværk.
• 49:53
  Sådan setup lærings setup nærmest ikke.
• 49:56
  Det Det er et lærings setup og og man kan tit formulere et
• 50:00
  reinforcement learning problem som et spil. 1 1 1 reel forskel,
• 50:07
  learning setting, læring setting kan godt indeholde et neuralt
• 50:11
  netværk. Det er der hvor det bliver Sådan
• 50:12
  lidt, lidt sjovt, men typisk er det ligesom at Der er et
• 50:17
  objektiv, hvor II stedet for at Vi har den her lost funktion, så
• 50:21
  har vi en reward funktion og og og og så har vi et et miljø, og
• 50:29
  Vi har en agent og agenten går ligesom ud og foretager sig
• 50:34
  nogle handlinger i det her miljø.
• 50:36
  Og så. Man kan tage Sådan 1 1 1 1 en
• 50:40
  masse altså en levent så kunne man forestille sig at man havde
• 50:43
  en. 1 1 1 den kunne todimensionel flytte sig i højre
• 50:49
  og Venstre op og ned og så videre.
• 50:52
  Og så kan den ramme en mur og så øh Det var en mur.
• 50:54
  Jeg kan ikke komme videre og så får den at vide at du kan ikke
• 50:56
  komme den her vej. Og så.
• 50:59
  Jo tættere den kommer altså Sådan jo jo bedre den bliver til
• 51:02
  at at komme ud af den her labyrint her, men så får den så
• 51:05
  en word når den klarer. At komme ud af døren, enten ikke
• 51:11
  så så der kan man sige OK, men den helt naive.
• 51:14
  Men forskning algoritme kunne være.
• 51:17
  Lad os bare prøve et tilfældigt. Der er jo kun 4 valgmuligheder,
• 51:20
  uanset hvor du står i den her labyrint op ned til siden og der
• 51:24
  var en mur godt, så prøver vi noget andet, så så prøver den
• 51:28
  det og så hvor mange. Hvad skal man sige hvor mange
• 51:30
  træk i den, hvor mange træk, hvor hurtigt kunne komme ud af
• 51:35
  den her labyrint herinde? Og når den så kommer i mål, så
• 51:39
  får den ligesom at vide det. Det gik rigtig godt det der så
• 51:42
  det du gjorde de her skridt op ned til siden og så videre i det
• 51:46
  her labyrint spil her. De var nok de fik nok Sådan
• 51:49
  score her. Det var Sådan så godt.
• 51:52
  Og så bruger. Man forestille sig, hvis hvis
• 51:54
  ens agent gik ind i en væg, så ville det være minus, ikke så
• 51:57
  man vil. Prøve at minimere.
• 51:58
  Ville være negative løse eller negative rekord.
• 52:01
  Ikke. Og og på den måde kan man
• 52:03
  ligesom forestille sig en måde at lære på, hvor feedback til at
• 52:09
  lære er en lille bitte smule anderledes end end det vi ville
• 52:13
  se. Et nævner ret netværk ikke, og
• 52:15
  hvor de her handlinger, og det vil så også kalder policies.
• 52:18
  Altså hvad er det for 1, 1 1 1 polynesie for hvilke handlinger
• 52:24
  Der er rigtige er gode i en given situation.
• 52:27
  Det er så den her polesine man opdaterer hos en agent, hvor der
• 52:31
  kommer mange ekstra ord ind i. Det er ikke men.
• 52:34
  Det neurale netværk. Som definerer handlingerne.
• 52:37
  Det kunne det være. Som som ofte er en policy.
• 52:40
  Ikke, det kunne være at den her agent faktisk var et neuralt.
• 52:43
  Net ikke som er som bare ligesom som tager et miljø ind, og som
• 52:47
  ligesom genererer nogle handlinger ud fra det, som så er
• 52:50
  den de handlinger, der bliver generet af en policy.
• 52:52
  Ikke så så det så optimerer man et.
• 52:57
  En agent til at tage nogle fornuftige handlinger i en
• 53:00
  givende situation. Så man kan sige på eller andet,
• 53:03
  fordi når nu du siger det, så tænk Det er meget sjovt lige
• 53:05
  her, fordi så skal man tænke på måske i virkeligheden Sådan at i
• 53:09
  altså Sådan traditionel læring setup med for eksempel deep
• 53:13
  learning så er. Hvad skal man sige?
• 53:16
  Lærings objektivet altså loss funktion det du optimerer din
• 53:20
  model hen mod det. Det er Sådan i høj grad bestemt
• 53:23
  af det datasæt du har og de labels du har valgt at putte på,
• 53:28
  så Det er Sådan du optimerer hen mod noget statisk på en måde
• 53:31
  Sådan det du har lavet dine data på og så bliver den kun lige så
• 53:33
  god som dine data er lappet sammen, ikke hvorimod at i
• 53:37
  reinforcement learning der putter man ligesom det her
• 53:40
  neurale netværk en eller anden form for.
• 53:43
  Environment en eller anden form for miljø det kunne være et
• 53:46
  Mario spil for eksempel eller en packman situation eller andet.
• 53:50
  Og så har den her, den her agent eller det her neurale netværk,
• 53:53
  ligesom mulighed for at lave nogle handlinger.
• 53:56
  Og de her handlinger har så en eller anden form for hvad skal
• 54:00
  man sige konsekvens i det miljø, den er i, og så er dens dens
• 54:05
  dens. Hvad skal man sige dens løs, den
• 54:07
  dens optimerings objektiv er ligesom i højere grad defineret
• 54:12
  ud fra. Hvordan den klarer sig i det
• 54:14
  miljø, den anden del af, kan man sige, så Det er Sådan lidt mere.
• 54:18
  Det er Sådan mere dynamisk form for læring setup i virkeligheden
• 54:21
  ikke? Og og i stedet for at at at
• 54:24
  kræve rigtig meget. Input data som altså hvad kan
• 54:29
  man sige? Eksempler som det vil jo gøre,
• 54:32
  når vi laver det skal vi også lige om lidt når vi rabler altså
• 54:35
  laver supervised learning, så har vi mange eksempler, så så
• 54:38
  lære Vores algoritme at de eksempler, så i stedet for det
• 54:41
  så har vi et miljø og miljøet, der genererer vi jo data ved at
• 54:45
  tage beslutninger, så genererer vi data undervejs i det miljø,
• 54:50
  og så på den måde lærer vi ikke. Men jeg forestillingen er
• 54:52
  notorisk kendt for at være utrolig svært at optimere med
• 54:56
  parametre og. Ja Det er rigtig rigtig svært at
• 54:59
  lave realistiske miljøer, og miljøerne er alfa omega for at
• 55:04
  man ender ud med nogle gode modeller, fordi de skal jo agere
• 55:08
  i en eller anden verden. Der er et miljø og det Det er
• 55:12
  Det er tit opstår nogle problemer.
• 55:14
  Og jo mere komplekst miljø er. Jo større er udfaldsrummet af
• 55:20
  ting, man kan gøre. Jo mindre applicere bare bliver
• 55:23
  reinforcement løsning i. Virkeligheden, og man kan sige,
• 55:25
  man kan sige jo, hvis du har, hvis du har 2
• 55:29
  handlingsmuligheder, du kan gå frem og tilbage, så er det et
• 55:33
  meget Sådan lille space. Handlingsrum du har kan man sige
• 55:38
  ikke. Så derfor så kan man sige, så er
• 55:40
  det Sådan okay, der kan man godt forestille sig.
• 55:42
  Den lærer ret hurtigt Sådan. Okay, Det er bedre at gå frem og
• 55:45
  tilbage i nogle givne situationer end andre ikke.
• 55:48
  Og så er det i øvrigt også det her state af med livet, altså
• 55:50
  Sådan, hvad er stats the state af hvad?
• 55:53
  Hvordan ser packman spillet ud, hvor er spøgelserne og Sådan
• 55:56
  noget ikke? Men man kan sige, hvis du har et
• 55:59
  meget komplekst, hvad skal man sige miljø med mange måder
• 56:02
  muligheder for at handle og så videre, så kan du.
• 56:06
  Så kan der gå rigtig lang tid med bare at gøre tilfældige
• 56:09
  ting, uden at du får nogle nævneværdige forbedring, så der
• 56:14
  kan man bare Sådan gøre random ting rigtig lang tid.
• 56:17
  Og så lige pludselig finder man ud af.
• 56:19
  Okay, Det var måske bedre at gå frem 2 gange eller Sådan et
• 56:22
  eller andet, og så kan det være man lærer lidt ikke og der synes
• 56:27
  jeg tit man ser Sådan nogle forskellige, nu bliver vi nu.
• 56:30
  Det er lige før det bliver et afsnit om bliver først nu ikke,
• 56:32
  men men altså man træner Det er random random, random random i
• 56:35
  rigtig lang tid så lige pludselig så er den lidt så
• 56:36
  bliver den hurtigt og så bliver den bare eksponentiel hurtigt
• 56:38
  lige pludselig fordi så så lærer den mere og mere og så lærer den
• 56:43
  så den dens reward den tilsvarende reward den får for
• 56:46
  den læring. Bliver altså, hvor vokser
• 56:50
  eksponentielt ikke så finder bare ud ligesom at sove det der.
• 56:54
  Men forskelling lærings problemstillinger i en spil
• 56:59
  sammenhæng hvis jeg påstå Det er hvis du kan formulere dit dit
• 57:04
  problem som et spil dit optimeringsproblem for mit spil,
• 57:07
  så kan du bruge stort set altid bruge reenforcement.
• 57:10
  Og Det er meget attraktivt for mange researchere er mine mit
• 57:12
  indtryk, fordi Der er et eller andet tiltalende ved det der
• 57:15
  med, at du ikke behøver at samle det der datasæt og gå igennem
• 57:17
  det manuelt og computertid. Ja lige præcis.
• 57:21
  Så er det på en måde lidt lidt mere interessant på den måde.
• 57:24
  Ja okay det næste Vi skal snakke om.
• 57:26
  Det er noget der hedder RLAGFRLFRLHF.
• 57:36
  Eller også udtale helt ud reinforcement learning from
• 57:40
  human feedback. Ja ja.
• 57:43
  Den er også lidt lidt en kompliceret en, men det kræver
• 57:46
  at man har snakket om. Det er reinforcement learning er
• 57:48
  for det. Bare lige hurtigt kommentar her
• 57:51
  til at starte med reinforcement learning for human feedback er i
• 57:55
  høj grad. Det som har gjort eller de nye
• 58:01
  gt modeller. Rigtig brugbare i forhold til i
• 58:06
  2020, hvor at abonnere her udgav deres gevir til 3.
• 58:11
  Ja så så Det er Sådan Det er en ret.
• 58:13
  Essentiel komponent i. I der, hvor Vi er i dag i den.
• 58:18
  Hvad skal man sige i den liga Vores modeller er i dag og hvor
• 58:22
  brugbare de er ikke så. Og hvordan gør man så lige det
• 58:27
  her, ikke? Ja, måske kan man bare tage det
• 58:30
  fra starten af skal jeg bare prøve at give det et skud.
• 58:34
  Altså man starter med at så kunne vi også lige have.
• 58:37
  Vi har ikke snakket om præ træning endnu.
• 58:39
  Der kunne godt have været sorteret i det OK.
• 58:42
  Det Der er ideen. Det er at man man træner.
• 58:47
  Ja, hvad gør man? Man laver et datasæt som.
• 58:52
  Hvor man ligesom tager. Chatbot, menneske dialoger eller
• 58:57
  chatbot menneske prompt chatbots svar.
• 59:03
  Og så beder man mennesker om, ligesom at rate de her svar.
• 59:08
  Som chatbotten har givet. Det gør man rigtig mange gange
• 59:12
  laver et rigtig rigtig stort datasæt ud fra det.
• 59:15
  Så træner man en reward model, altså en model til at modellere.
• 59:22
  Hvor godt et svar er givet et chatbots svar er givet et
• 59:26
  spørgsmål Sådan helt lidt simpelt sagt.
• 59:32
  Og så får man en form for model, som er rigtig god til at score
• 59:36
  chatbot svar, altså som som mennesker synes er pleasing som
• 59:41
  mennesker synes er Sådan tilfredsstillende og synes er
• 59:43
  brugbare. Og det du så får ud af det.
• 59:47
  Det er at du får en reward model.
• 59:50
  Som du kan putte ind i et reinforcement learning setup.
• 59:55
  Det vil sige at du kan du kan tage din din din p 3 eller p 4
• 59:59
  eller whatever. Putte den ind i Sådan et her
• 1:00:01
  reinforcement learning miljø, hvor der bare bliver stillet,
• 1:00:05
  hvor der bare bliver pumpet, hvor de her modeller bliver
• 1:00:07
  pumpet. Og så skal de generere svar og
• 1:00:11
  det svar, de genererer bliver så får en en reward score ud fra
• 1:00:16
  den her reward model, som man har trænet.
• 1:00:19
  Og så kan de ligesom så, så kan de ligesom blive trænet op mod,
• 1:00:24
  eller så kan de blive optimeret. Så kan de her kan vi til 3 til 4
• 1:00:28
  blive trænet op mod at please den her reward model som man har
• 1:00:33
  trænet. Gav det lidt bare lidt mening.
• 1:00:38
  Men, men man kan jo næsten se at at Der er rigtig rigtig mange
• 1:00:41
  forskellige grene der kommer sang altså der finder sammen her
• 1:00:45
  og og bliver til bliver til det der loop så så så reel forskel i
• 1:00:51
  løn med human feedback skal man jo forestille sig som værende et
• 1:00:54
  stort system af mange forskellige elementer og system,
• 1:00:58
  altså modeller og ting der spiller sammen ikke?
• 1:01:01
  Men hvor at setting er det her? Det er jo så ikke rigtig
• 1:01:06
  formuleret sig med et spil alligevel, og Det er måske også
• 1:01:08
  det der gør det lidt specielt. Men Det er reward delen ligger
• 1:01:13
  i, at Det er mennesker der har givet en reward, og Det er jo i
• 1:01:18
  et spil. Man modellerede man modellerede
• 1:01:21
  menneskers evne til at vurdere et svar, et chatbot svar, og så
• 1:01:26
  har man ligesom optimeret op mod.
• 1:01:29
  Den modellering miljøet er at chatten ikke svar og spørgsmål
• 1:01:33
  og svar egentligt relativt nemt. Men men ret svært at komme med
• 1:01:38
  et Sådan et definitivt reward i et spil der har du vundet eller
• 1:01:41
  tabt. Du har typisk nogle meget meget
• 1:01:43
  klare miljømæssige variable for at måder at måle det på, men her
• 1:01:49
  har man altså fået reinforce madlavning til at være en del af
• 1:01:51
  et. Kan man sige noget, som ikke er
• 1:01:54
  særligt spil miljøorienteret, men som stadigvæk har en eller
• 1:01:58
  anden form for subjektiv reward, altså den menneskelige
• 1:02:01
  præference. Og Det er jo der, hvor Det er.
• 1:02:03
  Interessant subjekt. Det er ikke Sådan diskret på
• 1:02:05
  eller Det er Sådan kvantitativt. Ligesom du ved at du fik en
• 1:02:09
  eller et eller andet, eller. Du.
• 1:02:11
  Men vi ser man alligevel den her subjektive præference fra
• 1:02:15
  mennesker, og man formår også at lave en model, som ligesom kan
• 1:02:18
  være den her. Den her reward human model, som
• 1:02:24
  er baseret på andre menneskers. Hvad kan man sige præferencer
• 1:02:30
  og. Og og og og og det der den
• 1:02:33
  sidste del der med at at at det her loop her gør så også at man
• 1:02:36
  kan skalere det op igen igen er den her skalering med, at det
• 1:02:40
  bliver større og større det. I virkeligheden så handler meget
• 1:02:44
  r research om at få skaleret de her trænings setup de her
• 1:02:49
  trænings. Ja konstruktioner altså måder at
• 1:02:54
  træne modeller på op så meget som muligt, uden at man selv
• 1:02:59
  skal ind og annotere eller lable data, eller ligesom der skal man
• 1:03:03
  man prøver ligesom at skalere den her human in the loop.
• 1:03:06
  Op Sådan så man kan fjerne den kan man sige et eller andet.
• 1:03:11
  Nå Vi skal videre over en time i podcast.
• 1:03:15
  Det bliver en god sæson. Ja men vi vi går videre.
• 1:03:18
  Supervise learning. Ja Det er simpelt.
• 1:03:21
  Så tager vi et skridt tilbage, fordi at at det.
• 1:03:24
  Skulle nok have. Taget for supervised learning er
• 1:03:27
  jo egentlig det, vi gør, når vi siger for eksempel, Jeg har et
• 1:03:32
  billede her, Der er en kat og en hund.
• 1:03:34
  Jeg kunne godt tænke mig, at den her model lærte at differentiere
• 1:03:37
  mellem, hvad er en kat og hvad en hund?
• 1:03:42
  Så kommer den, så putter jeg billeddataene igennem det her
• 1:03:45
  neurale netværk, og så kommer den med et bud.
• 1:03:47
  Det var en hund, og så siger jeg ej Det var altså en kat.
• 1:03:51
  Og hvorfor siger jeg at hvordan ved jeg at Det var en kat?
• 1:03:54
  Jamen det ved jeg fordi Jeg har et label på billedet hvor der
• 1:03:58
  står det ene kat. Har superviseret.
• 1:04:00
  Jeg har superviseret som menneske igen.
• 1:04:02
  Det det hænger meget godt sammen, men lige sagde før at
• 1:04:06
  det her. Det er det rigtige label til til
• 1:04:08
  det her billede her oppe. På den måde har jeg jo
• 1:04:11
  muligheden for overhovedet at lave beregningen.
• 1:04:14
  Imellem, rigtigt og forkert. Så kan du optimere hen.
• 1:04:17
  Mod det og kan optimere hen mod det rigtige og og faktisk i det
• 1:04:21
  lige præcis den der del der altså den superviserede, ligger
• 1:04:25
  kernen i succesen i rigtig meget af og maskinen netop at lave.
• 1:04:32
  Hvad kan man sige? Lærings sluppet er ligesom løst
• 1:04:37
  og feedback, og Det er korrekt. I feedback er løst givet, at ens
• 1:04:41
  data er labet korrekt. Læg mærke til den lille detalje.
• 1:04:47
  Læg mærke til den lille detalje, og.
• 1:04:50
  Når man nogle gange hører at. Den model var ikke særlig god,
• 1:04:56
  så kan man også tit sige. Det data den model valg baseret
• 1:05:00
  på, var ikke særlig godt. Det kan man nærmest.
• 1:05:03
  Stort set er det bare altid det Der er svar.
• 1:05:05
  Og Det er sjovt, fordi de her sprog de her modeller neurale
• 1:05:08
  netværk. Der er rigtig mange der siger,
• 1:05:11
  og Det er også min oplevelse. De lærer det man lærer dem.
• 1:05:17
  Altså Det er de lærer det Der er i data, og Det er faktisk
• 1:05:19
  overraskende gode til. Og hvis det.
• 1:05:21
  Er dårlig til at lære. Hvis hvis de, hvis de har en
• 1:05:25
  utilfredsstillende performance, så er det ofte fordi, at Der er
• 1:05:28
  selvmodsigelser i data eller der ikke er dækket i data, eller Der
• 1:05:32
  er et eller andet med data som er som er.
• 1:05:34
  Forestille os et scenarie Jeg har talt om for nyligt.
• 1:05:38
  Det er at Jeg har en masse læger, og Det er ikke for at
• 1:05:41
  sige noget dårligt om læger derude, som har annoteret eller
• 1:05:45
  sat et label på et røntgenbillede.
• 1:05:47
  For eksempel sagt det der. Det er altså kræft det der, og
• 1:05:52
  så har de sagt det der. Der er ikke noget kraft i det
• 1:05:54
  der. Så har vi en masse data på det
• 1:05:57
  ikke? Og så har vi sagt, vi laver sgu
• 1:06:00
  en model til at at gøre som lægen sige ja eller nej.
• 1:06:04
  Til det her billede her? Det, der så ofte viser sig i
• 1:06:10
  virkeligheden. Det er at lærere tager sjovt nok
• 1:06:12
  også fejl, og derfor er læger ikke sandheden.
• 1:06:16
  Derfor er det data, der kommer ud af, når læger siger det her.
• 1:06:20
  Det er ikke kræft og det her, Det er kraft.
• 1:06:22
  Ikke godt nok til. Ground true.
• 1:06:24
  Det er ikke ground truth så så derfor så er man nødt til at
• 1:06:29
  verificere sit data mere. Man er nødt til at bruge mere
• 1:06:33
  tid på at øge kvaliteten end det data man arbejder på.
• 1:06:37
  Desværre fordi hvis man byggede en model på på på lægens bedste
• 1:06:41
  bud, jamen så fik man også en model på lægens bedste bud.
• 1:06:45
  Men lægens bedste bud er så bare ikke så godt og derfor så så så
• 1:06:49
  er modellen heller ikke god nok og vil ikke blive accepteret af
• 1:06:52
  en ekspert læge som er bedre end.
• 1:06:55
  Læs gennemsnitlige bedste bud og det og Det er Det er Sådan en.
• 1:07:01
  Det er ret vigtigt at forstå. Derfor er den super avisering af
• 1:07:04
  kernen, men Det er ret vigtigt at supervisere ting er i høj
• 1:07:09
  kvalitet ikke så lægen der skal kigge på de der billeder skal
• 1:07:14
  være en dygtig læge. Og når du ikke når du når du, så
• 1:07:18
  når du bliver ked af det. At din model ikke performer lige
• 1:07:20
  så godt som du havde regnet med, så lad være med at tænke.
• 1:07:23
  Ej kan jeg ændre et eller andet ved modellen, som gør, at den
• 1:07:26
  bliver bedre. Kan på det lag mere på.
• 1:07:27
  Eller kan jeg bruge en anden model og arkitektur?
• 1:07:30
  Lad være med at tænke på det. Tænk på kan jeg bedre?
• 1:07:34
  Hvad er det ved mit datasæt Der er galt fordi modellen den lærer
• 1:07:37
  bare det Der er i datasættet altså det virker virkelig som om
• 1:07:40
  at Det er det der sker ikke en supervise learning.
• 1:07:44
  Det er jo så det uløste problem. For de skal snakke om selve
• 1:07:48
  supervise løsning lige bagefter. Så ja.
• 1:07:52
  Man kan sige und supervised learning det.
• 1:07:53
  Det er et godt spørgsmål. Altså man kan sige Der er mange
• 1:07:55
  der bliver forvirret mellem os og selv supervised learning og
• 1:07:58
  Det er også meget relateret, men man kan sige og en supervised
• 1:08:01
  learning Det er hvor. En form for learning kan man
• 1:08:05
  sige hvor du. Ikke har nogle labels altså du
• 1:08:08
  har ikke nogen ja du har ikke nogen mennesker som ligesom
• 1:08:12
  suger ved serer dig i din læring og på den måde kan man sige er
• 1:08:16
  det learning? Ja det ved jeg ikke nå men Det
• 1:08:19
  kan være Sådan noget som du kan tager en masse data, og så har
• 1:08:22
  du din repræsentationer af det og så laver du en eller anden
• 1:08:23
  form for clustering af det, altså du laver Sådan nogle nogle
• 1:08:27
  grupper af det som hvor du grupperer data som minder om
• 1:08:30
  hinanden og så kan du sige at. Jamen data i den her gruppe
• 1:08:34
  siger, Vi er. Et eller andet og så videre.
• 1:08:37
  Altså Sådan. Ja.
• 1:08:42
  Jeg vil jo. Jeg vil jo også.
• 1:08:43
  Jeg er enig i at at clustering, som er en klassisk ting indenfor
• 1:08:48
  on supervised learning, er en konsekvens af at sætte Sådan en
• 1:08:51
  algoritme ud og prøve at kigge på data.
• 1:08:54
  Men man kan også kigge på det Sådan.
• 1:08:55
  Lad os nu sige, at vi havde et datasæt af katte og hunde for
• 1:08:58
  eksempel, og vi gav den til en supervise model.
• 1:09:02
  Vi havde rent faktisk labels, altså vi vidste godt, hvad der
• 1:09:05
  var kat og hund, men gad vide om den kunne finde ud af hvad der
• 1:09:09
  var kat og hund? Altså den kunne finde ud af at
• 1:09:12
  lave 2 kasser og putte et kat og hund i ikke fortælle at Det var
• 1:09:16
  kat og hund. Men at den kunne finde ud af at
• 1:09:18
  lave de 2 kasser og og og tegne en streg imellem og sige det
• 1:09:22
  her. Det er nok 2 forskellige ting.
• 1:09:24
  Det er jo det. Det er jo det som en klynge
• 1:09:26
  analyse gør ikke altså det her med at ligesom at separere ting
• 1:09:29
  og sige det her er nok 2 forskellige ting, så den usunde
• 1:09:33
  visende læring den går egentlig ud på at typisk at minimere hvad
• 1:09:39
  kan man sige afstanden indimellem observationerne og
• 1:09:44
  altså internt og så maksimere den eksterne afstand?
• 1:09:48
  Ikke altså ligesom. Sige, det her hører til herovre,
• 1:09:51
  og det her hører til herovre. Men jeg føler også bare lidt.
• 1:09:53
  Jeg føler også lidt Det er Det er lidt en drøm om at man kan
• 1:09:55
  finde en masse indsigt i data uden at.
• 1:09:59
  Altså bare i data som Det er, kan man sige Det er lidt en drøm
• 1:10:03
  om at man kan få en masse indsigter og en masse spændende
• 1:10:06
  ting ud af data. En stor bunke data, som ingen
• 1:10:09
  har kigget på nogensinde eller er noteret noget som helst,
• 1:10:11
  ikke? Ja så så.
• 1:10:14
  I praksis er Det er det meget sjældent at at at at nogen
• 1:10:17
  begiver sig ud i, og hvis de gør det.
• 1:10:21
  Sådan. Analyse, så bliver det Sådan
• 1:10:22
  eksplorativt, ikke? Altså forstået på den måde, at
• 1:10:24
  man prøver at undersøge. Gad vide om der var nogle
• 1:10:27
  interessante mønstre som det her data, så man kunne opdage som
• 1:10:31
  man, som man ikke vidste man havde i sit data.
• 1:10:34
  Det kan være en måde ligesom at ja som Det kan være, man kan
• 1:10:36
  opdage nogle ting, vi Sådan data eller Det kan være man kan
• 1:10:38
  hjælpe. Det kan hjælpe en at at lave
• 1:10:41
  noget supervisors modellering på det at ligesom hjælpe en til at
• 1:10:45
  bedømme om det giver mening at modellere det her data med
• 1:10:48
  superredning et eller. Det næste.
• 1:10:52
  Det er self supervised learning og Jeg tror måske i
• 1:10:53
  virkeligheden lidt. Det er en underkategori af og en
• 1:10:56
  supervised learning, og Jeg er også lidt forvirret over hvad
• 1:11:00
  Der er hvad og men lad mig lige prøve at fortælle hvordan jeg
• 1:11:02
  forstår selv supervise løsningen selv supervise løsning Det er
• 1:11:05
  hvor du tager en masse data, som ingen ved noget som helst om,
• 1:11:08
  som ligesom bare er en stor hav af daler bare noget data som der
• 1:11:12
  ikke er nogen der har aktivt har labbet eller gjort noget ved og
• 1:11:16
  så fjerner du noget af dataen. Og så sætter du lige Sådan
• 1:11:20
  ligesom dine modeller til at forudsige det der mangler og så
• 1:11:24
  på den måde. Laver du ligesom et supervise
• 1:11:28
  læringsbrug? Problem eller en setup men den
• 1:11:31
  superviserer sig selv fordi den fjerner bare selv Det er den Det
• 1:11:34
  er den ligesom Det er den ligesom skal forudsige, og på
• 1:11:37
  den måde kan man få modeller til at lære noget om data.
• 1:11:41
  Uden Manuel er notere det, men ligesom bare ved at fjerne deler
• 1:11:46
  dele af det data som. Og det, og Det er jo et godt
• 1:11:49
  eksempel på, at der ikke er noget.
• 1:11:52
  Der er ikke noget menneske, der har været ude af label data, men
• 1:11:56
  men den er ligesom selvlavet det på en eller anden måde.
• 1:12:00
  Men Jeg vil jo stadig. Jeg synes jo stadigvæk at og det
• 1:12:04
  setup super super vis. Det er stadig supervise og ikke
• 1:12:07
  selv unsub avis fordi det ville ikke give så god mening så.
• 1:12:12
  På en eller anden måde, ikke? Jo, men Jeg tror man skal lægge
• 1:12:14
  vægt på det supervise og stadigvæk fordi at man jo har
• 1:12:17
  netop evnen til at beregne den her loss.
• 1:12:19
  Ramte du rigtigt eller forkert, og når du har den evne i dit
• 1:12:23
  data, jamen så er der en eller anden form for super avisering,
• 1:12:25
  men superviserer ingen kommer II kraft af af hvad kan man sige
• 1:12:29
  datainfrastruktur i sig selv? På en eller?
• 1:12:32
  Anden måde så sandheden omkring, hvordan data bør se ud er
• 1:12:36
  ligesom bare ligesom lad os nu tage tekst ikke også Jeg har en
• 1:12:39
  sætning Jeg har fjernet et ord. Jeg ved godt hvad Det er for et
• 1:12:42
  ord. Sandheden er at Det er det her
• 1:12:44
  ord der var i den her sætning herinde.
• 1:12:46
  Så på den måde, så har man har man, ligesom man har bare
• 1:12:50
  konstrueret noget data til en super avisering.
• 1:12:54
  Jeg tror Det er det man ligesom skal se det som som dybest set
• 1:12:58
  så kan man så kan man sige at man man man kan faktisk lave
• 1:13:02
  selv supervised learning på. Rigtig rigtig mange former for
• 1:13:07
  data derude, altså stort set alt, og Det har en masse
• 1:13:10
  benefits. Det skal vi ikke gå ind i for
• 1:13:12
  meget, fordi så bliver det. Dybt, men det holder måske er
• 1:13:15
  måske meget godt i forhold til det næste ord, som Vi skal
• 1:13:17
  snakke lidt om, og Det er præ træning eller præ træning.
• 1:13:21
  Fordi fordi Det er jo ligesom lidt det som er den helt store
• 1:13:25
  anvendelse af supervised learning kan man sige, fordi det
• 1:13:28
  man har fundet ud af at selv supervise learning er rigtig
• 1:13:30
  godt til Det er, at Det er rigtig godt til at.
• 1:13:34
  Give model en eller anden form for model, typisk transformere
• 1:13:38
  en god. Sådan grundforståelse er data
• 1:13:42
  domænet eller den type data, som altså giver Sådan en eller anden
• 1:13:46
  form for modellerne. En form for rigtig grund,
• 1:13:48
  grundlæggende solid domæne forståelse er for eksempel
• 1:13:52
  sprog, og der har man blandt andet fundet ud af med jeg
• 1:13:55
  blandt andet med PT og Sådan noget som modeller som board at,
• 1:13:58
  hvis man tager noget tekst og fjerner nogle ord og sætter en
• 1:14:01
  model til at. Giver det de ord, der mangler,
• 1:14:05
  så bliver de, bliver de rigtig gode til at forstå.
• 1:14:07
  Altså så bliver det Sådan ligesom generelle
• 1:14:09
  sprogforståelse modeller agtigt. Men PT modellerne, så tager du
• 1:14:15
  ligesom bare en masse tekst, som ingen har lavet med noget som
• 1:14:18
  helst. Så kører du ligesom iterativt
• 1:14:21
  hen over det her tekst og så for at forudsige prøver du bare
• 1:14:24
  ligesom at få modeller til at forudsige det næste ord hele
• 1:14:26
  tiden. Og Det har man fundet ud af at.
• 1:14:29
  Det tager en ret langt ret langt af vejen i forhold til at lave.
• 1:14:37
  Asian model kan man sige altså modeller som ligesom forstår
• 1:14:40
  tekst og har en masse indbyggede viden på en eller anden måde.
• 1:14:45
  Og og den den præ træning altså det at de.
• 1:14:51
  For eksempel ikke kunne finde på at lave syntaktiske forkerte
• 1:14:57
  sætningskonstruktioner, altså hvor de hvor det pludselig
• 1:14:59
  kommer et eller andet ord ind, som slet ikke giver mening for
• 1:15:02
  eksempel II en i en sætning. Den bliver den bliver lært og
• 1:15:07
  minimeret rigtig, rigtig godt og grundigt i den der præ træning.
• 1:15:10
  Og Det er jo en af de vigtigste ting, kan man sige.
• 1:15:12
  Det er forudsætningen for, at der overhovedet er en eller
• 1:15:15
  anden form for sprogforståelse. Det er at at at det der med at
• 1:15:18
  skrive noget tekst som syntaktisk og.
• 1:15:21
  Sprogmæssigt rent faktisk er noget man kan læse.
• 1:15:25
  Det er ligesom Sådan okay. Så har du moduleret sproget.
• 1:15:28
  Så har du forstået? Noget du ikke har har det med at
• 1:15:31
  du stadig producerer noget syntaktisk.
• 1:15:34
  Nogle ord som ikke rigtig helt giver god mening.
• 1:15:38
  Jamen så har du ikke så har du ikke en model Der er har
• 1:15:41
  forstået sproget rigtigt, eller også har du nogle nogle cases
• 1:15:44
  der ikke er indfanget godt nok og derfor er den der præger
• 1:15:47
  træning der ligesom indfanger alle de der ting der.
• 1:15:50
  Den skal bare have så meget tekst og så meget træningstid
• 1:15:52
  som muligt. Det er det træningen i
• 1:15:55
  lejligheden. Og man kan sige en stor fordel
• 1:15:57
  ved det netop den her selv supervised learning, især hvor
• 1:16:00
  du ligesom bare autolager data og så den her som du så bruger
• 1:16:06
  selv supercharging til at lave prøvetræning jeg bruger
• 1:16:08
  modeller. Den helt store fordel ved det
• 1:16:11
  som jeg ser det. Det er at du kan.
• 1:16:14
  Skru helt op for skaleringen af data.
• 1:16:16
  Du kan ligesom bare skalere vilkårligt højt op i forhold til
• 1:16:20
  data. Og så kan du, så kan du få det
• 1:16:22
  her. Hvad skal man sige det her ønske
• 1:16:24
  om at træne på så meget data som overhovedet muligt opfyldt ved
• 1:16:28
  at. Ja, og Det er jo det, vi alle
• 1:16:31
  sammen ved at de har deep learning, neurale netværk
• 1:16:33
  modeller har rigtig godt af virkelig meget data ikke?
• 1:16:37
  Og Det er lige det. Det er de rigtig gode til at
• 1:16:39
  håndtere jeg altså. Det er Sådan det helt store game
• 1:16:42
  ved selve supervise learning og præ træning eller pre træning.
• 1:16:46
  Næste den næste ord, fine tuning og det hænger jo meget godt
• 1:16:49
  sammen med med med med præ træning i virkeligheden fordi.
• 1:16:54
  Som vi sagde før præ træning, det tager dig langt.
• 1:16:59
  Ja hvad skal man sige? 50% af vejen et eller andet
• 1:17:02
  procent. Det tager dig langt.
• 1:17:04
  Det gør virkelig at at du får nogle grundmodeller som forstår
• 1:17:06
  sprog helt vildt godt. Men typisk så er de ikke, så er
• 1:17:12
  de det. Det er ligesom et, så bliver de
• 1:17:13
  her modeller et godt udgangspunkt for at træne videre
• 1:17:16
  på. Sådan så du kunne vel vil kunne
• 1:17:18
  opnå bedre performance ved at træne videre på en prøvetræning
• 1:17:21
  model end du ville gøre på en model der bare var helt, helt
• 1:17:24
  random tomme. Ikke så man ikke havde set alle
• 1:17:26
  de her mange milliarder tons så fintuning.
• 1:17:29
  Det er den proces man bruger, når man så ligesom vil tage
• 1:17:33
  udgangspunkt i de her store prægede modeller.
• 1:17:36
  Og så specialisere dem til 1 1 bestemt opgave.
• 1:17:40
  Og det kunne blandt andet være at svare tilbage i et spørge
• 1:17:44
  svar, format chat format format eller et en struktion format,
• 1:17:49
  som vi også snakkede om tit, at man giver en en model nogle
• 1:17:51
  instruktioner. Det er alt sammen fine tuning
• 1:17:55
  opgaver, hvor at den rå prægede model dybest set ikke er særlig
• 1:18:02
  god til særlig meget anvendeligt, men som som
• 1:18:07
  alligevel har rigtig meget af det her.
• 1:18:08
  Sprogforståelse og alle de her ting inde i sig.
• 1:18:10
  Sådan så når den når den producerer det næste ord og det
• 1:18:14
  næste token, så er det ikke volapyk.
• 1:18:16
  Jeg ser nogle gange lidt. Tænk, at der skal så meget til
• 1:18:18
  for bare at nå til der hvor den ikke producerer den næste tone
• 1:18:21
  som noget volapyk. Så Det er den her meget basic.
• 1:18:24
  Ja nogle gange tænker lidt på dem Sådan en baby.
• 1:18:26
  Analogi babyer bliver født med øjne og ører og lugtesansen og
• 1:18:32
  alt Sådan noget ikke, og Det kan de godt ligesom de modtager
• 1:18:35
  data. De kan godt ligesom modtage det
• 1:18:38
  og lave en eller anden form for sendes ud af det.
• 1:18:41
  Men men Sådan, men de er stadig Sådan rimelig random i deres
• 1:18:45
  action, så de kan ikke. Bruge.
• 1:18:47
  Brugbare. Fædre derude eller måske nye
• 1:18:53
  fædre, så de bliver baby er de ikke, så de er ikke så brugbare.
• 1:18:58
  Der blev ja og møder os ikke på det.
• 1:19:01
  Hvad hedder det? Undskyld?
• 1:19:03
  Nej Det er fint. Og og der ser jeg ligesom Sådan
• 1:19:07
  her, og Det er måske lidt kynisk.
• 1:19:09
  Jeg ved ikke om Det er lidt, men men Sådan lidt kynisk at se
• 1:19:11
  Sådan den her baby analogi ikke, men så skal de jo ligesom
• 1:19:13
  babyerne skal ligesom. De foundation.
• 1:19:17
  Human eller anden måde ikke, og de skal ligesom. 20. stil det
• 1:19:22
  lyder meget kynisk. Det er ikke meget ingeniør og
• 1:19:25
  agtig, ligesom de skal ligesom tunes til at forstå verden og
• 1:19:28
  forstå sprog og forstå visuelle indtryk og Sådan nogle ting,
• 1:19:31
  ikke? Og Det er meget det jeg ser den
• 1:19:33
  her fintuning som Det er den her.
• 1:19:36
  OK nu har du det basale sanseapparat til at forstå
• 1:19:40
  sprog. Det er betrækning.
• 1:19:42
  Nu skal du gøre sproget bare nu skal.
• 1:19:44
  Du ud i verden og bruge det til et eller andet fornuftigt ikke
• 1:19:46
  som ikke bare er random get på ordet der mangler og Sådan noget
• 1:19:51
  ikke så nu skulle ligesom lære et eller andet brugbart, så
• 1:19:55
  Sådan er det. Så så skal vi snakke om den her
• 1:20:00
  rækkefølge kunne godt have været bedre.
• 1:20:02
  Lad mig sige det Sådan, men så. Skal vi snakke enten på
• 1:20:04
  podcasten kunne have været en time og 20 minutter.
• 1:20:07
  Det er også. Det, Det er en af de længere
• 1:20:09
  ikke Vi har 2 ting tilbage, og Vi skal nok komme i mål her n
• 1:20:13
  coder decoder. Vi tilbage til Vores ven
• 1:20:18
  transformeren. Det er vi.
• 1:20:19
  Nemlig som jo var en arkitektur, der var lavet med en en encoder
• 1:20:25
  og en dekoder, og hvis vi lige skal sige lidt om hvad en
• 1:20:27
  encoder er. Jeg prøver lige med n koderne i
• 1:20:29
  hvert fald. En coden er jo faktisk den del,
• 1:20:34
  der tager noget tekst og gør den til omformer den til en eller
• 1:20:40
  anden repræsentation i tal. Ikke en embedding en.
• 1:20:43
  Vektor vektor representing og og den her en coating, men men så
• 1:20:50
  nede i den her attention, Der er det her en coating også et stort
• 1:20:53
  en stor ting fordi at man har. Men den har har den her en word
• 1:20:59
  en betting altså som er en form for en coating altså, men man
• 1:21:02
  har også den her positionelle en coating som som.
• 1:21:07
  Som også ligesom en coder hvilken position?
• 1:21:10
  1 1 1 1 Torben har II en sekvens for eksempel så hele en coder
• 1:21:14
  delen. Det er ligesom Sådan.
• 1:21:18
  Hvor skal? Hvor skal jeg placere det her
• 1:21:22
  stykke tekst i mit vektor space, når jeg så har en kørt det
• 1:21:26
  igennem med cooter delen, så har det fundet sit sin
• 1:21:29
  repræsentation. Det ligger her.
• 1:21:31
  Sit sted inde i de store. Vektor space hvis hvis man har
• 1:21:36
  fulgt podcasten til nu, så har man forstået de andre ting, men
• 1:21:40
  det og og hvad så? Ikke fordi så er jeg jo så nu nu
• 1:21:43
  står jeg med en masse tal og et vektor space og Sådan nogle
• 1:21:47
  ting, men hvad nu hvis jeg så gerne vil tilbage til noget
• 1:21:49
  tekst? For eksempel ikke jeg puttede
• 1:21:52
  tekst ind. Jeg vil jo gerne have det næste
• 1:21:54
  ord for eksempel. Jeg vil gerne forudsige, eller
• 1:21:56
  det næste token må vi jo hellere sige.
• 1:21:58
  Du ved folk, hvad token er hvad så?
• 1:22:00
  Så skal jeg bruge en k dag? Ikke så nu nu får du din k af
• 1:22:04
  bolden. Jamen dekoder Det er jo så Sådan
• 1:22:07
  en en form for dims som er bygget af transfer en
• 1:22:11
  transformer arkitektur, som så ligesom tager den her
• 1:22:13
  repræsentation og så. Der blev lavet i det her betting
• 1:22:16
  space eller vector space eller whatever og så ligesom omformer
• 1:22:20
  det til noget tekst en eller anden form for tekst.
• 1:22:22
  Og Det var altså den her NK der decoder arkitektur var noget der
• 1:22:26
  blev beskrevet i attentats all units paperet fra 2017, hvor at
• 1:22:31
  en transformeren første gang blev.
• 1:22:32
  Hvad skal man sige introduceret og der var use casen ligesom
• 1:22:37
  translation altså oversættelse af tekst hvor og der har man det
• 1:22:41
  faktisk. Det er også noget man har set
• 1:22:42
  før i forhold til altså i tidligere i forskningen en LP
• 1:22:45
  forskningen. Med recurrent neural networks at
• 1:22:50
  man man man kan faktisk have en. Engelsk n koder og en tysk
• 1:22:56
  decoder, så putter noget engelsk ind i den engelske n cooter får
• 1:23:00
  en vektor et eller andet space, og så kan du decode den med en
• 1:23:05
  tysk decoder og så få tysk ud på den anden side.
• 1:23:08
  Men det skulle også fungere. Sådan må man ikke selv prøvet
• 1:23:11
  det, men det efter sigende skulle det fungere Sådan at du
• 1:23:13
  faktisk kunne skifte den tyske et DK der ud med en fransk
• 1:23:17
  decoder og så få det ud på fransk i stedet for.
• 1:23:21
  Altså så ideen er ligesom at. De her DKN koderen repræsenterer
• 1:23:26
  mapper ligesom noget tekst ind i en eller anden form for
• 1:23:28
  universel. Ja sprog forståelses embedding
• 1:23:32
  space, som er uafhængigt af sprog.
• 1:23:36
  Landes specifikke sprog. Lande specifikke sprog jeg tysk.
• 1:23:40
  Engelsk eller dansk Kultur specifikke sprog.
• 1:23:44
  Og så kan det så ligesom komme ud i ja fordi der var både
• 1:23:47
  programmeringssprog, sprog, ja og så kan det ligesom blive
• 1:23:51
  oversat ikke ja, og det Der er lidt altså og det man oftest
• 1:23:55
  hører i dag bruger man ikke nær så meget af den her n koder
• 1:23:59
  dekoder måde at gøre tingene på det man mere gør.
• 1:24:03
  Det er at man bruger en encoder modeller og det bruger man til
• 1:24:07
  Sådan noget som. Meget til Sådan noget som
• 1:24:08
  embedding modeller, men også til Sådan nogle board 20 modeller
• 1:24:13
  som er en helt anden snak. Og så dekoder og modeller.
• 1:24:17
  Det er Sådan noget som p 3 og p 4 som.
• 1:24:21
  I only. Og det sjove ved Det er at Jeg
• 1:24:26
  synes jo Det er lidt misvisende, fordi at det får en til at tænke
• 1:24:30
  at nå, men så er der nok ikke rigtig nogen en coatede
• 1:24:32
  repræsentation af det her tekst, for at man så forudser det næste
• 1:24:37
  ord. Men Det er jo ikke rigtigt.
• 1:24:38
  Der er jo netop en en rig repræsentation af teksten i tal,
• 1:24:44
  som er på det tidspunkt, der lige før man begynder at
• 1:24:48
  forudsige, hvad det næste ord måtte være i den her sætning, en
• 1:24:51
  repræsentation af teksten. Det sidste lag, for så så det.
• 1:24:59
  Jeg synes faktisk at på nogen måde er det Sådan lidt svært at
• 1:25:02
  finde ud af hvornår er noget info og hvornår er noget DK er
• 1:25:04
  ikke fordi at Det er jo stadigvæk.
• 1:25:06
  Det er jo det de har kaldt dem, men Det er jo stadigvæk et
• 1:25:08
  neuralt netværk med låg, og de er alle sammen lag ikke så så
• 1:25:14
  Det er Det er. Det skal forstås på en måde hvor
• 1:25:16
  man ligesom Jeg tror at man går fra tekst til tal n coating og
• 1:25:21
  man går fra tal til tekst for eksempel eller fra tekst til tal
• 1:25:25
  og og så som er en NKD og så fra tal til billede.
• 1:25:30
  Kunne det være så med en decoding, ikke?
• 1:25:34
  Så Det er nogle jeg ser det lidt mere som nogle dele af det
• 1:25:38
  neurale netværk, der foretager sig nogle operationer, der ender
• 1:25:41
  med at transformere data i en bestemt retning dybest set.
• 1:25:45
  Så Sådan er det, men Det er også noget, man har brugt.
• 1:25:47
  Det er noget, man har brugt lang tid i deep learning.
• 1:25:50
  Hvad skal man sige i forskningen der?
• 1:25:51
  Man har også? Der er også mange, der har rodet
• 1:25:53
  med Sådan det, man kalder for en alto encoder, som har som er du
• 1:25:58
  ved, og Det er basically bare en form for neurale netværk,
• 1:26:02
  arkitektur som tager som har en encoder, en decoder, og så tager
• 1:26:06
  den bare et stykke data. Laver den ned indkoder den ned
• 1:26:10
  til en repræsentation, som er komprimeret, som er mindre end
• 1:26:12
  den, der kom ind, og så træner den end de koder til at genskabe
• 1:26:16
  det. Lige hvis i genskabe sig selv,
• 1:26:19
  ikke. Og hvad kan man så bruge det
• 1:26:22
  til? Og Det kan man Det kan man måske
• 1:26:24
  i virkeligheden bruge til at ja, hvad ved jeg?
• 1:26:27
  Komprimering komprimering. Altså du kan komprimere data ned
• 1:26:30
  til en repræsentation hvor at det ligesom.
• 1:26:35
  Hvor at hvor at du har så meget information som muligt i den
• 1:26:40
  mindre præsentation du skal bruge til at få genskabt det
• 1:26:43
  igen. Data ikke Sådan er det.
• 1:26:46
  Det er jo så noget vi i mål. Vi er nået i mål?
• 1:26:48
  Ja. Og Vi er i den længste podcast
• 1:26:51
  på halvanden time. Så.
• 1:26:54
  Det var 20 hårde RN begreber vi var igennem i dag.
• 1:26:59
  Jeg håber virkelig jeg håber Der er nogen derude som er blevet
• 1:27:02
  klogere fordi ellers har det her med at spilde af halvanden time
• 1:27:06
  så. Og.
• 1:27:07
  Vi skal have, vi lover at klippe lidt til til små bytes om om
• 1:27:12
  forskellige begreber. Vi har jo trods alt. 20 så vi
• 1:27:16
  kan jo godt det ville give mening at klippe det op ikke
• 1:27:18
  hvad hedder det jeg tænker at. Det kan muligvis være, hvis Der
• 1:27:23
  er nogle begreber, som i tænker, at i stadig ikke forstår eller
• 1:27:26
  ikke. Vi godt kunne tænke os vi gik
• 1:27:28
  igennem, så kunne det være vi lavede et par 2 på et andet
• 1:27:30
  tidspunkt, hvor det måske kun var 10 begreber eller et eller
• 1:27:33
  andet whatever. Men så kan vi ligesom samle op.
• 1:27:36
  Ja, fordi vi synes vi Vi er udmærket godt klar over, at Det
• 1:27:39
  er Sådan, ligesom er en rimelig teknisk podcast Vi har gang i
• 1:27:42
  her, så så Vi er også meget interesserede i, ligesom at i
• 1:27:44
  kan følge med derude og ligesom uddanne løbende lad mig sige det
• 1:27:48
  Sådan så det det Jeg kan god mening.
• 1:27:51
  Yes men ja tak for den her gang. Husk at hoppe ind på LinkedIn på
• 1:27:56
  youtube og på. Spotify, Spotify også ja og følg
• 1:28:01
  os og så må i bare have det rigtig godt til vi ses igen.