Latest / Verbos: AI og Softwareudvikling / #43 - Dan Saattrup Nielsen: ScandEval og Evaluering af Sprogmodeller

Transcript

#43 - Dan Saattrup Nielsen: ScandEval og Evaluering af Sprogmodeller · Verbos: AI og Softwareudvikling

• 0:00
  Har allesammen og velkommen til hvad post podcast afsnit nummer
• 0:03
  43 i det her afsnit, der har vi dansk sottrup Nielsen med i
• 0:07
  studiet, og han har faktisk været med en gang, for nu er han
• 0:10
  så med igen og det Vi skal snakke om i dag.
• 0:13
  Det er, at Vi skal snakke om evaluering af sprog modeller og.
• 0:18
  Grunden til, at Vi har taget den med i studiet.
• 0:20
  Det er fordi at dan er manden bag det skandinaviske sprog
• 0:24
  models evaluerings framework, der hedder candida og bag det
• 0:29
  tilhørende leaderboard, som ligesom er koblet på scandic
• 0:32
  valg. Og man kan sige, Det har jo
• 0:36
  eksisteret lang tid, og nu er det blevet ekstra relevant her
• 0:39
  på her for det for nyligt eller for eksempel lige siden, fordi
• 0:43
  der ligesom er blevet koblet det her generative evaluerings
• 0:46
  element på også. Og Det er generelt bare et ret
• 0:49
  stort problem. For for rigtig mange det her med
• 0:52
  at evaluere performance af generative sprog modeller, men
• 0:57
  Vi skal ligesom tage 1, 1 1 1 1 snak om generelt om evaluering
• 1:00
  af sprogmoduler og Vi skal snakke om ja cannibal og.
• 1:06
  Hvordan det ligesom fungerer så. Men velkommen til den.
• 1:11
  Jo tak tak fordi jeg kunne være med.
• 1:15
  Selv tak og ja, velkommen til Jonas.
• 1:19
  Tak. Ja hvad hedder det?
• 1:24
  Ja den du har været med før og. Jeg håber det.
• 1:28
  Jeg tænker at Det var en god oplevelse siden at du har lyst
• 1:31
  til at være med igen. Det var fedt.
• 1:33
  Det var det Marathon episode. Jeg kan også.
• 1:38
  Jeg tror Det var en. Det var en af de første episoder
• 1:40
  af boets podcast og vi snakkede om chat gipsy hvordan den
• 1:45
  ligesom er lavet med vi enforcement learning from human
• 1:47
  feedback og vi snakkede også om p 4 og Sådan lidt forskelligt,
• 1:51
  og Det er faktisk stadigvæk til dags dato.
• 1:54
  Det mest lyttede hvad bruges podcast afsnit så så Det er mega
• 1:58
  fedt, men hvis ikke nej nu flasher men dan hvis man ikke
• 2:04
  har lyttet til det afsnit og ikke.
• 2:07
  Kender dig i forvejen kan du ikke prøve at sætte et par ord
• 2:10
  på, hvem du er og og hvad du laver.
• 2:14
  Jo Jeg kan prøve at gøre det lidt kort altså kort sagt min
• 2:19
  baggrund inden for matematik, så jeg kommer med en kandidat i
• 2:25
  matematik fra KU, og så har jeg siden hen hoppet over i
• 2:28
  forskningsverdenen og tog en ph DI matematik.
• 2:33
  Hvorefter jeg hoppede over ligesom så mange andre ovre i
• 2:36
  dataserie, fordi data science er det nye og Det var Det var ret
• 2:40
  spændende og næsten allerede fra starten af, hvor det meste af
• 2:45
  alt det her sproglige element, altså Sådan NP delen af af
• 2:50
  machine learning, som ligesom var mest spændende for mig.
• 2:53
  Det var dengang hvor at billeder var helt vildt oppe i tiden og
• 2:56
  Sådan noget. Jeg synes bare ikke Det var.
• 2:57
  Det var ikke lige så lige så fedt for mig ligesom at arbejde
• 3:00
  med jeg havde en eller anden. Tættere forbindelse til til
• 3:03
  sprog frem for pixels. Men Det er jo så bare en en
• 3:09
  smagssag. Kan man sige så er jeg bedre
• 3:11
  over og tog en post. Ok Det var så i det designs og
• 3:15
  Det var inden for Sådan noget misinformationen detektion på på
• 3:18
  Twitter, så Det var lidt en blanding af noget graf halløj på
• 3:21
  Twitter og NP og også lidt billeder af de billeder du
• 3:26
  uploader på på Twitter. Selvfølgelig er jeg tilbage.
• 3:30
  Det var så ovre i England. Så flyttede tilbage til Danmark
• 3:32
  igen. Og så har jeg arbejdede i en
• 3:35
  håndfuld forskellige steder, så Jeg har været i nogle startups.
• 3:38
  Jeg har været i Erhvervsstyrelsen, og nu har jeg
• 3:40
  så været i Alexandra instituttet i tæt på 2 år.
• 3:45
  Nu tror jeg lidt omkring og jeg så Det er Sådan en lidt lidt
• 3:51
  sjov sammensmeltning af, at Det er Sådan jeg laver stadig
• 3:55
  forskning, men Jeg er samtidig også konsulent inden for machine
• 3:57
  learning, så Det er Sådan lidt en en blanding et et stort sted
• 4:01
  II begge verdener så at sige, som er meget, meget hyggeligt.
• 4:05
  Men der laver jeg så primært LP både på tekst og tale, primært
• 4:13
  på dansk, svensk, norsk. Sweet.
• 4:18
  Ja fordi i på Alexandra instituttet er det Sådan at er
• 4:21
  Det er det Sådan, når man arbejder der, som er specialist.
• 4:24
  Som du gør, så er det Sådan fifty fifty forskning og
• 4:27
  konsulent arbejde ja. Så Det er Sådan.
• 4:30
  Overordnet set er det det, som er det, der ligesom er den
• 4:36
  overordnede strategi, eller hvad man kan sige, altså Sådan at
• 4:39
  alle medarbejdere Sådan i snit skal skal arbejde fifty fifty.
• 4:43
  Vi laver selvfølgelig andet end AR lappet er af en af de labs,
• 4:48
  som Vi har, men Vi har også noget cybersikkerhed for
• 4:50
  eksempel, og Vi har et land, der hed.
• 4:53
  Og insights, som er folk med antropologisk baggrund, som
• 4:58
  ligesom hjælper virksomheder med at skulle adoptere ny teknologi,
• 5:03
  og ligesom det menneskelige aspekt af det.
• 5:05
  Og flere forskellige andre andre labs, men Det er Sådan det der
• 5:10
  samler os og Sådan noget tech kan man sige i bred forstand.
• 5:14
  Ja. Sweet.
• 5:16
  Spændende. Jeg tænker, om vi ikke bare skal
• 5:20
  dykke direkte ned i det jeg tænker på til at starte med her.
• 5:25
  Kan du ikke fortælle? Øh, hvad var Sådan helt
• 5:28
  overordnet? Hvad er sprogmoduler?
• 5:31
  Og hvorfor har man brug for at evaluere?
• 5:35
  Så sprog modeller kan være rigtig mange forskellige ting i
• 5:40
  virkeligheden, altså i princippet det, som Det er
• 5:43
  blevet til i nyere tid, er en eller anden form for statistisk
• 5:47
  model. Typisk som modellerer sprog på
• 5:52
  en eller anden måde, og så med Sådan en model kan man så
• 5:56
  behandle tekst. Man kan også særligt her i nyere
• 6:01
  tid få den til at generere tekst.
• 6:04
  Men Det er Sådan det overordnede framework, at Det er en model,
• 6:07
  der ligesom har et et begreb. Og om hvad?
• 6:12
  Hvordan sprog ligesom fungerer og det går helt altså tilbage
• 6:15
  til Sådan lidt mere klassiske modeller og Sådan noget back of
• 6:18
  words og Sådan noget hvor du ikke hvor du ignorerer
• 6:21
  rækkefølge, hvor du ligesom bare har et koncept om Der er nogle
• 6:23
  ord, og så er der forskellige andre modeller så fra ligesom
• 6:30
  back of words land, så udviklingen gik så mere hen imod
• 6:35
  Sådan noget kontekst. Repræsentation af tekst altså
• 6:41
  hvor at vi ikke kigger på hver ord isoleret set altså Sådan det
• 6:45
  her. Det er et æble det her.
• 6:46
  Det er en computer og så videre og fuldstændig ignorerer
• 6:49
  sætnings strukturen. Så gik man så over mod Sådan
• 6:52
  noget med hvad nu hvis man et æble kan både betyde et æble du
• 6:56
  spiser, men det gør også være hvis du tænker på engelsk i
• 6:59
  hvert fald at kan det også være et Sådan et brand?
• 7:03
  Så Der er der lige pludselig det samme ord kan have 2 forskellige
• 7:05
  repræsentationer og afhængig af kontekst, så afhængig af de ord
• 7:08
  der ligesom står ved siden af, så Det var Sådan startskuddet på
• 7:14
  på det, og det gik så lidt mere over i deep learning land og så
• 7:18
  begyndte at komme de her recurrent neuralt netværk, så
• 7:21
  der begyndte man ligesom at arbejde med ord af en ad gangen,
• 7:25
  og Det var Sådan en kæmpe stort i en del år.
• 7:29
  Så begyndte de at gøre det bedre.
• 7:31
  De smed de fandt på en ny ting der hed tension som var Sådan
• 7:34
  noget med så kunne man kigge på andre ord mere struktureret mens
• 7:38
  du genererer så Det var så en RN recurrent aneros network med med
• 7:43
  attention ovenpå og det fungerede super godt.
• 7:46
  Problemet var, at de var Sådan super langsomme at træne.
• 7:49
  De fungerede meget godt, når de ligesom var trænede men og træne
• 7:52
  dem tog en krig. Og så var der nogle der kom på
• 7:56
  og Sådan. Hvad nu hvis vi bare fjerner
• 7:58
  hele det her restaurante lag, alt det her ned Sådan at tage et
• 8:02
  tog ind ad gangen, så er det Sådan vupti og så så er vi i
• 8:05
  transformers. Det er Sådan mere eller mindre
• 8:08
  det samme. Det er bare altså Sådan en helt
• 8:09
  normal MP kalder man den altså Sådan et traditionelt klassisk
• 8:13
  neuralt netværk og så med de her attention dimmere, og Det var i
• 8:18
  virkeligheden det, og det gjorde det dejligt let at træne Sådan
• 8:21
  en på en GPU, og Det er stadigvæk nu.
• 8:24
  Den mest populære overordnede arkitektur, selvom den er
• 8:29
  tilbage fra 2019, tror jeg, Det er så den har den har overlevet
• 8:34
  i noget tid. Ja Jeg er lidt vild med den
• 8:38
  historie du lige lavede der dan fordi det Sådan væk fra alt
• 8:42
  hypet. Vi skal bare have.
• 8:43
  Hvad er der sket inden for det her område?
• 8:46
  Og hvad er nedslagspunkter? Me så skyd det det recurrent
• 8:50
  neural net ud af døren og nu cup transformeren, og så står vi
• 8:52
  her. Ja, Det var så i 19 for 5 år
• 8:55
  siden, og så er vi ikke kommet videre. 17 var det i 17.
• 8:59
  Det kommer ud til. For det burde der kommer ud i
• 9:04
  natten, eller? Komme ud i 18 noget, Jeg tror
• 9:07
  børn. Kan det være transformers fra 17
• 9:09
  og så bør de 18. Ja ja lige præcis.
• 9:14
  Og Det var den periode hvor Det var Sådan.
• 9:16
  Det var ikke klart at transformers var bedre, så Det
• 9:18
  var lidt en folk brugte end en blanding af alle mulige
• 9:21
  forskellige ting. Men så er det Sådan ligesom
• 9:25
  dengang. Nej den bare dengang.
• 9:29
  Der var der heller ikke lige så kort vej fra de der paper så ud
• 9:33
  til til open source synes jeg den den vej jeg ligesom blevet
• 9:35
  meget kortere nu, så hvis Der er nogen Der er kommet med et papir
• 9:39
  i dag, så er det bare. Jeg har forresten også en model.
• 9:42
  Det er ligesom om, at Der er sket noget noget i hvordan det
• 9:45
  der det der forskning til model og Sådan noget det det.
• 9:49
  Det er jo gået meget hurtigere nu ikke.
• 9:53
  Gætter jeg på primært på grund af penge i virkeligheden, fordi
• 9:56
  altså Sådan så der Der er så mange penge i det nu, at Det er
• 10:00
  ligesom vokset og vokset og vokset.
• 10:01
  Og Det er. Ja det gætter jeg på tak
• 10:04
  giganterne der ligesom har været ude og ligesom rullede maskinen
• 10:09
  lidt hurtigt eller Sådan noget. Og så skal forskerne verden
• 10:12
  rundt ligesom prøve at følge med og.
• 10:14
  Samtidig den anden vej? Rundt flue, ikke?
• 10:16
  Ja ja lige præcis. Men ja, det går virkelig
• 10:20
  hurtigt, og der skete også en masse dengang, men overhovedet
• 10:23
  ikke lige så altså eksplosivt, som det gør som det gør nu i
• 10:27
  hvert fald. Men så er det vel også et eller
• 10:29
  andet, så har man så de her sprog modeller og der der tror
• 10:32
  jeg også, Det er vigtigt at nævne det her med at de her
• 10:34
  sprogmoduler træner man jo ligesom til og forstå sprog og
• 10:37
  være gode til at. De store sprog og det der også
• 10:40
  alle mulige forskellige måder at gøre på.
• 10:42
  Og Det er vel i virkeligheden der, hvor at evalueringen af
• 10:46
  hvor gode de er til at forstå sprog kommer ind fordi så.
• 10:50
  Så hvis man har en metode til at lære dem at forstå sprog eller
• 10:55
  en træning af en sprogmoduler, som er du former på et niveau,
• 10:59
  så har man en anden en sproget som træner blandt andet data, så
• 11:03
  er man måske nysgerrig på, hvad for en af dem forstår bedst
• 11:06
  sprog eller er bedst til at generere sprog.
• 11:08
  Og Det er vel egentlig her hvor Det er det.
• 11:11
  Det kommer af det her med evaluering altså.
• 11:13
  Det er vel i virkeligheden, det handler i virkeligheden om at.
• 11:17
  Prøve alle mulige forskellige ting og så se hvad der virker
• 11:19
  bedst, og hvis man finder noget der virker bedst bedre end noget
• 11:21
  andet, så er det den vej, man går agtigt, ikke?
• 11:24
  Lige, og Det er Sådan hele konceptet om evaluering i de her
• 11:28
  sprogmoduler og har altid været Sådan.
• 11:31
  Altså lidt kaotisk, lidt vilde Vesten og lidt eksplorativt på
• 11:36
  et eller andet plan, fordi at Det er Sådan.
• 11:40
  Vi er kommet lidt tættere på at have en bedre ide om.
• 11:45
  Hvad er det for nogle ting, som man ligesom skal eller hvordan
• 11:48
  man kan differentiere mellem de her sprog modeller, altså
• 11:51
  hvordan man kan måle, at en er bedre end den anden.
• 11:54
  Men Vi er stadigvæk en gang i nærheden af et et sted, hvor at
• 11:58
  man kan lave af altså 100% pålidelige evalueringer af de
• 12:04
  her modeller, fordi at Det er svært at famle om ligesom ramme
• 12:09
  alle de forskellige ting. Som de skal kunne, så man har
• 12:12
  over tiden ligesom forsøgt at at lave.
• 12:16
  Man kan tænke på det som Sådan en IQ test eller Sådan noget,
• 12:18
  altså hvor at en hvis du tager en iq test så får du en masse
• 12:22
  spørgsmål i hovedet og de her spørgsmål har typisk ikke rigtig
• 12:26
  noget at gøre, men noget du ville lave i praksis Sådan at du
• 12:31
  får det ved jeg ikke 5 mønstre og så skal du finde den
• 12:34
  naturlige fortsættelse af det her mønster eller et eller
• 12:36
  andet, men på samme måde så prøver vi så at komme på.
• 12:41
  Opgaver som de har sprog modeller skal løse.
• 12:45
  Ikke fordi vi nødvendigvis er interesserede i opgaverne selv
• 12:48
  ligesom i protesten, men fordi Vi er interesserede i at eller
• 12:52
  vi håber på, at det, vi måler er kollideret med dens, hvad kan
• 12:58
  man sige faktiske evner til at lave de ting, som folk er
• 13:00
  interesseret i? Så jeg så Det har været som
• 13:04
  altid har. Hvad kan man sige Laura sprog
• 13:08
  ligesom dansk og alle mulige andre sprog?
• 13:11
  De har været lidt af, hvad kan man sige bagud i forhold til
• 13:16
  store sprog? Engelsk og kinesisk for
• 13:18
  eksempel. Så engelsk, særligt på engelsk
• 13:22
  har der været flere forskellige. Evalueringsplan sharks og en
• 13:26
  masse, altså de svømmer i evaluerings datasæt og opgaven
• 13:30
  for dem er de ligesom skal finde ud af.
• 13:31
  Hvad er det for nogle, Der er de rigtige, og hvad er det for
• 13:33
  nogle, Der er de bedste og ligesom måle på hvor at Vi har
• 13:36
  lidt et andet problem her for os det begyndte at blive bedre, men
• 13:40
  at Vi skal ligesom prøve bare at få noget, og så kan man ligesom
• 13:44
  forbedre det undervejs, men at håbe på at Det er noget der har
• 13:49
  en eller anden form for kollision med med det som vi
• 13:52
  faktisk er interesserede i. Så Det er det som ja meget af
• 13:56
  det her arbejde med Skanderborg, som jeg arbejdede på i Sådan
• 13:58
  noget 3 år nu har handlet om. Ja, så måske skulle vi ligesom
• 14:03
  nej, bare den. Skulle bare lige.
• 14:07
  Man kan vel egentlig godt sige at det ved jeg ikke.
• 14:09
  Det ved du måske den er scanneren egentlig ikke det
• 14:11
  eneste Vi har. Lige nu Sådan.
• 14:15
  Nogenlunde eller er der andre derude der prøver noget af det
• 14:17
  samme? Altså Der er selvfølgelig andre
• 14:20
  evaluerings tun. Plus f altså ikke at de nærmest
• 14:26
  de alle sammen er på engelsk eller kinesisk igen.
• 14:30
  Det er Sådan de 2 største sprog så vidt.
• 14:33
  Så vidt jeg ved er Der er der findes andre, men det bliver
• 14:37
  gjort på meget Sådan en ad hoc basis, så er det Sådan noget med
• 14:41
  at Der er nogle Der er for eksempel nogle oppe i Norge som
• 14:45
  udgav nogle modeller for noget tid siden, og de skulle
• 14:48
  selvfølgelig evaluere de her modeller så lavede de deres
• 14:51
  eget. Hvad kan man sige minivans mark?
• 14:53
  Altså de lavede. De valgte nogle datasæt.
• 14:57
  Altså evaluerede de de her modeller.
• 14:59
  De lavede nogle scripts, som ligesom evaluerede de her
• 15:02
  modeller, og så fik de sat et leaderboard op.
• 15:05
  Men problemet med de her metoder er, at de ad hoc så så det
• 15:10
  bliver meget svært at sammenligne modeller og også at
• 15:13
  de bliver ikke vedligeholdt. Det er Sådan det hører ligesom
• 15:15
  til det her paper og så den her de der 5 10 modeller de
• 15:19
  sammenlignede sig med de ligesom sat i sten, og så bliver der
• 15:22
  typisk ikke opdateret mere på på det leaderboard, så Det er så
• 15:28
  sandelig af måske i hvert fald på de skandinaviske sprog.
• 15:32
  Tror jeg det eneste framework, som ligesom har har holdt har
• 15:37
  fulgt med tiden kan man sige. Der er også ved med at ligesom
• 15:40
  at være der og blive opdateret maintained.
• 15:43
  Ja fordi fordi det du ser Det er også det her måde at på engelsk
• 15:46
  altså rigtig meget i den her forskning og alt det den her
• 15:49
  udvikling foregår jo surprise på engelsk, fordi at det ligesom er
• 15:53
  meget. Det er en af de største sprog på
• 15:55
  videnskaben kan man sige, og også derfor rigtig meget NP
• 15:58
  forskning foregår, og så er der jo en eller anden form for altså
• 16:02
  de har så de har open source modeller der kommer.
• 16:04
  Det er typisk de er rigtig gode til engelsk, og så har de typisk
• 16:08
  måske lidt dårligere på dansk eller måske endda helt altså
• 16:11
  ubrugelig på dansk nogle gange og.
• 16:14
  Det er, og Der er ligesom om de der officielle benchmarks, som
• 16:18
  man bruger i forskningen er meget mod engelsk, så Det er i
• 16:21
  virkeligheden svært at få en eller anden form for indsigt i,
• 16:24
  hvordan for eksempel danske eller andre skal vi altså de
• 16:28
  forskellige modeller på former på på skandinaviske eller dansk
• 16:31
  for eksempel. Og Det er jo så i virkeligheden
• 16:34
  der hvor scannet valg kommer ind.
• 16:35
  Jeg tænker på, kan du ikke prøve at give Sådan bare lige Sådan at
• 16:38
  give historien på, hvad der egentlig?
• 16:39
  Altså jeg kender dig jo, og Vi har.
• 16:41
  Du har jo været altid været meget Sådan open source.
• 16:45
  Aktiv i alle mulige forskellige sammenhænge, men kan du ikke
• 16:47
  prøve at give en en historie omkring, hvordan du ligesom kom
• 16:51
  i gang med carnival? Helt sikkert så det går jo.
• 16:55
  Tilbage til de til de gode, gamle rom.
• 16:58
  Ja tak. Så Det var så vi var en en
• 17:04
  gruppe mennesker. I som medlemmer i dansk
• 17:09
  statusseminar til. Som far, Jeg tror Det var.
• 17:12
  Det må have været omkring 3 år siden.
• 17:16
  Ja, Det er omkring hvor at vi var med i Sådan en konkurrence
• 17:21
  var det jo nok som gik ud på. Det var nok en fase der afholdt,
• 17:25
  og det gik ud på at de ville sponsorere noget computer eller
• 17:29
  rettere sagt Google sponsoreret noget computer og så kunne man
• 17:33
  få lov til at igen få noget computer og så kunne man træne
• 17:37
  sproget modeller Det var så en cooder altså de her board type
• 17:41
  modeller og. Ja træne Sådan nogle modeller og
• 17:48
  så dem der ligesom performede bedst.
• 17:51
  Måske fik en anden præmie eller i hvert fald et eller andet ja
• 17:55
  eller noget hf virtuelt hf eller altså Sådan så Det var mest af
• 18:00
  alt bare Sådan noget leg i at man man fik noget computer, og
• 18:04
  så kunne man ligesom prøve at træne nogle modeller og holde en
• 18:06
  fase fik jo også noget af det fordi de fik en masse modeller
• 18:10
  på deres platform derudover. Og så ja, så Det var som led i
• 18:16
  det projekt, så vi var i gang med at træne de her modeller vi.
• 18:21
  Jeg tror, vi lavede Sådan noget. Det var der, hvor vi tog fat i
• 18:24
  det der m 4 datasæt og begyndte at lege med det og filtrere det
• 18:28
  og så videre og så videre. Men så nåede vi til et punkt,
• 18:32
  hvor at vi havde nogle modeller. Og hvordan hulen ville man så
• 18:36
  evaluere dem? Og Det er Sådan noget meget
• 18:38
  naiv, som vi jo nok var, ville vi have troet at nå, men Det er
• 18:43
  der jo sikkert en eller anden standardiseret metode for at
• 18:47
  kunne gøre det. Er det ikke lidt rundt og fred
• 18:50
  at finde ud af det? Sådan er der ikke bare lige et
• 18:52
  eller andet, hvor man lige kan smide modellen ind og så lige få
• 18:54
  et tal ud og Sådan så vi lige kan finde ud af hvor hvor godt
• 18:57
  vi klarer den, fordi at Vi har ikke rigtig nogen ide.
• 18:59
  Det var jo Det var jo ikke generative modeller, så du kunne
• 19:01
  ikke chatte med den model. Ja præcis, så du fik bare Sådan
• 19:06
  en masse tal ud, o. K og Det var i øvrigt, Det var i
• 19:09
  øvrigt Det var i øvrigt dan mig med malte højmark Bertelsen og
• 19:14
  Morten kloster, der lavet et projekt, der med det der endte
• 19:17
  med at blive rødt. Tak super fedt projekt men ja
• 19:22
  Det var der det startede i virkeligheden.
• 19:25
  Og øh ja, Det var så startskuddet og sandoval var så
• 19:29
  i meget lang tid en coder specifikt, fordi Det var ligesom
• 19:33
  ställer som der var. Så Det var ligesom Sådan Det
• 19:36
  var, fordi vi kom ud og havde trænet en en ret dårlig dansk
• 19:39
  sproget model og så. Dårligt.
• 19:44
  Ligesom finde ud af hvor dårlig er den her skrummel.
• 19:47
  Vi har trænet ikke, så Det var ligesom da vi havde den her fine
• 19:50
  sprog panel, som vi havde syntes vi var ret seje, fordi vi havde
• 19:53
  lavet. Så stod vi ligesom et problem
• 19:55
  Sådan. Hvordan fanden finder vi ud af
• 19:57
  hvor god den er? Ja, præcis.
• 20:01
  Og Det var så startskuddet på hele det der evaluerings
• 20:04
  framework. Og uden at gå i, hvad kan man
• 20:09
  sige alt for mange detaljer, så kan jeg nævne lidt omkring
• 20:12
  historikken at at til at starte med igen naiv som jeg var tænkte
• 20:16
  jeg altså først og fremmest. Vi havde ikke så pokkers mange
• 20:20
  datasæt. På dansk og svensk og norsk.
• 20:24
  Så jeg tænkte den bedste måde at evaluere på.
• 20:26
  Det er nok bare alle datasæt jeg overhovedet kan finde på at
• 20:30
  smide det ind i det her framework og går amok med
• 20:36
  evaluering på den front problemet med det.
• 20:40
  Det var at Det var altså Det var version altså et hash deromkring
• 20:46
  og det endte med altså selv med en PU og tage uger og træne.
• 20:52
  Hvad hedder det og evaluere en model?
• 20:56
  Og altså Det er jo altså de her modeller, som er en en brøkdel
• 20:59
  af størrelsen af af hvad de er nu.
• 21:02
  Altså, Det var jo så modeller. Der var en 300 millioner
• 21:04
  parametre til noget i den stil, hvor lige nu der kan vi køre
• 21:08
  altså Sådan noget 7 milliarder på Vores laptops agtigt.
• 21:14
  Sådan noget Det var så Det var startskuddet, men men det gav
• 21:18
  også en masse læring for mig og også derfra, hvor at Jeg har
• 21:22
  prøvet. Nu havde jeg alle de her
• 21:23
  datasæt, som i øvrigt var meget fint altså datagrundlag, så nu
• 21:27
  kan jeg ligesom se. Hvad er det for nogle datasæt
• 21:30
  som er mest brugbare i forhold til at.
• 21:35
  Differentiere de her modeller fordi at Det er jo det, Der er
• 21:38
  pointen med en Sådan en her valueinvest Danmark.
• 21:40
  Du skal kunne evaluere den på et datasæt hvor at de typisk er
• 21:44
  lidt forskellige. Der var for eksempel nogle af de
• 21:47
  her datasæt, hvor de alle sammen fik noget 99% eller accuracy
• 21:51
  eller Sådan noget, og Det er Sådan OK.
• 21:53
  Men så sker det måske ikke så meget mening at bruge så meget
• 21:55
  tid på at evaluere på det datasæt, hvis de alle sammen
• 21:58
  bare Sådan er lige gode. Så ja, så Det var altså en stor
• 22:03
  filtrerings proces, og Det har været Sådan en løbende proces
• 22:05
  med at skære nogle af datasættene væk og så tilføje
• 22:08
  nogle nye eller erstatning af datasættene, når der kommer nye
• 22:11
  datasæt tilgængelige. Så Det har været den ene
• 22:16
  dimension af det, altså antallet af datasæt.
• 22:20
  Så var der en anden dimension af det som var.
• 22:24
  Hvordan kan man lave Sådan et her evaluering framework mere
• 22:28
  robust og hvad betyder det så? Det er mere eller mindre alle de
• 22:33
  evaluerings frameworks, der var på det tidspunkt også på
• 22:36
  engelsk, og det på sin vis stadig tilfældet i dag på de
• 22:41
  engelske. Evalueringsplan sharks også de
• 22:44
  her generative modeller. Det er, at de laver Sådan, hvad
• 22:47
  man kalder punkt estimater, så de laver du evaluerer på et
• 22:51
  eller andet datasæt får du et tal ud, og så siger de det her,
• 22:54
  Det er tallet, men hvis vi går tilbage til den her IQ test ting
• 23:00
  altså mange folk er måske fuldstændig uinteresserede i
• 23:03
  præcis hvor godt den klarer sig på det datasæt, altså de vil
• 23:06
  gerne have et eller andet mål for hvor god er den her model
• 23:10
  generelt. Set også med forskellig støj, og
• 23:13
  Det kan godt være, at det ikke lige er helt perfekt hver gang
• 23:15
  og og så videre og så videre. Men det bliver der meget
• 23:20
  sjældent, så selv nu taget højde for, men Det var det, som jeg
• 23:25
  prøvede at køre ind i skandale frameworket på det tidspunkt, så
• 23:31
  Det har også været en proces, men det endte med at.
• 23:34
  På en sø der siden at Jeg er, så Det er altså Sådan noget
• 23:39
  fintuning evaluering altså du tager n coder model som er
• 23:42
  præget trænet og så fintuner du den på et evaluerings datasæt og
• 23:49
  så evaluerer du den på på testet eller ja på bare knyttet til det
• 23:53
  datasæt. Men for at ligesom måle den her
• 23:57
  usikkerhed eller den her støj, så laver jeg det, som man kalder
• 24:01
  bootstrapping hvor at hvad nu, hvis man i stedet for at træne
• 24:06
  på hilde træningsdata, sættet og evaluere på hele test
• 24:10
  datasættet, så samler vi fra træningsdata sættet altså lige
• 24:14
  så mange samples, som som der var i træningsdata sættet, men
• 24:17
  med replacement, som betyder, at hvis der nu er lad os sige dumt
• 24:22
  eksempel, hvis der nu er 10 eksempler i det her træningsdata
• 24:24
  sat. Så forestiller man har de her 10
• 24:27
  eksempler som 10 kugler i en eller anden pose, og så tager
• 24:31
  jeg en kugle op af posen. Det er så træningen eksemplet
• 24:34
  der skal med i mit bootstrap, så lægger jeg den tilbage i posen,
• 24:37
  ryster den lidt thai en igen. Det kan godt være Det er den
• 24:40
  samme jeg får igen, men så har jeg bare 2 af den samme i mit
• 24:43
  bootstrapped datasæt, så gør jeg på den måde at jeg trækker jeg
• 24:46
  10 kugler, så nu har jeg et datasæt parti kugler, som hvis
• 24:51
  Jeg er meget heldig er den identisk til til det originale
• 24:55
  datasæt. Men nok ikke så Det er Sådan, så
• 24:58
  der kommer noget støj i forhold til, hvis Der er nogen eksempler
• 25:02
  i datasættet, som er meget udslagsgivende eller det
• 25:05
  modsatte, så får man ligesom den støj med, så det gør jeg både på
• 25:09
  træningen og på test, så det vil sige vi måler.
• 25:12
  Vi får ligesom støjen med på begge på begge niveauer og det
• 25:16
  gør jeg så 10 gange, så er det Sådan vi laver den her proces og
• 25:19
  så træner vi så evaluerer vi, så gør vi det igen helt fra scratch
• 25:22
  igen 10 gange. Får vi 10 forskellige tal, og ud
• 25:26
  fra Det kan vi lave et decideret konfidensinterval er, hvad vi
• 25:30
  regner med den her model, hvor god den er til den opgave.
• 25:35
  Så Det var Sådan lidt mere, kan man sige troværdigt mål, så Det
• 25:40
  var ligesom det som hele den her cooder del af Canada valg gik ud
• 25:43
  på, så her i nyere tid har jeg så.
• 25:48
  Hvad kan man sige, udviklet eller også inkludere generativ
• 25:53
  evaluering af af de her? Eller hvad hedder det evaluering
• 25:58
  af generative modeller på de her forskellige opgaver?
• 26:02
  OK. Så.
• 26:05
  For jeg lige hopper egentlig det.
• 26:08
  Så skal vi måske bare lige. Kunne vi.
• 26:12
  Kørt snakke om hvad? Ja du kan bare.
• 26:15
  Jeg jeg. Jeg ved ikke om det.
• 26:16
  Jeg prøver at forudsige, hvad du siger nu her, ligesom en fordel,
• 26:18
  men tænker du, fordi jeg tænkte på, at det kunne måske være
• 26:22
  meget fedt lige at tage? Hvad er altså en cooter versus
• 26:26
  decoder? Fordi Det er jo Sådan at alt det
• 26:29
  her du lige har beskrevet er fra n cookies og og Det er det man
• 26:32
  kalder for natural language understanding.
• 26:36
  Men her for nyligt er der jo kommet en og det ender så op i
• 26:39
  det her. LU leaderboard som du har inde
• 26:42
  på skanderborg.dk eller Sådan noget eller et eller andet.
• 26:47
  Ja, men her for nylig er der jo kommet et NLIGA natural language
• 26:52
  generation elite board med, som er lidt en anden type.
• 26:56
  Hvad skal man sige benchmarks fordi den evaluerer det det man
• 27:00
  kalder for decoder modeller eller generative modeller så
• 27:03
  måske lige Sådan. Hvad er forskellen på NLUNG?
• 27:09
  Eller måske i virkeligheden en cooder d cooter modeller.
• 27:15
  Så hvis vi så vi kan lige prøve at adskille de 2 lidt så vi
• 27:20
  kigger på altså på den ene side snakker vi om model arkitektur
• 27:24
  forskelle, altså en coder decoder og på den anden side så
• 27:28
  snakker vi om forskellige grene af NP, så Det er analog og NG.
• 27:33
  Så de er Sådan. De er ikke nødvendigvis en til
• 27:36
  en altså den her stikke nødvendigvis en coder analog og
• 27:41
  decoder NG. Men altså Der er en tendens, men
• 27:44
  hvis vi snakker eller tager de her arkitektur, så snak først.
• 27:50
  Så er det så det hele. Det starter med den her
• 27:54
  transformer ting, som vi kort snakker om, som var fra 17
• 27:58
  lande, hvor at transformere. Da de blev introduceret, så var
• 28:02
  de i virkeligheden lavet til maskinoversættelse.
• 28:05
  Det var ligesom det, der var pointen med dem.
• 28:06
  Det var det, der var stort på det tidspunkt, og den originale
• 28:10
  transformer arkitektur den havde 2 dele den havde en encoder del
• 28:15
  og en DK dadel. Det var ligesom Det var samme
• 28:18
  model som havde de her 2 dele. Hvor at encoder delen den tager
• 28:23
  noget tekst, og så får du en eller anden repræsentation af
• 28:26
  den tekst og de k ã delen den altså du kan tænke på det.
• 28:30
  Det er måske meget lettere at forstå, hvis du tænker på det i
• 28:32
  form af oversættelse, fordi så er det lidt lettere.
• 28:35
  Lad os sige Vi skal oversætte fra Dansk til engelsk, så vil
• 28:38
  encoder delen det ville være at give en repræsentation af den
• 28:41
  danske tekst du smider noget tekst ind, får du en
• 28:44
  repræsentation af den nu vil du gerne generere engelsk tekst, så
• 28:48
  du vil have en engelsk DK der, så der bliver den danske.
• 28:53
  Coatede del smidt ind i de scooteren, og så skal den ellers
• 28:56
  generere engelsk tekst. Så Det var ligesom Sådan at det
• 29:00
  hele det hele blev bygget op, så det at det man kan nu om dage,
• 29:05
  kalder man den her altså dobbelt arkitektur forsikrings 2
• 29:10
  sekvens. Du smider en en altså en følge
• 29:15
  eller en sekvens af tegn ind eller ord ind og du får ligesom
• 29:19
  nogle ord ud, så Det er lidt det vi tænker på, når vi tænker på
• 29:22
  Sådan noget. Det bliver Sådan, men teknisk
• 29:24
  set er det lidt anderledes. Anyway, Det er blevet standard
• 29:27
  begrebet og kalde Sådan nogle forsikringer.
• 29:30
  Men så derfra så. Så tog de i den her arkitektur
• 29:36
  og sagde, hvad nu hvis vi bare fjerner halvdelen?
• 29:39
  Og så så fjerner de halvdelen og så så havde du en kontordelen.
• 29:46
  Præcis som så udelukkende bare kan give den her repræsentation
• 29:49
  altså de her tal ud, og Det var det der så der så ledte til bord
• 29:53
  og så videre og så videre. GPT 2 var nok en af de første
• 29:57
  hvis ikke den 1 rene dekoder model, så Det var dengang open
• 30:03
  og jeg var open og Det er den de trænede og udgav open source og
• 30:08
  og så videre og så videre. Og dem er ligesom med en ko der
• 30:15
  altså bare den her originale transformere sektor, hvor vi
• 30:17
  ligesom bare har fjernet den den 1 del, så der har vi ikke Sådan
• 30:22
  en masse tekst, vi analyserer og Sådan noget ind i dekoderen.
• 30:26
  Vi smider bare altså vi tager bare teksten som den er, og så
• 30:30
  skal der ligesom læse teksten undervejs i stedet for at den
• 30:32
  får Sådan en kæmpe blok af tekst, som den ligesom kan bruge
• 30:35
  på forhånd. Fornemmer lidt en tendens den II
• 30:40
  Vores forskning her. Hvis bare vi sletter noget kode,
• 30:44
  så bliver det bedre. Det lyder rigtig godt alle de
• 30:47
  gode kodebaser ja. Lige præcis.
• 30:49
  Hvis nu vi bare sletter noget kode, så skal det nok blive
• 30:52
  godt. Det jeg kunne godt tænke mig
• 30:56
  lige før vi går videre, så lige hørte fordi at den der Jeg har
• 31:00
  også hørt og nu er jeg ikke så meget nede i arkitekturforskning
• 31:03
  på det der, men det du er meget mere, men Jeg har jo hørt rigtig
• 31:06
  meget at ja ja indkoder de k der, men på en eller anden måde
• 31:11
  så har den der DK der også en eller anden repræsentation for
• 31:15
  den går i videre til det ene lag til det næste og så ud i den
• 31:18
  anden ende og Det er ikke en form for en coating hvad Jeg kan
• 31:21
  bare ikke gå ind og den er ikke en turbåde på den på samme måde
• 31:24
  som de gamle en kortere måske eller.
• 31:26
  Vi ved ikke præcis, hvad Det er for en repræsentation ved bare
• 31:29
  det en eller anden indtil midt i et repræsentation kan man ikke
• 31:31
  godt sige det eller er helt skævt på den.
• 31:33
  Jo Det kan man godt sige, at den store forskel i virkeligheden
• 31:37
  er, hvis man skal gøre det Sådan, altså grave helt ind til
• 31:39
  benet. Hvad er forskellen i forhold til
• 31:42
  af de her forskellen mellem de 2 former for repræsentationer er,
• 31:47
  at DK modeller kan kun kigge bagud.
• 31:50
  Det er Sådan, den den overordnede forskel, altså hvis
• 31:54
  du skriver en, lad os sige du tager en.
• 31:57
  Langt nyhedsartikel smadrede den ind i en cool, Der er en dekoder
• 32:01
  model, så vil når den skal opbygge sin repræsentation ved
• 32:05
  den hele tiden kun kigge bagud. Den ville ikke kunne sige når,
• 32:10
  men Jeg kan se i slutningen af artiklen, der står der et eller
• 32:12
  andet om. Det påvirker min repræsentation
• 32:15
  af andet ord i teksten eller Sådan noget.
• 32:17
  Den kan ikke kigge forud. Det er Sådan hele ja en af de
• 32:21
  hvad kan man sige arkitektur, arkitekt eller slutninger
• 32:26
  arkitekturmæssige først? Så på de 2 hvor at hvis du har
• 32:31
  en en kortere model så har du netop.
• 32:34
  Altså Det er helt normalt det her self atención halløj hvor at
• 32:38
  alle tokens kan kigge på alle tokens, så du kan kigge i
• 32:41
  fremtiden fortiden, hvis du har lyst til at tænke på det på den
• 32:43
  måde eller bare vi kan se længere henne i teksten og og
• 32:47
  tilbage i teksten. Ja så hvis du kobler de 2 ting
• 32:52
  sammen altså i Sådan en her encoder DK eller en sekund til
• 32:55
  sekund model igen. Tænk på en oversættelse.
• 32:59
  Der nåede vi noget dansk tekst den så der har den fulde kontrol
• 33:03
  den kan kigge på alle ting i den danske tekst på forhånd, altså
• 33:07
  den. Den skal ikke vente på den,
• 33:09
  ligesom har genereret et eller andet, så du kan smide en hel
• 33:12
  dansk tekst ind og så ud fra Det kan den kigge på hele den danske
• 33:16
  tekst og så et tog en ad gangen begynder at generere engelsk
• 33:19
  tekst hvis du ikke havde NK der delen overhovedet, så skulle den
• 33:23
  begynde at generere direkte uden at have noget information givet
• 33:28
  på forhånd, så der bliver det lidt mere kompliceret hvis Det
• 33:31
  er. En oversættelsesopgave.
• 33:35
  Det var meget god forklaring. Er det rigtigt, hvis jeg bare
• 33:38
  lige Sådan bare lige for at råbe op er det så rigtigt hvis man
• 33:41
  når når man kigger på det her n cooter leaderboard altså NU
• 33:46
  niveauet så er man hovedsageligt interesseret i at tage noget
• 33:50
  tekst, lave det om til en vektor og så ligesom putte et eller
• 33:52
  andet klassifikations slag på som så forudser en eller anden
• 33:55
  form for klassifikation. Det kan være sentiment.
• 33:58
  Det kan være finde et navne steder og så videre i tekst og
• 34:02
  så videre, så Det er Sådan mere Sådan tekst ind klassifikation
• 34:05
  ud eller tekst en eller anden form for vektor repræsentation
• 34:10
  ud. I ja og nej, og Det er der hvor
• 34:14
  der kan forskel kommer ind i billedet fordi at det her Det
• 34:16
  var forskellen på de 2 arkitekturer altså encoder
• 34:19
  decoder. Men hvis vi nu hopper over i
• 34:22
  analog versus energi, så er det Sådan altså Der er ikke nogen
• 34:26
  meget firkantede definition af dem eller noget som helst, men
• 34:29
  bare Sådan en en lidt mere Sådan en fluffy definition er analog,
• 34:33
  altså det ligger lidt i navnet analog forstår udelukkende
• 34:37
  tekst, altså giver en eller anden form for forståelse af
• 34:39
  tekst hvad det så end betyder. Og ING handler om at generere en
• 34:44
  ny tekst. De hænger selvfølgelig sammen.
• 34:47
  Du skal jo vide noget om sproget for at kunne generere tekst og
• 34:50
  så videre. Men hvis vi lige prøver at holde
• 34:52
  den adskilt. Så kan vi, hvis vi kigger på
• 34:56
  analog, som har sit eget liter board.
• 34:59
  Det handler præcis som du siger handler om Sådan noget som
• 35:02
  klassifikations opgaver. Det handler noget om at finde
• 35:07
  svaret i på et spørgsmål i et dokument, altså lidt eller Sådan
• 35:11
  noget. Rack halløj som folk de snakker
• 35:13
  om de her dage. Og forskellige andre ting, men.
• 35:19
  Generative måde. Men på en måde Sådan så når den
• 35:23
  finder når den finder svaret på et spørgsmål i en tekst så så så
• 35:29
  genererer den jo ikke tekst, så laver den bare klassificerer den
• 35:32
  bare spand et spande i teksten eller hvad?
• 35:35
  Jamen, Det kan den nemlig godt gøre fordi Det er der hvor du
• 35:38
  kan nemlig både evaluere indkoder og dekodere på analog
• 35:43
  opgaverne. Så så det skal vi lige så hvis
• 35:46
  vi nu bare tager en tekst klassifikations opgave Sådan
• 35:50
  helt standard. Lad os sige Sådan noget
• 35:52
  sentiment. Det er også med i Skanderborg,
• 35:54
  men Det er Sådan ret. Hvad kan man sige klassisk
• 35:57
  klassisk opgave, hvor du har et stykke tekst, og du skal ligesom
• 36:00
  sige om den her tekst. Den er positivt, ladet negativt,
• 36:03
  ladet eller om den er ingen af delene er bare Sådan lidt
• 36:05
  neutral i det, så en kortere model vil fungere præcis ligesom
• 36:11
  du sagde med, at der vil man bruge den her repræsentation af
• 36:15
  teksten. Til at smide, altså trænings
• 36:18
  klassifikations lag ovenpå, så den ligesom lærer at få noget
• 36:22
  tekst ind og så siger den positive negative neutrale altså
• 36:25
  ud. Altså som i den siger altså
• 36:27
  Sådan noget 0 1 2 agtigt den siger nogle sandsynligheder på
• 36:30
  hver af de 3 klasser, og Det er ligesom den klassiske.
• 36:33
  Hvad kan man sige? Nu er det blevet den klassiske
• 36:35
  metode, men men ja, Det er altså de her scooter modeller de
• 36:39
  scooter modeller. Der kan du evaluere den her type
• 36:43
  opgaver på flere forskellige måder faktisk og de forskellige
• 36:48
  boards på engelsk bruger forskellige metodikker og også
• 36:51
  så Det er Sådan lidt spændende. Men vi kan lige prøve kort at at
• 36:57
  gå igennem dem. Der er Sådan den helt øh, hvad
• 37:00
  kan man sige naive altså det virker, så Det er ikke fordi Det
• 37:03
  er en dårlig måde noget, men Det er ligesom den den letteste at
• 37:05
  forstå Det er at. Du tager Sådan et her stykke
• 37:12
  tekst og så kan du måske lige du kan give den en instruks eller
• 37:17
  du kan hvis det ikke er en slotssø noget kan du ligesom
• 37:20
  formulere det på en lidt anden måde, så det alligevel er en
• 37:23
  instruks point. Og så siger du tekst kolon og så
• 37:28
  giver du noget tekst og så siger du svar kolon og så giver du den
• 37:32
  til din DK model og så skal den ligesom skrive positiv.
• 37:37
  Altså den skal ligesom bare sige skrive ordene.
• 37:40
  Eller negative kravet? Skal generere svaret i naturligt
• 37:45
  sprog. Præcis og der skal du.
• 37:48
  Der er der så noget post praktiseringen fordi så skal du
• 37:50
  så tage i virkeligheden arbitrær genereret tekst og finde ud af
• 37:55
  hvad for et label skal jeg ligesom smide den generelle
• 37:59
  tekst på. Typisk er de fleste af dem kan
• 38:02
  jo godt være ret hurtigt, altså de lærer altså vi træner dem
• 38:05
  ikke eller noget, men at de fungerer godt nok til at de
• 38:08
  ligesom nærmest altid siger positive negative neutrale, så
• 38:12
  på den måde er det meget meget lidt, men Der er særligt de små
• 38:16
  modeller, kan godt bare sige Sådan noget nonsens.
• 38:18
  Nogle gange, så der skal man ligesom kunne dele med det, men
• 38:21
  Det er metoden nummer et. Ud af lad os se lad os tage 2 de
• 38:25
  2 store metoder, så den ene metode er ligesom bare at tage
• 38:29
  tekst som den er altså bare sige du skal generere det her label
• 38:33
  og så kan man bruge til noget world edit distance eller Sådan
• 38:36
  noget til ligesom at finde ud af hvad hvad er den tætteste det
• 38:38
  tætteste label her? Men en anden metode, som er den
• 38:43
  mest populære metoder evaluere open source modeller på.
• 38:47
  Man kan ikke gøre det med open air modeller, fordi at de ikke
• 38:51
  giver sandsynligheder med i deres output mere.
• 38:54
  Det plejer de at gøre, men det gør de ikke mere.
• 38:57
  Men det man kan gøre er, at hvis Vi har 3 labels, virker en
• 39:01
  positiv, negativ neutral og så kan vi finde ud af.
• 39:08
  Sandsynlighed altså Sådan du giver den hele den her prompt
• 39:11
  ligesom jeg sagde før og så i stedet for at lade den generere
• 39:15
  noget tekst, så siger vi bare, at vi kigger på det allerførste
• 39:19
  token som den genererer. Altså er i gang med at generere
• 39:21
  der har den jo en helt sandsynlighedsfordeling over
• 39:24
  alle de tokens, som den kunne generere og sandsynligheden for
• 39:27
  hver af dem. Jamen, så kan du netop bare
• 39:29
  tjekke hvad er sandsynligheden for positiv, negativ neutral.
• 39:34
  Og tage den der ligesom er mest sandsynligt.
• 39:38
  Altså ignorerer du alt andet. Ja lige præcis, så Det er en
• 39:43
  tredje metode er faktisk ikke at innovere alt andet end, men bare
• 39:46
  at kigge på sandsynligheden for top token.
• 39:48
  Det svarer bare til at generere token, men Det er ligesom den
• 39:52
  den klassiske. Og mest populære måde er at
• 39:56
  kigge på sandsynligheden for positive negative neutrale i det
• 39:59
  her. Og Det er også det, som der
• 40:02
  bliver gjort i skatteudvalg for open source modellerne.
• 40:06
  Altså man bare kigger på det her token.
• 40:09
  Der er selvfølgelig nogle nogle fiksfakserier og nogle
• 40:13
  grænsetilfælde irriterende tilfælde, som man skal dele med.
• 40:17
  Der er nu. Hvad nu hvis at positiv?
• 40:20
  Ikke af et token. Hvad nu hvis den her model den
• 40:22
  togene kører den i posi? Og så tiv hvad gør vi så?
• 40:29
  Fordi at så har du lige pludselig skal du så ud og have
• 40:31
  2 sandsynligheder at gange den sammen eller et eller andet, så
• 40:35
  der kan man også gøre det på forskellige måder.
• 40:38
  Hvor at det som jeg gør i Skanderborg, at det som er en af
• 40:44
  de os mest populære metoder i virkeligheden bare du tager det
• 40:49
  første toke så i det her tilfælde vil det være positivt.
• 40:53
  Og så i siger, hvad er sandsynligheden for det?
• 40:56
  Og Sådan og aktiv fordi at så er det ligesom forstået, at den
• 41:00
  ville nok have genereret tiv, hvis den begynder med positiv.
• 41:03
  Og du har sagtens kan sige positiv, neutral eller negativ.
• 41:07
  Det er måske en fair antagelse. Jeg kan Jeg kan berette om at
• 41:17
  det danske sprog Det er klippet godt og grundigt i stykker i
• 41:21
  åbne GT 4 de de tokens der kommer ud.
• 41:27
  Dansk, Det er simpelthen det rene volapyk, og Det er ret
• 41:32
  morsomt at se Sådan et. Hvad kan man sige Sådan en liste
• 41:35
  af tokens genereret fra den der hvor man bare sidder og tænker,
• 41:37
  hvor er de ord jeg leder efter? Præcis.
• 41:42
  Det var bare et lille kæft. Det er ret sjovt.
• 41:44
  Prøv lige det i dag. Hold kæft mand.
• 41:47
  Jeg troede jeg vidste noget om evaluering af sprogmoduler
• 41:50
  indtil nu. O.
• 41:53
  K men det her, Det er jo så ja lige præcis så.
• 41:59
  Ja så natural altså så så natural language understanding
• 42:05
  er ikke nødvendigvis en coder. Det er også i cooder.
• 42:08
  Det er Sådan set bare en opgave, hvor man tester sprog modeller i
• 42:11
  om de forstår sprog, og Det kan man altså både gøre med en
• 42:14
  scooter modeller og de kortere modeller generative modeller og.
• 42:18
  Ikke heller ikke s. Kan vi så ikke prøve bare lige
• 42:22
  hurtigt at snakke om LG og hvad der findes altså generative
• 42:25
  sprogmoduler, hvordan poolen evaluerer man dem fordi?
• 42:30
  Det er jo vil jeg påstå en af de store problemer II hele det her
• 42:35
  felt. Det er at Det er utroligt svært
• 42:37
  at vurdere kvaliteten af altså genereret fritekst i
• 42:42
  virkeligheden ikke så hvad hvad? Hvad fanden gør du der den?
• 42:47
  Helt sikkert, og Det er stadig altså Det er som jeg gør er
• 42:51
  altså er eller hvad Der er state of the art, men det skal også
• 42:55
  pointeres, at Det er den her korrelation mellem.
• 43:00
  Det som jeg gør det som Der er mange der gør, og den faktiske
• 43:04
  kvalitet er stadigvæk ikke altså nær noget Der er 100% eller
• 43:11
  engang i nærheden. Så Jeg vil bare lige have den
• 43:13
  disclaimer med, at Det er det det pia svært at at evaluere det
• 43:17
  her. Et så et eksempel på en opgave i
• 43:21
  Skanderborg, hvor den rent faktisk kan generere ting, altså
• 43:25
  det som over ING land, fordi at det giver nogen mening for de
• 43:28
  her cooder at at skulle generere noget tekst.
• 43:31
  Så Der er de ligesom Sådan helt ude af.
• 43:33
  Men Det er en opsummering opgave, så Det er typisk altså
• 43:38
  de opgaver, Der er noget i skatteudvalg, fordi at data er
• 43:40
  lettest. Og få fat i det, og så i forhold
• 43:44
  til Sådan noget med nyhedsartikler ellers Det er
• 43:48
  nyhedsartikler slash random artikler på på nettet.
• 43:52
  Der er Sådan nogle wikihow artikler og Sådan noget, men
• 43:55
  pointen er at du har en artikel og så har du en opsummering af
• 43:58
  den artikel og man vil gerne have at modellen ligesom skal
• 44:03
  skal tage den her artikel og den skal så skrive en opsummering
• 44:08
  som ligesom er tæt på hvad det betyder.
• 44:12
  Ja den her den her gold standard optimering, som som vi nu engang
• 44:16
  ligger inde med. Og hvad gør man til det her?
• 44:20
  Så man igen beder modellen om at generere det her, og du får
• 44:23
  noget tekst, så nu har du altså noget genereret tekst, og du har
• 44:27
  det som ligesom det. Det som vi tror, at det burde
• 44:30
  være Sådan nu, er vi så ovre i matriklen land.
• 44:34
  Hvordan kan man måle de her? 2 ting er tæt på hinanden.
• 44:38
  Så det, der har været meget populært og det igennem kommer
• 44:42
  fra maskinoversættelser. Det er der hvor mange af de her
• 44:44
  ting ligesom startede, fordi de har genereret tekst i altså
• 44:47
  mange, mange mange år efterhånden, så de har ligesom
• 44:51
  undersøgt en masse af de her metrikker, der lige er kommet
• 44:54
  frem til 1 1 del forskellige matrikler, som nogle af dem
• 44:58
  virker ret skidt nu. Nogle af dem virker okay og
• 45:01
  Sådan noget Der er forskellige slags Der er nogen der hedder
• 45:04
  blue altså BLEU Der er nogle der hedder rose.
• 45:10
  Scorsese Det er meget over i den franske afdeling kan man godt
• 45:13
  høre. Men men ja hvor at det som de
• 45:18
  ligesom har til fælles er at de måler ret primitivt i
• 45:22
  virkeligheden ord. Op mellem de 2 tekster altså så
• 45:27
  hvis vi kigger på de her rugaards for eksempel.
• 45:29
  Der har vi en der hedder roche et, som bare betyder i
• 45:33
  princippet. Hvor mange ord har de her til
• 45:35
  fælles? Men de har begge 2 skrevet hund,
• 45:38
  nå men Det er jo Det er jo meget godt, så skriver de Sådan
• 45:40
  forhåbentlig om noget der minder om Sådan så har de også begge 2
• 45:44
  skrevet et eller andet andet ord jamen så så er vi lidt tættere
• 45:47
  på at at de skriver om det samme håber vi på, men de tager ikke
• 45:51
  rækkefølgen af ord ind over hovedet, så den kunne i
• 45:54
  virkeligheden skrive en masse nonsens. 2.
• 45:58
  Som handler om, hvad hedder Sådan noget par af ord, som står
• 46:02
  ved siden af hinanden, så det gør man præcis det samme, hvor
• 46:04
  man ligesom bare tager 2 ord der står ved siden af hinanden, hvor
• 46:07
  ofte eller optræder de i begge 2 på samme tid?
• 46:10
  Så hvis man står hunden er sød og jamen så kigger vi på hunden
• 46:14
  er, står der også i det der blev genereret er sød, står der også
• 46:19
  i det der blev genereret, og så kan man ligesom sammenligne på
• 46:21
  den måde. Det er selvfølgelig ikke helt
• 46:25
  optimalt. Der har været nogle artikler,
• 46:30
  hvor at de har det meget fedt egentlig hvor at de har altså
• 46:33
  udregnet de her scores, men de har også fået en masse mennesker
• 46:37
  til at vurdere altså hvor, hvor gode at de her.
• 46:40
  Jeg tror Det var oversættelser altså hvor de ligesom rangerede
• 46:44
  dem, og så kunne de netop de her forskere de kunne så teste altså
• 46:48
  de her metrikker som Vi har hvor meget korreleret hvor godt de
• 46:51
  til det som der rent faktisk er. Kvalitet eller det som mennesker
• 46:56
  ser som kvalitet. Og Der er det her rygaards.
• 47:00
  Altså Det var Sådan relativt dårligt.
• 47:03
  Altså Det var Sådan noget 15 20% tror jeg Det var kollideret som
• 47:08
  er OK. Men altså Det er jo en så Det er
• 47:10
  en skala der går fra -100% til plus 100% hvor nul er Sådan
• 47:12
  fuldstændig altså det. Det er en dårlig metrik hvis Det
• 47:15
  er nul så 15 20 Det er Sådan OK Der er en korrelation, så Det er
• 47:19
  ikke Det er ikke helt dårligt det som vi måler på.
• 47:25
  Men en variant af det, som så er kommet ud lidt senere.
• 47:29
  Det er stadigvæk nogle år på banen efterhånden der hedder
• 47:31
  Sådan en der hedder birds score. Og nu begynder det ligesom at
• 47:35
  være. Bordeller fødder ind i evaluere
• 47:38
  andre sprogmoduler land. Og Bødskov.
• 47:42
  Den gør et princippet let det samme som de her ruskede.
• 47:46
  Den kigger også på af ord, men du tager en prøvetrænet
• 47:50
  bordmodel ind fra siden af, og så bruger du den til at også
• 47:55
  acceptere synonymer. Så hvis den ligesom hvis Der er
• 48:00
  nogen der har skrevet at det der blev genereret hvis der blev
• 48:03
  skrevet min røde jakke eller Sådan noget, men i det her god
• 48:09
  standard jamen så står der min røde frakke eller Sådan noget
• 48:13
  eller et eller andet, så hvor at de her rusker og så bare ville
• 48:17
  give Sådan en 0% på på frakke og jakke så ville den her burde
• 48:21
  score så trods alt sige du får nogle delvise point der.
• 48:28
  Så Det er Sådan overordnet set, at den har også blevet vist i
• 48:30
  det her studie, at den vil kølere bedre med menneske
• 48:34
  evalueringer. Men Vi er stadigvæk nede i Sådan
• 48:37
  noget. Jeg kan ikke lige huske, hvad
• 48:37
  Det var et sted mellem 25 og 30% eller Sådan noget, så Vi er et
• 48:42
  stykke fra. Og det afhænger selvfølgelig
• 48:45
  også af, hvilken burn model man bruger, og så begynder det at
• 48:47
  blive Sådan et eller andet. Men børneskov Det er det, der
• 48:50
  bliver brugt i skatteudvalg. Jacob mortérer både bird skov og
• 48:55
  så også Jeg tror det bruges et rush eller rust tog en af de her
• 49:00
  mere vingede skorts bare som man har ligesom begge dele med lige
• 49:05
  et spørgsmål. Til til til det der dansk fordi
• 49:08
  Det er jo altså. Det er jo selvfølgelig ikke rart
• 49:10
  at når man benchmarker sin evaluerings metrik op mod et
• 49:14
  menneskeligt anna. Kvarteret hvad kan man sige?
• 49:18
  Score at så rammer man ret meget ved siden af.
• 49:22
  Men men hvis nu vi bare rammer lige meget ved siden af imellem
• 49:26
  2 modeller, så plejer jeg mit statistiske hjerte at fortælle
• 49:29
  mig at så går det nok, så kan vi godt stadigvæk bruge det til at
• 49:33
  sammenligne og er Det er det ligesom der vi står i dag at ja
• 49:37
  ja the human benchmark den kan vi ikke maskine lave, men Det er
• 49:43
  okay fordi at internt imellem modellerne så så er scorerne
• 49:46
  sikkert okay. Skal det forstås Sådan?
• 49:49
  Desværre ikke. Fordi det varierer lidt fra
• 49:52
  model til model også at Det er Sådan Der er nogle modeller som
• 49:55
  er gode og men at de bliver evalueret til at være omvendt.
• 50:00
  Altså hvor er rangen mellem de 2 ligesom bliver omvendt.
• 50:03
  Men, Der er den her kollektion, så Det er Sådan i snit af.
• 50:07
  Det er ligesom det bedste det bedste vi PT har, men en af de
• 50:12
  måder man kan som der typisk bliver gjort nu om dage er, at
• 50:17
  man ikke udelukkende evaluerer de her generative modeller på at
• 50:22
  generere tekst. Så det lyder fjollet.
• 50:25
  Men men at man prøver at gøre at give dem nogle opgaver, som er
• 50:30
  lettere at evaluere. Og Det er det, som hvis i har
• 50:35
  stødt på altså hocking fase. De har det her open eller lam
• 50:40
  liter board fra engelsk modeller, men de opgaver som
• 50:44
  hører med i det litter board, Der er ikke nogen af dem der
• 50:48
  handler om faktisk at generere tekst, hvilket er lidt pudsigt,
• 50:52
  men de handler alle sammen om Sådan en multiple choice, altså
• 50:55
  hvor at du har et eller andet setup eller et eller andet
• 50:58
  spørgsmål eller et eller andet, og så giver du den bare 4 eller
• 51:01
  3 eller 5 svarmuligheder. Og så beder du dem om at vælge
• 51:04
  en af dem. Og så pludselig reducerer du det
• 51:08
  i virkeligheden til en form for klassifikations opgave, hvor at
• 51:14
  i stedet for labels ligesom er fikst i form af sentiment, hvor
• 51:17
  du har negativ, positiv neutral, altid og altid i den samme
• 51:20
  rækkefølge, så her der hver eneste eksempel har forskellige
• 51:25
  labels, kan man sige, så man kan ikke rigtig træne en coder
• 51:28
  modeller på det. Det bliver bare Sådan noget støj
• 51:30
  Sådan noget random fordi at den ikke kan lære hvad for en af
• 51:34
  hvad AR hvad b hvad c er men generative modeller.
• 51:37
  Kan man bruge til at evaluere dem på hvor at vi netop har et
• 51:44
  eller andet? Det kan være noget triviel
• 51:45
  agtigt, hvor man sparer lidt om hvad hedder.
• 51:50
  Eller hvad hedder statsministeren i det her land i
• 51:53
  det her årstal eller Sådan et eller andet Sådan jeopardy
• 51:55
  agtige spørgsmål og og ligesom beder dem om at at kunne svare
• 52:01
  på det, og der kan man netop bruge samme metodik, som vi
• 52:03
  snakkede om før med det her. Sådan simpelthen, at man kan
• 52:06
  kigge på sandsynligheden for at danske skytter.
• 52:08
  ABCD ud. Og så tager den, det giver
• 52:12
  mening, så Der er der pludselig ja lidt mere håndgribeligt, men
• 52:15
  er det ikke Sådan en eller anden form for?
• 52:16
  NU opgave i virkeligheden. Jo altså det.
• 52:19
  Essay ligger lige der på grænsen.
• 52:21
  Ikke fordi at Det er i virkeligheden lidt mere analog
• 52:23
  agtigt, men Det er man kunne måske godt se det som en analog
• 52:27
  opgave man kan. Problemet er selvfølgelig også
• 52:31
  bare, at vi ikke kan evaluere encoder modeller på den her type
• 52:36
  opgave. Så Det er Sådan Det er den her
• 52:41
  ikke så hårfine grænse altså de overlapper lidt Sådan det giver
• 52:44
  kun meninger og benchmark generative modeller på det, men
• 52:47
  Det er måske i virkeligheden noget analog agtigt.
• 52:51
  Men hvis vi glemmer de her analog analogi label, så Det er
• 52:55
  som vi prøver på at evaluere er i virkeligheden bare altså
• 52:58
  Sådan, hvor godt kender de sprog?
• 53:00
  Altså vi prøver at evaluere deres NP score og så er vi så
• 53:05
  bare begrænset af at nogle modeller kan evaluere.
• 53:08
  Kan man smide nogle opgaver efter nogle andre kan man smide
• 53:11
  nogle andre opgaver efter. Ja jeg.
• 53:15
  Jeg har lige. Jeg har lige en en ide jeg godt
• 53:18
  kunne tænke mig at få luftet og se hvad du synes om det ikke
• 53:22
  ikke ikke? Jeg tror ikke det.
• 53:24
  Det falder ikke inden for skannet materiale, men lad os nu
• 53:27
  sige, at Jeg har et sted inde i min lomme gemt en
• 53:31
  brugergrænseflade og Jeg har en masse brugere som jeg ligesom
• 53:35
  kan kan altså de de bruger et eller andet.
• 53:40
  Lad os sige Det er chat interface, måske kunne det også
• 53:42
  bare være noget andet og så inde bagved så så rendte dominerer
• 53:46
  jeg en eller anden model. Så siger jeg hvad nu?
• 53:48
  Nu får de den her, og nu får de den her for eksempel ikke.
• 53:51
  Og så beder jeg dem om, ligesom at evaluere på det her output
• 53:55
  her. Jeg forestiller mig, nu er jeg
• 53:58
  ikke åbner jeg, men jeg forestiller mig, at Det er en en
• 54:01
  valid metode inde bagved Sådan et chat interface.
• 54:05
  Det r, hvad siger du til den måde?
• 54:07
  At gøre ting på. Eksperimentelt.
• 54:10
  Helt sikkert så så jeg. Har nogle problemer med den måde
• 54:14
  at gøre det på. Det er det bliver faktisk gjort
• 54:15
  på engelsk, så Der er en organisation der hedder LM sys.
• 54:20
  Som står for, altså de har fået en masse computer sponsoreret og
• 54:25
  open air credit sponsoreret og de har høstet det her.
• 54:28
  Det er så udelukkende på engelsk som altid, men Der er det netop
• 54:32
  det her med, at man kan gå ind i deres Arena og den måde de gør
• 54:36
  det på. Det er ikke helt, at man skal
• 54:37
  give den en score, fordi at mennesker kan ikke rigtig.
• 54:40
  Vi er ikke troværdige navigerer skorts altså Det kan vi se på
• 54:43
  anmeldelser på whatever trustpilot eller Sådan noget.
• 54:45
  Det er en stjerne eller 5 stjerner, og Der er ikke noget
• 54:47
  mellem, men det som man kan gøre Det er, at når man går ind i det
• 54:51
  her. Vender så skriver du at
• 54:53
  spørgsmålet er så en prompt og så får du 2 svar og så skal du
• 54:57
  sige hvad for en er bedst eller at de lige gode eller at de lige
• 55:01
  dårlige altså de begge 2 bare skød og og i den her Arena der
• 55:07
  har de så inkludere. En masse af de store populære
• 55:11
  open source modeller, men også p 4 t 4 turbo.
• 55:16
  Alle de her open air i ting, men også and rubrics cloud model og
• 55:21
  Googles bad og så videre og så videre, så man kan rangere dem
• 55:24
  på den måde. Og så får de alle de her, altså.
• 55:28
  Det er Sådan wins altså Det var Sådan en battle mellem 2
• 55:30
  modeller af gangen og så er der en af dem der vinder og så ud
• 55:34
  fra det udregner de deres såkaldte elo score som er det
• 55:39
  der kommer fra skak hvor at der også der spiller men også en ad
• 55:42
  gangen mod hinanden og så baseret på din wins kan du så
• 55:47
  udregne en et tal altså en en score for den enkelte person i
• 55:51
  det her tilfælde for den enkelte model, og der har de et
• 55:54
  leaderboard med de her eu scores.
• 55:58
  Så Det er Sådan det virker. Det er Sådan en form for
• 56:01
  præference præference. Evaluation kan man godt sige Det
• 56:06
  kan man godt sige. Jo men sammen ja så man kan både
• 56:08
  bruge den til noget Sådan noget præference i virkeligheden.
• 56:11
  Noget præference tuning og også af nye modeller, men også som
• 56:14
  evaluering. Ulempen som jeg ser det, er at
• 56:20
  det bliver meget svært at kontrollere.
• 56:25
  Hvad de her faktisk blev evalueret på eller Sådan fordi
• 56:29
  at Det er det menneskerne selv, der styrer hvad prompts som der
• 56:33
  skal smides ind i, så er det i virkeligheden.
• 56:36
  Korreleret nok til altså kollideret med det, som du rent
• 56:40
  faktisk vil bruge modellerne til i sidste ende.
• 56:43
  Det er ikke nødvendigvis noget der der siger for altså Sådan,
• 56:45
  hvis Der er nogen, som vil bruge en sportsmodel.
• 56:48
  De har noget helt konkret jysk case, så tror jeg Det er de
• 56:51
  færreste som siger. Nå, men jeg går da lige ind i
• 56:53
  arenaen og og bruger en Formel. De vil nok bare altså sætte et
• 56:58
  skrummel eller tage en check kapitel eller tage en open
• 57:01
  source model. De har liggende eller et eller
• 57:02
  andet og og bruge den, så jeg frygter lidt og det her.
• 57:07
  Det er udelukkende baseret på min egen hach altså Jeg har
• 57:10
  ikke, Jeg har ikke noget at have det her i, men jeg frygter.
• 57:12
  Så let at det som de her modeller bliver evalueret på,
• 57:15
  bliver en masse Sådan noget rigtig niche, rigtig
• 57:19
  overkompliceret. Hvor kom de sæt opgaver, fordi
• 57:24
  de ligesom prøver at presse de her modeller til det yderste.
• 57:28
  Det er lige så naturligt. Det er ikke så naturligt.
• 57:31
  Præcis og derudover så frygter jeg også lidt, at der bliver, at
• 57:35
  Der er mange der tester de her modeller prompter de her
• 57:38
  modeller om det samme eller tæt på det samme.
• 57:41
  Og så kommer vi ind i det klassiske problem med, at hvis
• 57:45
  du har en model og du træner den og den har en masse dubletter i
• 57:50
  den træningsdata, så kommer den til at ligesom får en overvægt,
• 57:54
  så i det her tilfælde vil evalueringsmodellen få en
• 57:56
  overvægt et eller andet. Hvad er statsministeren i
• 58:00
  Danmark i 2024 eller Sådan noget?
• 58:03
  Klassisk spørgsmål, men hvad nu hvis Det var?
• 58:08
  Meget vigtigere end ellers. Ja hvad hvad?
• 58:10
  Hvad nu hvis? Det var altså det det lyder som
• 58:13
  det du siger Det er det Jeg vil kalde for et forsøg på et et
• 58:17
  ukontrolleret eksperiment i virkeligheden.
• 58:19
  Men hvad nu hvis Det var mere kontrolleret eksperiment, altså
• 58:22
  hvor at at hvad kan man sige hvilken prompt og hvad for en
• 58:25
  taske jeg havde som brugeren, ligesom var i gang med at sige
• 58:29
  at jeg bare havde noget problem. Ingeniøren nedenunder der
• 58:31
  ligesom på en eller anden måde hjalp og styrede, hvor jeg også
• 58:34
  kunne styre variationen i templates og prompts og Sådan
• 58:37
  nogle ting der ville du så ikke mene, at den form for indsamling
• 58:39
  alligevel altså. Jeg, jeg fisker lidt efter.
• 58:42
  Hvad ville du anbefale, at virksomheder gjorde derude, hvis
• 58:45
  de skulle evaluere deres l lemmer på på nogle cases næsten
• 58:49
  høre at Jeg har. Jeg har tænkt nogle tanker om,
• 58:51
  hvordan jeg selv ville gøre det. Ja.
• 58:54
  Jeg tror helt sikkert, at altså Sådan mennesker er selvfølgelig
• 58:59
  meget mere troværdige end i det automatiske evaluerings mark.
• 59:03
  Altså Sådan har det altid været, og Sådan vil det altid være,
• 59:06
  hvis man kan. Altså hvis man kan sætte mere
• 59:11
  struktur i Sådan et her. Sådan en her Arena altså netop
• 59:15
  som du siger med, at hvis vi definerer en række opgaver, at
• 59:19
  Sådan måske lidt snævre opgaver og så beder de her modeller om
• 59:24
  at generere. Og at de her mennesker, så
• 59:27
  bliver bedt om, at de skal vælge en, som er den gode eller den
• 59:31
  dårlige. Det kan ligesom være del et af
• 59:33
  dem. Så kan det også godt være, at de
• 59:34
  her mennesker de måske kan foreslå nogle nye opgaver eller
• 59:39
  nogle nye tasks. Og så kan man måske være uploade
• 59:42
  dem eller downloade dem eller Sådan noget.
• 59:44
  Og så bliver der valgt nogle nye tasks, og så kommer folk til
• 59:47
  ligesom at evaluere på dem og Sådan noget, altså hvis man gør
• 59:49
  det på en måde, så man ligesom kan kontrollere input, så tror
• 59:54
  jeg helt sikkert, at det vil give meget.
• 59:57
  Men Jeg tror hver det resultater end alt muligt andet.
• 1:00:01
  Selvfølgelig er der noget bias fordi at hvem er det, som
• 1:00:04
  ligesom signer op til at evaluere de her ting?
• 1:00:06
  Det kan godt være din særlige type mennesker, og Det kan godt
• 1:00:10
  være, at de ikke lige at alle mulige andre mennesker ikke vil
• 1:00:12
  være enige i deres evaluering. Men Jeg tror det ville nok
• 1:00:18
  resultere i et betydeligt bedre liter board.
• 1:00:22
  Dog skal man selvfølgelig den den klare negative ting ved det
• 1:00:26
  her. Det er, at det koster.
• 1:00:28
  Rigtig mange penge, så det heroppe og man.
• 1:00:31
  Skal gøre det. Her igen altså nærmest fra
• 1:00:34
  scratch hver gang der kommer nye modeller ud, fordi at du skal
• 1:00:36
  sammenligne modeller, så skal du også tage fat i de gamle
• 1:00:39
  modeller igen og sammenligne igen.
• 1:00:41
  Det koster virkelig mange penge og og Det er meget ikke så
• 1:00:46
  holdbart i længden. Men hvis man nu er en virksomhed
• 1:00:50
  det her, Det er måske sidste punkt omkring det her, hvis man
• 1:00:53
  er en virksomhed som har en meget snæver use case, altså de
• 1:00:56
  bruger generative modeller til en ting eller 2 ting eller Sådan
• 1:00:59
  noget, de vil bare gerne have en model Der er god til det.
• 1:01:01
  Og Det er Det er tag de bedste største.
• 1:01:07
  Selv og Der er derude mest populære modeller.
• 1:01:11
  Lav Sådan en her internt i evalueringens halløj, hvor at de
• 1:01:16
  medarbejdere, der rent faktisk skal arbejde med det her, at de
• 1:01:19
  bliver sat til at evaluere det. Så tror jeg godt, så tror jeg
• 1:01:23
  man bedre kan stole på det end et åbent benchmark.
• 1:01:27
  Sådan skal det være, fordi jeg skandaler er netop med en som
• 1:01:29
  Sådan. Det overordnede performance.
• 1:01:31
  Det er ikke nødvendigvis at Det er 100% poleret med din meget
• 1:01:35
  snævre use case inden for din virksomhed, så Jeg vil sikkert
• 1:01:40
  tage udgangspunkt i skal det være Det kan godt være man
• 1:01:42
  ligesom kan sælge ud fra Det kan sige lad os prøve at tage top 10
• 1:01:45
  modeller derfra og evaluere dem i Sådan en her Arena, for
• 1:01:49
  ligesom at indsnævre til dem som.
• 1:01:52
  Som der virker bedst. Ville det nok også være mine.
• 1:01:57
  Jeg tænker meget på det som. Sådan i, at hvis man har en
• 1:01:59
  eller anden form, for hvis man har noget et produkt eller en
• 1:02:02
  softwareprodukt, hvor man har i en eller anden aktivitet, man
• 1:02:06
  kan gøre i det produkt, hvor det involverer noget med, at man
• 1:02:09
  skal proppe en eller anden sportsmodel.
• 1:02:11
  Så kan man typisk designe den del af produktet.
• 1:02:15
  Sådan så Det er Sådan ret obvious hvad der skal ske du ved
• 1:02:18
  Det er det her du skal det her problem.
• 1:02:21
  Vi er i gang med at løse sammen dig og software og sportsmodel
• 1:02:24
  så du ved og så kan man så kan man hvis man så finder på en
• 1:02:28
  eller anden måde at få indsamlet feedback på så kan man så kan
• 1:02:34
  man ligesom med ret høj sandsynlighed forvente at folk
• 1:02:37
  godt er med på at Det er det her setup og de forstår godt det der
• 1:02:41
  skal ske. Og de kan give feedback på en
• 1:02:45
  eller anden måde, som er giver mening i forhold til det de
• 1:02:47
  gerne vil opnå. Så kan man ligesom tale om at
• 1:02:50
  køre. Men jeg det jeg hører dig sige
• 1:02:52
  Det er, hvis man bare ligesom tager gud og hver mand ind fra
• 1:02:55
  gaden og bare sætter hen foran et sprog model.
• 1:02:58
  Og ligesom siger værsgo, her er 2 svar punktum et eller andet
• 1:03:02
  her er 2 svar og vælg det bedste ikke så er det Sådan lidt.
• 1:03:05
  Okay snakker vi om at have hvem hvem Der er statsminister i
• 1:03:07
  Danmark snakker vi om skrive en et eventyr til.
• 1:03:12
  Min mit barn eller ja, for eksempel ikke så.
• 1:03:16
  Lige præcis. Så det bliver bare Sådan altså
• 1:03:19
  det her. Det er igen bare bygget på en
• 1:03:20
  hunch, altså hvis man kigger på det der LC leaderboard så ser
• 1:03:24
  det ret fint ud altså det ser ret intuitivt ud at nå ja, de
• 1:03:29
  her modeller burde nok lægge øverst og så videre og så
• 1:03:31
  videre, men. Det er bare svært at at lure
• 1:03:37
  præcis hvad man bliver, hvad der bliver målt på.
• 1:03:40
  Derudover skal man også tage mængde af det her.
• 1:03:42
  Det er på engelsk, hvor at Der er mange flere.
• 1:03:46
  Folk rundt omkring i verden der snakker engelsk, så de vil altså
• 1:03:50
  det betyder at de får super meget feedback og rigtig mange
• 1:03:53
  som måler de her ting og som altid hvis du har ligesom
• 1:03:56
  kvantiteten med, så kan du få noget støj, men så bliver støjen
• 1:04:00
  ligesom canceled ud II sidste ende.
• 1:04:02
  Men hvis vi begynder at gøre Sådan noget på dansk, så frygter
• 1:04:06
  jeg rigtig meget at altså vi vi får kommer ikke til at få den
• 1:04:09
  samme kvantitet, så det bliver det bliver meget mere støjende
• 1:04:13
  og det bliver potentielt set misvisende hvis at Det kan over
• 1:04:16
  i en retning. Man skal virkelig bruge noget
• 1:04:19
  krudt på at at sørge for at det bliver.
• 1:04:22
  At noget, man kan stole på i sidste ende, at det bliver Sådan
• 1:04:25
  nogenlunde enige om et eller filtrerer meget i de her votes
• 1:04:29
  eller Sådan noget. Men Det er ikke.
• 1:04:31
  Det er ikke ligetil, men Jeg har hørt dig om mange inde på det
• 1:04:34
  her. LM sys chatbot Arena Der er så
• 1:04:37
  mange der Sådan prøver at finde ud af hvad Det er for en sport
• 1:04:40
  model vil jeg sige. Hvem er du så siger de 4 eller
• 1:04:43
  et eller andet eller jeg spænder åbning eller et eller andet og
• 1:04:46
  så er det Sådan en OK så Det er også.
• 1:04:50
  Det. Det, der skal rettes i det der
• 1:04:53
  data. Bagefter Det er jo også
• 1:04:55
  forfærdeligt, ikke? Altså de går efter at.
• 1:04:58
  Udgive al data open source faktisk som var kommet der
• 1:05:02
  Arena, så Det er jo meget fedt, så Der er jo en masse af noget
• 1:05:05
  præferenceordning, som man kan bruge til det.
• 1:05:07
  Det er selvfølgelig på engelsk, men altså Det er ikke
• 1:05:10
  nødvendigvis på engelsk, fordi de har jo ikke noget kontrol
• 1:05:12
  over hvem der skriver. Du kan godt skrive dansk og så
• 1:05:15
  får du noget dansk op på det, og så kan du også evaluere, så Det
• 1:05:19
  kan godt være der kommer noget dansk data ud som vi kan bruge
• 1:05:21
  måske en lille bid en lille bitte bid.
• 1:05:28
  Hvad hedder det dan Vi er? Bedre at snakke i lang tid.
• 1:05:30
  Jeg synes vi kommer rigtig godt omkring og får fanden mand
• 1:05:33
  evaluering. Det er ikke bare evaluering.
• 1:05:37
  Der var de. Er det ikke noget, hvis du gør
• 1:05:41
  Sådan her på? Gøre den her pige?
• 1:05:46
  Jo, Det var roman der ikke miste Jonas.
• 1:05:51
  Det virker romanen her computer roman har fundet hvis man gør
• 1:05:55
  Sådan her på en mac så kommer der balloner eller stella OK så
• 1:06:00
  sker det ved at blive lange. Klokken.
• 1:06:01
  Den er Vi har snakket en time og snart 7 minutter her til
• 1:06:04
  allersidst kunne jeg godt tænke mig bare lige at høre den når du
• 1:06:07
  har fået en frisk ny generativ LM ind ad døren og sender den
• 1:06:11
  igennem channel og får en score ud.
• 1:06:16
  Så har du selvfølgelig lavet en form for agat af alle scorer.
• 1:06:19
  Alle scorer et par dage til og så videre, men hvis du gerne
• 1:06:22
  ligesom vil gå et skridt, dybere ned og Sådan tjekke hvad for
• 1:06:25
  nogle datasets den perforeres. Altså har du nogle yndlings
• 1:06:27
  datasæt hvor du tænker hvis den performer godt på det der, så er
• 1:06:30
  det lidt specielt eller Sådan. Det her.
• 1:06:34
  Det har jeg lidt. Faktisk, Der er Sådan et et
• 1:06:37
  særligt datasæt som og det Det er Sådan ikke nogen blok eller
• 1:06:42
  noget som helst. Men Det er Sådan det jeg selv
• 1:06:44
  lavede, så Jeg er glad for det. Men Det er et datasæt eller jeg
• 1:06:49
  lavede et script, som ligesom genererede det ud fra andre
• 1:06:51
  datasæt, men Det er et der hedder scala, så Det er det som
• 1:06:55
  man i. Hvad kan man sige?
• 1:06:57
  Lingvistisk forstand kalder linguistic accessibility, og Det
• 1:07:01
  er mere eller mindre altså det lyder meget fancy, men Det er
• 1:07:03
  bare Sådan at du giver dem noget.
• 1:07:04
  Først, og så skal du ligesom så spørger du den om den her tekst,
• 1:07:08
  Der er grammatisk korrekt eller ikke?
• 1:07:10
  Og det eneste, som jeg gør i det her skala datasæt, Det er i
• 1:07:15
  virkeligheden jeg tager noget, noget tekst, og så sletter jeg,
• 1:07:20
  eller Der er Sådan en 50% synlighed, kan det være jeg
• 1:07:24
  sletter et ord, men Det kan også godt være at jeg bytter rundt på
• 1:07:29
  2 naboer. Og det gør jeg i Sådan en
• 1:07:32
  forstand. Jeg har Sådan nogle part of
• 1:07:34
  speech tics i de her datasæt, så Jeg kan gøre det på en måde, så
• 1:07:37
  Jeg er sikker på, at meningen bliver ødelagt.
• 1:07:41
  Altså hvis du faktisk har 2 tillægsord, så kan du godt bytte
• 1:07:43
  rundt på dem. Det ændrer ikke noget som helst.
• 1:07:45
  Du kan godt sige en stor rød ballon og en rød stor ballon.
• 1:07:48
  Det er okay. Men hvis man sørger for, at de
• 1:07:52
  her facts er af en særlig type, Sådan at når du rykker den
• 1:07:55
  rundt. Du kan for eksempel ikke sige en
• 1:07:57
  rød ballon stor for eksempel. Det ville være en måde, så Det
• 1:08:01
  er den her ting, men når vi som hvad kan man sige nat speakers,
• 1:08:04
  når vi ser noget dansk tekst, så kan vi se Sådan.
• 1:08:08
  Åh, det ser ikke rigtig ud det her.
• 1:08:10
  Det er Sådan, vi får en instinktiv fornemmelse af det.
• 1:08:12
  Det er ikke Det er sgu ikke helt skrevet af af en, der kan
• 1:08:15
  perfekt dansk og af en eller anden.
• 1:08:19
  Det virker som om, at det her skala benchmark er virkelig god
• 1:08:23
  til at male. Det er fordi at.
• 1:08:27
  Hvis eller Der er rigtig mange modeller, der ligger ret dårligt
• 1:08:31
  skare eller der har en ret dårlig skare.
• 1:08:33
  Men hvis du for eksempel tager en model og viderebragt, træner
• 1:08:36
  dem på noget dansk data, så det netop det her datasæt på dansk,
• 1:08:40
  som kommer til at stige ret meget.
• 1:08:43
  Altså det a. Hvad kan man sige mest vild med?
• 1:08:46
  Hvis jeg ser en generativ model der har høj skala score, så er
• 1:08:50
  det Sådan noget så så så sker der noget agtigt.
• 1:08:54
  Men jeg tænker Vi har vel alle sammen Vores.
• 1:08:56
  Datasæt, hvor vi tænker uh det der ikke bare lige hurtigt.
• 1:08:59
  Okay nu ved jeg godt det sagde Det var det sidste for ikke, men
• 1:09:01
  kan vi ikke bare lige hurtigt som allersidste ting inden vi
• 1:09:04
  runder af kan vi lige hurtigt prøve at diskutere situationen
• 1:09:06
  på NLG delen af scandic leaderboardet fordi Der er jo
• 1:09:10
  sket noget herinde lige i går eller Sådan et eller andet kan
• 1:09:14
  du ikke lige hvis du kan sætte på det?
• 1:09:18
  Altså vi snakker om den familie Casper bruus.
• 1:09:22
  Gætter jeg på ja altså måske ja altså nu.
• 1:09:24
  Kan man sige eller hvad skal jeg sidder lige og kigger på det
• 1:09:27
  jamen nu jeg. Jeg kigger bare på det hurtigt
• 1:09:29
  her og giver dem til 4. Ligger selvfølgelig i toppen
• 1:09:32
  derovre, dernæst ligger gt 3,5. Og så begynder det at blive open
• 1:09:37
  source modeller. Ja.
• 1:09:41
  Hvad? Hvad?
• 1:09:42
  Hvad hvad du mener bare hvis. Ja, hvad er din?
• 1:09:45
  Hvad er din? Opfattelse, hvad Sådan hvad
• 1:09:47
  tænker du om det lige i øjeblikket og Sådan?
• 1:09:49
  Hvad tænker du så spændende? Det har været Sådan ret nylig
• 1:09:53
  tendens at organ source modellerne altså på den
• 1:09:56
  generative bane i skandinavisk regi, ligesom er begyndt at tage
• 1:10:01
  fart meget af det, vi stadigvæk i de begyndende stadier.
• 1:10:04
  Men men Det er virkelig, virkelig fedt og se, så er det
• 1:10:07
  Sådan en ære i suiten ovre i Sverige.
• 1:10:09
  De har haft deres between model, og som er blevet udgivet som
• 1:10:12
  ligesom var startskuddet, så er der en hel en gruppe af organic.
• 1:10:17
  Stationer og universiteter oppe i Norge, som hedder nora eller
• 1:10:20
  lem, som også er gået sammen, så Det er blandt andet
• 1:10:22
  nationalbiblioteket, som har været inde i det her.
• 1:10:26
  Eller ikke et eller andet, men Det har så været en coders
• 1:10:28
  rigtig rigtig lang tid, men de har slået sig sammen med flere
• 1:10:31
  af de andre universiteter og slået sig sammen om at lave
• 1:10:34
  norske generative modeller. Og så har vi her i alexanders så
• 1:10:38
  småt er begyndt at lave generativ modeller på dansk
• 1:10:44
  sammen med Aarhus Universitet, som deler det her danish
• 1:10:47
  foundation models projekt, så det begynder Sådan langsomt at
• 1:10:51
  at komme op og køre, og Det kan vi også begynde at se på de her
• 1:10:54
  leaderboards, at Det er Sådan, Der er flere af de her modeller,
• 1:10:57
  som begynder at komme frem, som begynder at være tættere på g
• 1:11:02
  3,5 i hvert fald. Og jeg håber på, at Det er
• 1:11:06
  startskuddet, og at det ligesom at vi ser mange flere.
• 1:11:09
  Nye udviklinger, så Det har været.
• 1:11:12
  Det er ligesom første del af den anden del.
• 1:11:15
  Det er model merging er blevet en stor stor ting, og Det kan vi
• 1:11:19
  lave et podcast om, så jeg kommer ikke til at lave den her,
• 1:11:23
  men Jeg kan i hvert fald nævne, at Det er en måde man tager 2
• 1:11:26
  modeller på at slå dem sammen grov set altså hvor at man
• 1:11:31
  march. Og deres vægte, altså de her
• 1:11:33
  tal, som sidder i modellerne, så får du en ny model, og Det er
• 1:11:38
  der kommet meget ny forskning i, hvordan man gør det ordentligt,
• 1:11:42
  og Det er super vilde Vesten ligesom mange af de her ting
• 1:11:45
  starter med at være. Men det virker overraskende
• 1:11:49
  godt, og vi kan også se på det her liter board, at Det er oppe
• 1:11:54
  i toppen, så er det fyldt med murede modeller.
• 1:11:58
  Der er mange alt. Det skal dog nævnes, at den
• 1:12:00
  nærmest alle myrdede modeller på det leaderboard lige nu er, så
• 1:12:07
  der skal man. Man skal slå Sådan et lille
• 1:12:09
  tekstboks til for at kunne se den, men.
• 1:12:13
  De myrdede modeller nærmest alle sammen byggede på modeller, Der
• 1:12:17
  er trænet på open air. I genereret data skal man tage i
• 1:12:20
  mængde, så Der er ingen så vidt jeg lige kan huske ingen af de
• 1:12:24
  myrdede modeller, Der er på det benchmark, som må bruges
• 1:12:27
  kommercielt, så det skal man lige tage med.
• 1:12:30
  Hvordan kan det egentlig være, at man kan slå?
• 1:12:32
  Til fordi der kunne skrive include march models kan du ikke
• 1:12:35
  holde til og fra hvorfor bliver de egentlig ikke alle de murede
• 1:12:38
  modeller ikke bare vist det som default på leaderboardet
• 1:12:40
  egentlig. Det for at undgå?
• 1:12:42
  Inflation og degradering af Liverpool, så Det er Det var en
• 1:12:47
  lektie fra hocking fases open eller lam leaderboard som sidste
• 1:12:53
  år altså fra sommer og ligesom frem til slutningen af sidste
• 1:12:56
  år. Der var det Sådan altså super
• 1:12:58
  autoritært liter board som folk kunne stole på og Sådan noget,
• 1:13:02
  så begynder morgen at være en ting, og man kan nærmest ikke
• 1:13:05
  stole på noget Der er på det lille bord.
• 1:13:07
  Mere fordi at folk de har taget de er begyndt at merge modeller.
• 1:13:12
  Så ligesom er at tage top 1, 2, 3, 4 5 og matche dem alle
• 1:13:17
  sammen. Det svarer lidt til at boardet
• 1:13:22
  og nu kommer de her balloner igen.
• 1:13:25
  Og hvor fedt på liter bordet og samtidig også at Der er nogle
• 1:13:29
  modeller på deres benchmark, som er blevet trænet på test
• 1:13:34
  sætning. Altså så og hvis det sker for en
• 1:13:38
  enkelt model. Fint nok, så kan man ligesom
• 1:13:39
  ignorere den. Men hvis den er Sådan inde i en
• 1:13:41
  eller anden klam af marcherede af 40 andre modeller, det bliver
• 1:13:47
  meget svært at se hvor den her data kommer fra så af den grund
• 1:13:52
  altså jeg prøver at være super påpasselig med Michael modeller.
• 1:13:55
  Så til, dels har jeg som default slået fra, altså man ligesom
• 1:13:59
  selv skal slå visning af dem til og dels også at alle mure
• 1:14:05
  modeller på liter boardet udelukkende er 3 eller kun må
• 1:14:10
  evalueres på validerings datasættene.
• 1:14:12
  De må ikke evalueres på testene, og Det er netop for at undgå, at
• 1:14:16
  der bliver overflyttet på tests sætning ved at man bare møder de
• 1:14:20
  marcherede de marcherede, de murede og så videre indtil man
• 1:14:23
  når op på og vi slog p 4. Det har du overhovedet ikke
• 1:14:28
  gjort. Vi har bare at finde på et tæt
• 1:14:29
  sæt, så hvad hedder det? Men så.
• 1:14:32
  De virker ikke bedre eller Sådan er det.
• 1:14:34
  Er det fordi de altså det skal ikke.
• 1:14:37
  Helt forstå på den måde, så det her.
• 1:14:40
  Jeg ved det. Altså som Det er lige.
• 1:14:42
  Nu tror jeg godt at man kan stole på at på skandaler der bor
• 1:14:46
  du der. Den performance som Der er på
• 1:14:51
  liter boardet er relativ pålidelig, altså Sådan de virker
• 1:14:55
  ret godt det her. Det er en form for proaktiv
• 1:14:58
  ting, at jeg frygtede at hvis jeg bare tog den med som med som
• 1:15:03
  modeller ligesom alle andre modeller, at det netop vil være
• 1:15:07
  nå til et punkt om det, vil jeg ikke et par uger eller Sådan
• 1:15:10
  noget om at. At top 100 af de her modeller de
• 1:15:14
  er alle sammen bare munchen modeller, og hvis der bare er en
• 1:15:17
  model, som er trænet på noget testdata, så er hele lidt af
• 1:15:20
  boardet nærmest tabt, så Det er for at være påpasselig der.
• 1:15:26
  Og Det er jo også fordi at de har muret modeller.
• 1:15:28
  De altså de jo det kræver ingen PU og murphy modeller, så Det er
• 1:15:31
  Sådan utrolig nemt at gøre. Der er lavt barrierer for
• 1:15:34
  ligesom at komme ind i de her marché verden der så så det vil
• 1:15:39
  sige, så Det er derfor det også lidt inflation i det.
• 1:15:42
  Præcis og Jeg har taget. Den med, så ligesom særligt så
• 1:15:45
  power users kan kan sammenligne de her murede modeller og for
• 1:15:50
  samtidig også at gøre det klart, at Det er altså Det er ligesom
• 1:15:54
  du skal lige tænke dig om før at du bare blindt stoler på det her
• 1:15:58
  leaderboard. Du kan sagtens tage dem med,
• 1:16:00
  særligt hvis Vi har det her setup, som som vi snakkede om
• 1:16:02
  før, men det her interne leaderboard ind i ens virksomhed
• 1:16:07
  eller Sådan noget tage de murede modeller noget helt sikkert, så
• 1:16:10
  kan du evaluere dem og se om de fungerer godt, så slå mørch
• 1:16:14
  knappen til og ligesom tage de bedste marcherede modeller og
• 1:16:17
  evaluere dem. Helt sikkert gør det fordi at
• 1:16:20
  magic er en super fed og spændende ting, så Det er
• 1:16:23
  udelukkende bare for ligesom at at ja undgå undgå det her og så
• 1:16:29
  sammenligner vi også lidt æbler med æbler, at du kan jo sagtens
• 1:16:32
  tage alle de modeller Der er i bådmarkedet.
• 1:16:33
  Matche dem alle sammen, hvis du har lyst til det, men på liter
• 1:16:38
  boardet uden mure modeller der kan vi ligesom sammenligne ikke
• 1:16:40
  murede modeller med ikke mure modeller så ligesom hvor er den
• 1:16:43
  rå performance er den? Spændende.
• 1:16:48
  Hold da op Vi er. Vi er nået en time og 17
• 1:16:51
  minutter ind, og vi kunne fortsætte med dig dan fordi at
• 1:16:54
  du har jo præsteret en meget lang podcast episode før, så Det
• 1:16:58
  kan du helt sikkert gøre igen. Men jeg tænker at jeg ved ikke
• 1:17:02
  med dig unge, men Jeg er blevet meget klogere på scandal og alle
• 1:17:06
  de integrerede ting som der ligger nedenunder og jamen jeg
• 1:17:10
  skal da hjem og og kloge mig på arbejdet så.
• 1:17:13
  Ja tak for jeg. Tak for alle oplysningerne den.
• 1:17:17
  Er godt nok blevet meget klogere.
• 1:17:18
  Jeg troede, jeg vidste noget om evaluering.
• 1:17:20
  Det troede jeg virkelig bare ikke til det her, men.
• 1:17:23
  Det har jo været. Det er sgu meget fedt at komme
• 1:17:25
  lidt i dybden med det også. Ikke fordi ja det jeg skulle som
• 1:17:29
  sagt, Det er jo ikke et løst problem, og Det er Sådan lidt.
• 1:17:31
  Det er i virkeligheden bare indikator meget af det vi laver,
• 1:17:34
  altså Sådan så det. Ja, men i hvert fald.
• 1:17:38
  Ja, men Jeg tror vi så småt begynder at slutte nu her
• 1:17:42
  skyggerne ved at blive lange. De er faktisk infinity lange her
• 1:17:46
  hvor Jeg er hvad hedder det nå? Anyways hvad hedder det 1000 tak
• 1:17:50
  1000 tak for dit arbejde med med sandwall dan og tak fordi du gad
• 1:17:54
  at være med i Vores podcast og fortælle om det.
• 1:17:58
  Tak fordi i inviterede mig. Ja selv tak og.
• 1:18:02
  Til alle Vores kære lyttere derude, så tak fordi i lyttede
• 1:18:04
  med og vi ses igen i næste uge. Hey.
• 1:18:08
  Hey.