Latest / Verbos: AI og Softwareudvikling / #93 - Hvordan Bygger Man RAG-systemer? med Emil Lykke Jensen

Transcript

#93 - Hvordan Bygger Man RAG-systemer? med Emil Lykke Jensen · Verbos: AI og Softwareudvikling

• 0:00
  Hej allesammen og velkommen til hvad bos podcast afsnit nummer
• 0:02
  93 i dag. Der skal vi snakke om rack
• 0:05
  retrived generation. Det er ikke fordi Det er nyt og
• 0:09
  hot. Det har efterhånden været en
• 0:10
  ting længe men men Det er egentlig ikke noget Vi har
• 0:12
  snakket om så meget her på podcasten og i dag faktisk på.
• 0:17
  Altså fordi i har spurgt om det derude, så vil vi gerne prøve
• 0:19
  ligesom at tage lidt et debat dive i hvad retrivle
• 0:22
  organedgeneration eller rack er. Hvordan man bygger det.
• 0:26
  Hvornår skal man bruge det? Hvornår skal man ikke bruge det
• 0:28
  alle de her fantastiske ting, som Vi er sikre på?
• 0:31
  At kunne være mega brugbar for Vores lyttere derude, så Det er
• 0:34
  det Vi skal snakke om i dag og til at gøre det der har vi fået
• 0:38
  dig med i studiet studiet emil Jensen velkommen til.
• 0:41
  Ja. Ja, men jeg tænker, skal vi ikke
• 0:44
  bare hoppe direkte ud i det? Vil du ikke introducere dig
• 0:47
  selv, emil? Det vil jeg gerne.
• 0:49
  Jamen jeg hedder emil og man kan sige Jeg har arbejdet med Sådan
• 0:54
  NLP og. Tekst og alle Sådan nogle sjove
• 0:58
  ting i de sidste 10 15 år. Alt afhængig af hvordan man man
• 1:03
  tæller og. Der kan man sige der har der har
• 1:08
  Sådan en search elementet som så er blevet til reg fyldt utrolig
• 1:12
  meget. Og hele AI spacet har jeg jo
• 1:15
  Sådan på en eller 2 måde haft gang i.
• 1:19
  Siden før transformers modeller og alt muligt andet sjovt.
• 1:22
  Og Det er jo. Blev meget drilt nu.
• 1:26
  Og i dag, så sidder jeg blandt andet og bygger forskellige rap
• 1:29
  systemer og. Bare søgeløsninger.
• 1:34
  Sådan kompleks data. Megafedt og så er der jo den
• 1:38
  lille twist at altså du er jo statskundskab uddannet.
• 1:43
  Ligesom alle andre i det her space, kan jeg så?
• 1:45
  Forstå lige præcis og Det er Der er underligt mange i andeneres i
• 1:50
  mit liv som er statskundskab uddannet.
• 1:52
  Måske mange der ved at Det er Sådan et lille hemmelighed, men
• 1:54
  Det er det eneste, vi bliver undervist i Det er.
• 1:56
  Det skal ikke tale. Det er de på nettet design.
• 2:00
  Det er ikke en skid Det er. Det er a og det hele.
• 2:03
  Det er ikke hele Det er os der fandt på det ikke jule.
• 2:07
  Altså bare for lige at nævne et par stykker.
• 2:09
  Jonas er statskud dernede Mikkel fraltoft, som du også kender er
• 2:13
  min er statskunk uddannet adam hede statskundskab uddannet og
• 2:17
  der Der er også flere Jeg har glemt Jeg har Jeg er blevet ved
• 2:19
  med at lægge mærke til til til flere og flere af jer så.
• 2:24
  Amen det Det er helt fantastisk. Det lægger vi ned.
• 2:30
  Vi troede, vi skulle igennem staten, så fandt vi ud af Det
• 2:32
  var igennem AI. Det er megafedt.
• 2:37
  Måske skal vi også bare lige vende det hurtigt, fordi apropos
• 2:39
  statskundskab og Sådan noget. Du har jo også et et website som
• 2:43
  vil du ikke fortælle lidt om det?
• 2:45
  Govern that iow jamen. I virkeligheden, så er det jo
• 2:48
  som alle andre, der har arbejdet med.
• 2:52
  Politik og teknologi, så er det jo Sådan en eller 2
• 2:55
  sammensmeltning af de 2 ting. Hvor i øjeblikket så er den
• 3:01
  relativt enkel. Den henter data fra Folketingets
• 3:05
  kilder. Det vil sige al sagsdata, der
• 3:09
  findes i Folketinget. Nye love beslutningsforslag,
• 3:13
  paragraf 20 spørgsmål, udvalgspørgsmål, alt Sådan noget
• 3:16
  og så al aktørdata, der findes derinde.
• 3:18
  Det vil sige alle politikere basically, og så henter den alle
• 3:22
  referater af alle folketingsmøder.
• 3:25
  Og det kaster den så op i luften og laver nogle forskellige ting
• 3:28
  ved Sådan at man dels kan se det visuelt.
• 3:31
  Man kan se hvilke når der står på en person, så kan du se hvad
• 3:34
  for nogle taler har de holdt hvad for nogle sager i de
• 3:37
  involverede i når der står på en sag, så kan du se hvilke sager
• 3:40
  minder om denne her sag, hvilke personer involveret i den, hvad
• 3:43
  for nogle? Møder har der været holdt på
• 3:45
  baggrund af der. Så kan man selvfølgelig også
• 3:47
  lave semantisk søgning i det. Og ideen er så, at det ligesom
• 3:51
  skal udbygges med med alt muligt andet funktionalitet, så det
• 3:53
  ligesom bygges ovenpå, og der skal også flere datakilder til
• 3:56
  blandt andet høringsdata IEU data.
• 4:01
  Alle mulige andre sjove ting, så Det er Sådan et et hobbyprojekt
• 4:05
  er lidt forkert at kalde det, men Det er Sådan 1 1 1 projekt
• 4:08
  jeg kører fordi Jeg synes Det er ret fedt og Jeg tror på Der er
• 4:12
  et. Et marked og en.
• 4:16
  En vigtighed i at bygge Sådan noget, altså i virkeligheden i
• 4:20
  et samfund, Der er i stigende grad, hvor Sådan demokratisk
• 4:26
  viden eller Sådan indsigt i folketingsdata, parlament,
• 4:30
  parlamentarisk data bliver mere og mere mudret og sværere og
• 4:33
  sværere, blandt andet fordi der kommer meget, meget mere af det,
• 4:37
  så så kunne jeg godt tænke mig at prøve at lave et eller andet
• 4:40
  som. Kunne gøre et eller andet ved
• 4:42
  ved det problem. Eller fordi der blev altså nu
• 4:46
  har Jeg har siddet og rodet lidt med Folketinget har jo et API
• 4:49
  man kan kalde at få de her ting og Det har jeg siddet og rodet
• 4:53
  lidt med og det tror jeg også du har Jonas og Det er en ting det
• 4:57
  der med at forstå hvordan det der API hænger sammen.
• 5:00
  Det er Det er en udfordring af sig selv men men Det er det ja.
• 5:05
  Men men men også det der med det kræver også at man forstår
• 5:08
  strukturen i processerne og Sådan noget i Folketinget ikke.
• 5:12
  Og Det er jo også en en ting at sætte sig ind i.
• 5:14
  Ikke så men, men så bliver man jo også bevidst om hvor meget
• 5:18
  altså hvor meget tekst Vores kære folketing producerer
• 5:21
  dagligt ikke. Altså Det er jo.
• 5:23
  Det er helt den helt helt vildt, men ja Der er Der er Der er
• 5:27
  afgjort Sådan nogle altså. Der er jo nogle ting Der er
• 5:28
  Sådan interessante, for eksempel ved møderefareter og Sådan noget
• 5:31
  ikke altså. Hvornår er noget et udtryk for
• 5:34
  et partis holdning, og hvornår er noget et udtryk for en
• 5:36
  politikers holdning og så typisk så ordførertalere?
• 5:40
  Det holder du på vejene af dit parti kan man sige, så Det er
• 5:43
  ligesom partiets holdning, hvorimod når du svarer på
• 5:46
  spørgsmål. Og så til dels så er det Sådan
• 5:49
  mere din personlige holdninger der ligesom kommer frem der
• 5:52
  ikke. Altså det skal jo gerne flugte
• 5:54
  også med partiets holdninger, men så altså Der er Der er
• 5:57
  nogle. Ja.
• 5:59
  Hvis man skal passe nørdet, så er der nogle interessante ting i
• 6:01
  det. Så nå, men det Det er jo det.
• 6:05
  Det er en helt helt stoffer for sig.
• 6:07
  Men altså man kan gå ind og tjekke government Der er dig jo
• 6:09
  ud. Man kan sign up gratis og få
• 6:11
  adgang til til til URL der som præsenterer data på en fed måde
• 6:16
  og semant til søgning mener jeg også er i freetaer ikke?
• 6:21
  Og så på alle sagsager og referater, og tror Det er.
• 6:27
  Det er måske en meget god ping pong hen til det Vi skal snakke
• 6:29
  om i dag, fordi søge søgning er jo ikke helt urelateret til til
• 6:33
  rack. Det er jo faktisk en kæmpe stor
• 6:34
  del af det. Jeg ved ikke.
• 6:36
  Skal vi ikke prøve bare lige til hvis Der er nogen der har ja OK
• 6:41
  ikke ikke fordi alle ved hvad mac er, men altså Jeg synes der
• 6:44
  det Det er blevet Sådan et meget.
• 6:46
  Det er blevet lidt Sådan et buzzword buzzware synes jeg.
• 6:48
  Jeg synes jeg i hvert fald. Jeg er blevet overrasket over
• 6:49
  hvor mange. Der ved hvad rack er, men Der er
• 6:53
  også ligesom om Der er en eller 2 historie hvor at Det er nemt
• 6:55
  at forklare folk Sådan. Hvordan skal chatgip t vide
• 6:58
  noget om dig og Det er din virksomhed når den er trænet på
• 7:02
  dagindags data offentligt ikke og så så forstår folk det der
• 7:05
  med Sådan. Hvis jeg lægger min min Vores
• 7:08
  interne filer ned i en en videns database, så kan chat GPT få
• 7:12
  adgang til det ikke? Og der tog jeg allerede lidt hul
• 7:16
  på det, men hvad skal vi ikke prøve at få en definition af?
• 7:18
  Wag på bordet her. Lad mig bare kaste den op?
• 7:22
  I luften, og så er der en. Mission ja jeg ved ikke om Jeg
• 7:25
  har Sådan en dimension, men Jeg kan tegne en tegning, tror jeg.
• 7:29
  Hvad siger du? Altså Jeg vil sige altså i
• 7:33
  virkeligheden. Rack er jo ekstremt simpelt.
• 7:36
  Det er jo Sådan set bare at man kobler en chatbot på en Google
• 7:39
  søgning, hvis den Google søgning søger i noget data du giver den.
• 7:46
  Ja det ved jeg ikke, om den var så simpelt.
• 7:49
  Fremstillet men altså Det var Sådan teknisk set.
• 7:52
  Det er det Det er. Ja, så problemet er vel det her
• 7:57
  med at Det er fint nok at chatklipper er meget smart og
• 8:00
  den ved en masse om altså verdensviden og som man kan
• 8:04
  finde ud på nettet og så videre. Altså offentlig viden men men
• 8:08
  hvis du skal have noget Der er lidt mere specifikt til en eller
• 8:10
  2 givende altså case eller intern i en virksomhed for
• 8:13
  eksempel. Så kræver det lidt ligesom at at
• 8:15
  at at Der er den her adgang til noget viden som som ikke kan den
• 8:21
  ikke har haft adgang til før, og derfor skal den være i stand til
• 8:24
  at kunne søge det frem, eller ligesom kunne i hvert fald kunne
• 8:28
  rette det, når den har brug for det.
• 8:31
  Altså på det rigtige tidspunkt. Sådan så den kan bruge det til
• 8:33
  at i sit svar ikke? Er det ikke hovedcasen i
• 8:38
  virkeligheden? Jo altså jeg ved sgu ikke.
• 8:42
  Jeg synes endda da da rack kom frem der snakkede han meget om
• 8:44
  det her Norge cutoffer. Det var derfor Det var smart
• 8:47
  altså det der med at du de her sprogmodeller er jo trænet til
• 8:50
  og med et eller andet tidspunkt ikke og så kan de ligesom ikke
• 8:53
  vide mere end det Der er sket indtil de indtil det minut hvor
• 8:57
  de er stoppet med at træne på eller det data de træner på er.
• 9:01
  Er stoppet ikke, og der kan du så bruge wrack til at komme
• 9:06
  videre derfra. Det synes jeg Sådan meget var
• 9:07
  det man snakkede om. For år tilbage i virkeligheden
• 9:10
  da rack kom ind, men men Jeg vil sige.
• 9:15
  Den. Altså de den det store use case
• 9:20
  i rap er jo i virkeligheden at. Du kan hente fakturaelle
• 9:25
  information ud som du ikke kan få andre steder, så typisk i en
• 9:30
  virksomhed eller en organisation.
• 9:31
  Altså noget af det vi også sidder og og arbejder på er
• 9:34
  Sådan noget knowledop kalder vi det.
• 9:37
  Og i virkeligheden er Det er det et lidt buzzyward for 1 1 1 sted
• 9:44
  hvor du samler kurateret data Der er relevant for din
• 9:47
  virksomhed eller din organisation, så det vil sige
• 9:50
  Det er ikke en data warehouse hvor du bare samler alt hvad du
• 9:53
  overhovedet kan samle eller en data lake Det er et sted hvor du
• 9:56
  siger i den her virksomhed Der er.
• 9:59
  Der er noget information Der er relevant af det alle
• 10:01
  medarbejdere eller en gruppe af medarbejdere.
• 10:04
  Har adgang til. Nemt og hurtigt og præcist, og
• 10:08
  Det kan være du ved alt for personalehåndbøger til
• 10:11
  procesbeskrivelser til dokumentationsguidelines, alle
• 10:15
  mulige forskellige ting, og Det kan du så proppe ind i.
• 10:18
  En database system typisk fordi typisk vil man have flere
• 10:21
  forskellige typer af databaser. Og så kan du søge det frem enten
• 10:26
  med en søgemaskine eller via ved at putte en en eller lem på
• 10:31
  toppen af det ikke? Sådan at du kan skrive, må jeg
• 10:33
  egentlig. Tage fri til moster oles
• 10:37
  sølvbryllup på tirsdag, og så kan den finde ud af OK.
• 10:41
  Jeg skal kigge i personalehåndbogen, og jeg skal
• 10:43
  nok kigge heromkring, og så hiver den det frem.
• 10:45
  Og så siger den nej, det må du ikke eller ja.
• 10:53
  Jeg kan ikke lade være med at tænke på.
• 10:54
  Nu nævnte det lidt hvad? Hvad det hvordan det startede
• 10:57
  emil Jeg kan huske der var Sådan en paper hvor det her den her
• 11:00
  term altså returment the generation tror jeg kom fra.
• 11:04
  Og Jeg tror faktisk at det det havde gjort dengang Det var de
• 11:06
  havde. Vi havde jo den her med kontekst
• 11:08
  vinduet. Altså man kunne ikke bruge
• 11:09
  særlig meget ind i de første alle lærere og så deres.
• 11:13
  Hvad kan man sige? Arkitektur den forsøgte egentlig
• 11:18
  bare at løse det der med, at man kunne putte lidt flere sider fra
• 11:22
  en PDF fil ind. Og så tror jeg det den gjorde.
• 11:25
  Det var at den nu kommer den ind på nogle termer her.
• 11:28
  Altså den embedde teksten i en særskilt model.
• 11:31
  Og så brugte revolveret den det altså når du lavede inferens på
• 11:35
  hele netværket og så reviewe den det, og så begyndte den så at
• 11:38
  generere noget tekst ud fra det så den den lavede en eller 2 en
• 11:41
  betting hvor den så kunne retre nogle informationer ud, så Det
• 11:44
  var ligesom bakke ind i et netværk Sådan som jeg husker det
• 11:48
  der paper der og så var det at folk de så at hov jamen
• 11:53
  arkitekturmæssigt Der er det jo ligesom 2 komponenter, dem kan
• 11:55
  vi jo lige så godt adskille på en eller 2 måde og så sige Der
• 11:58
  er en. En vilkårlig model her til
• 12:01
  ligesom at. Embedte teksten og læg det ned i
• 12:04
  en vektordatabase og så herovre har vi noget noget generativt og
• 12:07
  så og så. Løste det jo faktisk det her
• 12:11
  problem med at altså at man kunne ikke putte særlig meget
• 12:15
  ind i et eller andet. Og nu kunne man jo så pludselig.
• 12:20
  Altså have en en søgedatabase altså hele Google.
• 12:23
  Som du siger kunne man jo bare søge.
• 12:24
  Altså Det er jo virkelig meget data man kan forholde sig til up
• 12:27
  front og sortere i. Og så først der giver det til
• 12:31
  hvem? Ja jeg.
• 12:35
  Slap på en eller 2 måde Sådan Der er også det der med Sådan
• 12:37
  hvis hvis hvis det du har data er for stor til at have eller
• 12:41
  Sådan upraktisk eller for dyrt måske til at have i
• 12:44
  kontekstvinduet selvom du måske altså Det kan man jo efterhånden
• 12:47
  have rigtig mange ting i kontekstvinduet ikke.
• 12:49
  Det er også Sådan lidt ineffektivt bare hele tiden at
• 12:51
  sende 1 mia. tokens afsted, selvom Vi har crowd cashing og
• 12:54
  Sådan noget ikke. Så det, det synes jeg også
• 12:58
  Sådan. Det er bare også man begyndte at
• 12:59
  snakke lidt om Sådan, altså for eksempel den gode danrose fra 2
• 13:02
  day. Hver eneste gang jeg snakker med
• 13:04
  ham, så siger han bare Sådan Vi skal bare du ved context
• 13:07
  vinduer, Det er bare det fedeste og Det er det og jeg ved ikke om
• 13:09
  Det er det han siger han siger det, men Sådan vi kommer.
• 13:12
  Det er Sådan vi kommer til ATI og Sådan noget ikke altså Sådan
• 13:14
  altså hvor at altså Sådan Det er Sådan en Sådan en dejlig doven
• 13:18
  måde ligesom bare sige amen det smider vi bare ind i kontekst
• 13:20
  vinduet og så kan du nok finde ud af det, ikke?
• 13:23
  Men men Sådan ja. Men altså for fanden.
• 13:27
  Man kan vel ikke putte alt data i verden ind i kontekst vinduet
• 13:30
  på et eller andet tidspunkt. Sådan en ineffektiv måde at
• 13:32
  gøre. Tingene du gør det, og Der er jo
• 13:34
  også altså nu er det godt nok nu.
• 13:37
  Nu er det noget tid siden Jeg har set de der.
• 13:41
  Opgørelse blev lavet og papers på det, men altså der har jo
• 13:45
  været Sådan noget at hvis du altså det du propper ind i
• 13:48
  kontekst vinduet. Der er jo forskel på hvor meget
• 13:51
  dine eller m. Ligesom bruger af viden af den
• 13:55
  kontekst og den distribuerer det ikke ligeligt.
• 13:59
  Den vil i hvert fald. I gamle dage kan jeg huske, der
• 14:01
  havde den tendens til at den. Endte size.
• 14:08
  Lagde meget mere vægt på det du havde i starten og i slutningen.
• 14:13
  Så det vil sige, hvis du har noget relevant information inde
• 14:15
  i midten, så er det altså, så er det svært at finde ikke.
• 14:17
  Det kan være det ene og i virkeligheden en ting der Sådan
• 14:19
  lidt er med med rack. Som som Jeg synes også tit
• 14:24
  bliver, men tit misser Det er at Det er jo ikke kun Det er jo
• 14:28
  ikke kun semantisk søgning der kan være.
• 14:31
  Du ved være relevant til at finde noget frem, fordi Det kan
• 14:35
  jo godt være. Altså du kan jo for eksempel.
• 14:41
  Vægte dit data ikke, så Det kan jo godt være, at du ikke er
• 14:43
  interesseret i at finde. Du er ikke interesseret i at
• 14:48
  finde alt lovgivning der handler om x du er interesseret i at
• 14:51
  finde det nyeste. Så kan det godt være at noget
• 14:55
  Der er 10 år gammelt handler mere om den semantiske eller
• 14:59
  hvad det hedder. En semilarity vil være højere på
• 15:03
  det der 10 år gammelt, men Det er du ikke interesseret i, for
• 15:05
  Det er faktisk mere interesseret i det Der er 10 måneder gammelt.
• 15:08
  Så så så man kan også lave Sådan en masse du ved filtreringer på
• 15:11
  forhånd, for ligesom at øge menneskene ja.
• 15:14
  Og Det kan du teknisk set selvfølgelig også godt være
• 15:17
  blæst ind i kontekstvinduet og så give det dage 2 og og alle
• 15:20
  mulige ting og så ligesom skrive du skal.
• 15:23
  Men jeg forestiller mig ikke, det fungerer lige så godt, i
• 15:26
  hvert fald ikke i de der kæmpe mængder af data, som som man
• 15:30
  sidder og arbejder hjulpet og så arbejder man med.
• 15:31
  Og Det er også sjovt hvad hedder det Jeg har?
• 15:33
  Læg for at det ikke altså Det er det der.
• 15:36
  Jeg tror det der paper hed lost in the middle faktisk lige
• 15:39
  præcis det du siger det emil som var ude og ligesom sige jamen
• 15:43
  prøv at hør altså det går jo tabt det her ikke, og der har
• 15:46
  også været nogen for nylig. Jeg tror Vi har måske nævnt den
• 15:49
  kort jo, men har vi ikke det hvor vi havde det der med?
• 15:52
  Og ellers og så er det bare mig der der der drømmer men men Jeg
• 15:55
  har i hvert fald for nylig stødt på.
• 15:57
  Jeg tror Det var Janni kjøls og som havde et paper han gik
• 16:01
  igennem som handlede om jamen altså vi tester jo tit den her,
• 16:06
  hvor gode de er til til det her kontekstvindue ved at lave Sådan
• 16:08
  en. Neattl in the hate stærkt test,
• 16:12
  og den er i virkeligheden ikke særlig god til at finde ud af om
• 16:16
  om ting bliver tabt. III store kontekster.
• 16:19
  Og når man bare ændrer en lille bitte smule på kompleksiteten i
• 16:22
  den der opgave og så godt ting bare tabt, så Det er jo
• 16:24
  stadigvæk et problem, selvom Vi har de her en million, så så kan
• 16:28
  vi ikke også sige altså at at rack og søgning og retrivel i
• 16:32
  det hele taget. Det lever bare i bedste
• 16:34
  velgående, selvom de der kæmpe modeller og kontekster og alt
• 16:37
  muligt og Der er kommet. Altså Det er bare det det det
• 16:39
  dør bare ikke. Det er et supergodt tool.
• 16:43
  Det tager lidt grineren over det der med at de skulle blære sig
• 16:45
  med de der kontekst tvinger der. Så vil se mit kontekst vindue.
• 16:49
  Det er. Og så.
• 16:51
  Skulle søg søgninger altså bare stadigvæk hot altså.
• 16:54
  Men Det er lidt ligesom om Det er bare fordi Det er et nemt
• 16:56
  tal. Der er nemt at sammenligne.
• 16:57
  Ikke så Der er også. Der er også mange Der er begyndt
• 16:59
  at snakke om et udtryk der hedder context rod.
• 17:02
  Altså nemlig det her med at når man begynder ligesom bare at
• 17:06
  blæse tekst ind i de her elementer, så kan det godt være
• 17:08
  at de har altså de kan tage det, men de begynder at blive Sådan
• 17:11
  altså. Forbedret forvirrede og altså
• 17:15
  Sådan. Begynder at altså de jeg.
• 17:18
  Jeg har også oplevet før Det er Sådan måske noget tid siden, men
• 17:20
  altså det der med at de har svært ved at lægge fla mærke til
• 17:23
  flere ting i altså forskellige steder i kontekst, vindue og
• 17:26
  Sådan altså. Der er bare rigtig mange ting,
• 17:29
  hvor Jeg synes at det virker som en en uelegant løsning på en
• 17:33
  eller 2 måde. Ja Sådan er en ja så ja ja OK.
• 17:39
  Fedt ja og så altså bare lige hvis bare lige hurtigt 1 1 1 use
• 17:44
  case og også måske en interessant observation faktisk
• 17:47
  i forhold til rap. Det er jo at i hos dinero hvor
• 17:51
  vi hvor jeg arbejder Der er vi en supportafdeling som er ja Det
• 17:56
  er lige før Jeg vil sige Det er nærmest en af de fedeste
• 17:58
  features i dinero. Det er supporten altså Der er
• 18:01
  rigtig mange Der er rigtig vilde med med supporten.
• 18:04
  Og der Der er EI jo et super relevant.
• 18:08
  Det er jo i virkeligheden også. Jeg tror i virkeligheden rack en
• 18:10
  af de mest Sådan relevante usexes for rack er vel support i
• 18:14
  guess. Og der Der er i dinero, der har
• 18:17
  vi valgt den løsning, at Vi har Vi har.
• 18:20
  Vi har brugt intercom som Sådan support system kan man sige til
• 18:25
  ligesom at håndtere chats og Sådan nogle ting, og de kom ud
• 18:28
  med det her produkt som hed finn.
• 18:31
  Som er Sådan et som er Sådan et chat produkt og og Det var Det
• 18:36
  var ligesom Sådan fordi vi havde gang i at bygge nogle andre ting
• 18:39
  og Sådan noget så så vi valgte ligesom at gå med det og Det var
• 18:42
  meget sjovt, fordi da vi startede med det der der var der
• 18:44
  faktisk kun en ting man kunne gøre, og Det var der var ligesom
• 18:48
  den her agerchat bot man kunne vise brugerne og så det eneste
• 18:51
  man kunne gøre Det var ligesom bare at uploade knowledge altså
• 18:55
  Sådan tekst til den der. Og det gjorde vi, så vi tog alle
• 19:00
  alle artikler, alle supportartikler, dinero ligesom
• 19:03
  oppe i oppe i find der, og så kunne den ligesom søge det og så
• 19:06
  så hvad hedder det svare på baggrund af det og Jeg kan huske
• 19:09
  Sådan jeg jeg sparede en del med supporten på det tidspunkt der
• 19:12
  jeg var Sådan frustreret over Sådan hvorfor altså hvorfor kan
• 19:15
  man ikke engang give en custom instruction eller et eller andet
• 19:17
  altså nogle flere knapper og dreje på, ikke?
• 19:21
  Men Det var faktisk meget sjovt, fordi den her den her.
• 19:23
  Hvad skal man sige mangel på altså ja på knapper og dreje på
• 19:28
  tvang os ligesom til at sige jamen OK nu nu nu er det eneste
• 19:31
  vi kan gøre. Det er at uploade tekst, så må
• 19:34
  vi jo freaking ændre det der tekst Sådan så den bedre kan
• 19:37
  søge i Det kan man sige ikke. Så så du ved og så fandt så så
• 19:42
  fandt vi ud af jamen det kunne være man skulle prøve at at rent
• 19:44
  faktisk ja eller jo så var det ligesom det der var var var
• 19:47
  tingene ikke, så handlede det om du ved at kigge på data som var
• 19:50
  blevet dårlig rated lave nogle stikprøver rundt omkring.
• 19:53
  Finde ud af, hvor den fejlede ændre II aktiv supportartiklerne
• 19:57
  Sådan så den havde nemmere. Og så ligesom når man så havde
• 20:00
  lavet en ændring, så kører det igen for at se om den den den
• 20:04
  retreede det rigtigt dengang. Og så fandt vi også ud af på et
• 20:07
  tidspunkt at hey, det giver altså de her elemmer er faktisk
• 20:10
  rigtig gode til at tage de her supportartikler og omskrive
• 20:14
  Sådan, så de bliver mere ellemssøgbare.
• 20:17
  Sådan så at. Fordi de har supportartikler.
• 20:20
  De er typisk Sådan seo optimeret fra Google.
• 20:22
  Og er ikke nødvendigvis Sådan super 2, the point altid i hvert
• 20:26
  fald ikke på samme måde som en sprogmodel vil have det.
• 20:31
  Så Det var ligesom og så du ved Det var bare supportteamet der
• 20:35
  der bare kiggede på data og lavede seo optimering for for
• 20:41
  for chatbots baseic og bare investerede nådesløst i at få
• 20:46
  det der til at virke. Altså Sådan kigge på data rette,
• 20:48
  kig på data rette og så videre og så videre.
• 20:51
  Og Vi er jo et sted i dag, hvor at Der er faktisk altså Vores
• 20:54
  supportchat, har jo nærmest. Nogle gange har den faktisk
• 20:58
  højere NPS scorer end end end supporterne, og Der er mange af
• 21:04
  Vores. Der er mange af Vores kunder,
• 21:05
  som faktisk foretrækker at tale med med Vores support chat.
• 21:10
  Fordi nogle gange så er det bare Sådan du ved et eller andet
• 21:13
  super. Jeg skal bare svare på hvordan
• 21:15
  jeg skal gøre det her bogforskning for eksempel ikke?
• 21:19
  Så jeg ved ikke. Jeg synes bare Jeg synes hele
• 21:21
  den case. Nu bliver det bare mig der
• 21:23
  kommer med use case fra dinero og Sådan noget med.
• 21:25
  Jeg vil bare rette inspireret af den case fordi.
• 21:29
  Du ved som som indigner kodetype, så tænker man arh men
• 21:32
  kan vi lave en ny embedting model?
• 21:34
  Kan vi lave det ene og det andet og 3 man tænker ikke
• 21:36
  nødvendigvis. At man kan ændre det der rent
• 21:39
  faktisk står. Og så ja.
• 21:44
  Jeg blev meget inspireret over den her måde, man ligesom kan få
• 21:46
  domæneksperterne helt sammen i bussen og så sige Det er jer der
• 21:50
  ved hvad der foregår her. Kan vi lave en eller 2 maskine
• 21:53
  så i kan optimere det her system?
• 21:56
  Ikke men altså Jeg vil sige du du rammer.
• 21:59
  Du rammer hovedet på sømmet, som man siger, altså fordi Det er i
• 22:02
  virkeligheden Det er det der, det der oftest går galt i de der
• 22:07
  systemer. Det er nemlig når man tror man
• 22:09
  bare kan læse alt data ind og bare Sådan skovle ind i en eller
• 22:13
  2 model. Og så må der jo ligesom være et
• 22:15
  eller andet. Du ved, Det er jo AI det her
• 22:17
  ikke, så der må sgu være et eller andet der bare Sådan
• 22:19
  finder ud af hvordan det ser ud og struktureres.
• 22:22
  Og så er det Sådan, så er det bare det går galt fordi.
• 22:27
  Det der jo det der jo er ved det.
• 22:28
  Det er jo at når man laver en wrack-model og i virkeligheden
• 22:31
  så er den bedste måde at tænke på det.
• 22:33
  Det er mere bare Sådan almindelig søgemaskine.
• 22:35
  Altså når man når man laver det, så skal du jo vide hvad Det er
• 22:38
  du søger efter, så for eksempel det.
• 22:41
  Det her er jo et ret brugbart eksempel på hvordan hvis du i en
• 22:46
  support artikel. Nu ved jeg Det har i sikkert
• 22:48
  ikke gjort, men lad os nu bare sige i bare skrev om alt hvad
• 22:51
  der lige faldt jer ind, så der står lidt om moms der står lidt
• 22:54
  om selskabsskat. Der står noget om hvordan man
• 22:58
  bogfører køb af kaffe alt muligt forskelligt i den samme support
• 23:01
  hvis man så laver en en wrack-model på den måde man
• 23:04
  typisk gør, hvor man har bare Sådan en in betting string for
• 23:07
  hele dit dokument, så vil den jo ikke vide hvad Det er der står
• 23:10
  herinde. Den vil blive Sådan.
• 23:11
  Du ved når du spørger om kaffe, så får du den når du spørger om.
• 23:14
  Moms indberetninger, så får du også den artikel og Sådan nogle
• 23:16
  ting. Så Der er hvis man skal bygge
• 23:19
  virkelig gode løsninger. Jeg er jo ikke sikker om man
• 23:22
  skal det, men hvis man skal så er der, så er der mere ikke
• 23:26
  nødvendigvis manuelt arbejde, fordi Det kan man også godt
• 23:29
  automatisere Sådan noget, men Der er mere Sådan.
• 23:34
  Mere kurateret altså det du bliver nødt til at Sådan være
• 23:37
  mere kræsen omkring de data end man egentlig er vant til når man
• 23:41
  arbejder med data, fordi i den data Det er tit Sådan noget
• 23:44
  datalag det drejer, jo mere jo bedre hvis vi bare har dataen
• 23:47
  data. Og Sådan er det bare ikke i.
• 23:51
  Sådan er det bare ikke i den her verden fordi så så får man bare
• 23:54
  nogle rigtig rigtig dårlige resultater.
• 23:55
  Og Det er Sådan. Det er faktisk en af de ting der
• 23:59
  kan være Sådan lidt træge fordi det tager jo tid og Det er jo
• 24:02
  Sådan manuelle processer ofte som så kan automatiseres ikke.
• 24:06
  Men så vil du tage artikler og splække dem op eller Sådan nogle
• 24:10
  ting. Så Jeg synes Det er interessant
• 24:13
  emil der med at at Det kan være lidt trægt at få få altså komme
• 24:18
  igennem de her manuelle data processer.
• 24:20
  Altså joke de der supporters der de er jo de er jo dae designtest
• 24:24
  helt ind til benet. De er jo de rigtige datter
• 24:25
  desines fordi de sidder jo faktisk.
• 24:28
  Og laver det med det her? Det er jo en klassisk airing dyd
• 24:31
  det her med at kigge på data det det.
• 24:32
  Det er en stor del af dit arbejde.
• 24:34
  Det er at kigge på data, og så skal du idiere, og så skal du
• 24:36
  lave indre og hygge og parametre eller data eller et eller andet
• 24:39
  Sådan, så den bliver bedre næste gang det der bare er Det er Det
• 24:42
  kan man altså gøre i dag med en prompt eller mere ændre tekster,
• 24:47
  så du ved, Det er nemlig lige præcis rigtigt det der altså de
• 24:49
  gør jo det arbejde som 1 1 1 data syntest eller ville gøre
• 24:53
  for. Ja 3%.
• 24:55
  Så nogle dyre dage designs engang imellem og siger ved du
• 24:59
  hvad? Hvis bare jeg sad og lavede det
• 25:01
  her manuelle arbejde, så ville jeg løse det her problem for os
• 25:04
  og så får de at vide det. Er du da alt for dyrt til, skal
• 25:07
  vi ikke finde en student til det i stedet for du skal skrive
• 25:09
  noget af det der fancy kode der og Det er.
• 25:12
  Det er nok måske den mest misforståede.
• 25:16
  Tilgang til det så jeg. Synes jo bare at Vi skal nok
• 25:19
  skal. I have nogle flere der bare
• 25:20
  sidder og nørder de der data der.
• 25:23
  Fordi Det er bare det at guldet ligger.
• 25:24
  Men jeg blev ret. Jeg blev ret inspireret over den
• 25:26
  her Sådan. Hvis hvis du giver nogle domæne
• 25:28
  eksperter et et tool altså tooling til at kunne iterere
• 25:32
  over Sådan nogle systemer her. Og og så og så sætter dem til at
• 25:37
  altså giver dem et eller andet system hvor de kan forbedre det
• 25:40
  ved at kigge på data og lave justeringer idrættivt.
• 25:44
  Så kan du altså virkelig få domæne eksperterne helt frem i
• 25:47
  bussen og så virkelig få få forbedret systemet.
• 25:51
  Ikke altså. Ja så det jeg i hvert fald bare
• 25:54
  er blevet meget inspireret af Sådan den den approach Der er
• 25:57
  til ikke. Ja Det er jeg virkelig.
• 26:03
  Klassisk klassisk af udvikling eller dette science udvikling
• 26:08
  eller hvad eller hvad Vi skal kalde det ikke.
• 26:10
  Det er bare. Det er bare Det kan hurtigere gå
• 26:13
  meget galt. Fordi man kan meget hurtigere nå
• 26:16
  til et punkt hvor man bliver meget skuffet over.
• 26:19
  Hvor dårligt, men det fungerer ikke.
• 26:20
  Og så er det fordi man bare er skøjtet hen over det.
• 26:22
  Men jeg. Tror også tit så så så synes jeg
• 26:24
  også at høre folk Sådan. Jamen Vi skal have en brack ikke
• 26:27
  eller Sådan. Du ved hvor at Sådan.
• 26:29
  Hvordan kan vi få af herhen i forretningen, eller hvordan kan
• 26:31
  vi bruge et eller andet AI og Sådan?
• 26:33
  Vi skal have en rack ikke altså hvor Sådan hvad var det nu lige
• 26:35
  for et problem? Vi ville bare ville løse ikke og
• 26:38
  var vi egentlig også klar på ligesom at putte det knofedt ind
• 26:41
  i det som der skulle til og Sådan ikke.
• 26:44
  Ja Sådan hvor at? Der hvis man virkelig skal have
• 26:48
  Sådan nogle her systemer til at fungere godt, så tror jeg altså
• 26:50
  bare ikke Der er nogen veje udenom.
• 26:51
  Altså ligesom og. Ja.
• 26:54
  Interessant constraint den der du nævner der jo med at så kunne
• 26:58
  vi kun uploade og vi havde ikke nogle andre ting vi kunne tweet
• 27:00
  på, og så var vi nødt til bare at fokusere på det fucking data.
• 27:03
  Der et eller. Andet sted skønt at høre fordi
• 27:06
  at jeg må ærligt indrømme at jeg.
• 27:09
  Jeg har jo selvfølgelig også været med til at lave noget
• 27:10
  rack, og Jeg vil ikke sige Det er det mest succesfulde Vi har,
• 27:12
  for Der er ikke så mange brugere på den interne løsning Vi har,
• 27:15
  men. Der var også nogen der sagde kan
• 27:18
  vi ikke bare skyde det op til Asien?
• 27:20
  De har jo Sådan en og de der hvor og så putter du det bare i
• 27:23
  og så er det sikkert godt og Sådan nogle ting og det første
• 27:26
  jeg tænkte med de der Sådan venter login løsninger Det var
• 27:29
  bare Sådan jamen så mister jeg jo kontrollen over alt det
• 27:32
  vigtige. Det er det her retreal for jeg
• 27:34
  på det tidspunkt vidste jeg godt at altså det ligger i retreval
• 27:37
  og og Det er jo kan man sige Det er jo mange ting, Det er jo både
• 27:39
  hvad for noget data der ligger dernede, det skal jo ikke være
• 27:41
  noget skrald, men Der er jo også nogle andre ting i hvordan det
• 27:43
  data er struktureret. Splitter man ting op i tungs og
• 27:46
  hvordan Juncker man det og kan man finde nogle cementiske
• 27:49
  enheder? Lægge det lidt pænere og Sådan
• 27:50
  nogle ting der ikke og der mister man kontrollen, hvis man
• 27:53
  bare skubber det til Sådan en eller 2 service.
• 27:57
  Men Jeg kan også se noget noget noget smukt i at man på en eller
• 28:00
  2 måde Sådan uden at vide hvordan den der service Det er
• 28:01
  den fungerer så kan man ligesom reverse engineer sig til det
• 28:06
  rigtige data man putter ind ved at bare sidde og ignorere på den
• 28:08
  måde. Det er sjovt.
• 28:09
  Jeg var så sur på en så kommer jeg Sådan fucking hvordan kan i
• 28:11
  sheppe et produkt som altså hvor man kun kan gøre det her?
• 28:15
  Og lave et felt du kan bare lave et felt.
• 28:17
  Hvor man kan lave en systemprump altså come on eller en fusion
• 28:20
  eller et eller andet ikke. Men så er jeg faktisk begyndt
• 28:22
  Sådan at tænke Sådan. Gad vide om de har.
• 28:24
  Og Det har været hensigten det her til at starte med.
• 28:26
  Altså for ligesom at at at ja ja jeg ved ikke det ved jeg sgu
• 28:31
  ikke men men ellers så er det bare os der har været snige men
• 28:36
  ja. Det er lige præcis.
• 28:40
  Nu skal jeg lige finde min noter her.
• 28:43
  Det er meget fedt, men altså Det er ja det Det er nogle andre
• 28:48
  det. Det er jo altid nogle andre ting
• 28:50
  Der er vigtigere end det man tror ikke og Det er nogle andre
• 28:51
  ting der tager tid end det man tur.
• 28:53
  Det er det jo ikke. Stort set med bøger.
• 28:55
  Ikke, og Det er jo det, der gør, at man kan orse helt vildt
• 28:59
  meget. Der er noget med din lyd, tror
• 29:02
  Jeg kan det passe. Er det bedre end det?
• 29:05
  Du er til tablet, ja. Nej, men Det var det jeg ville
• 29:09
  sige. Det var bare at at Det var også
• 29:11
  det der gør at man kan lave nogle løsninger ekstremt hurtigt
• 29:13
  som wauwer folk vildt meget og så bagefter skal man bruge
• 29:16
  oceaner og mængder af tid på faktisk at komme i mål med det
• 29:19
  der datahejse eller baggend eller et eller andet omme bagved
• 29:22
  Der er også. Et eller andet med Sådan folk
• 29:24
  undervurderer tit ikke folk undervurderer tit værdien af at
• 29:27
  investere i det her, og Jeg tror, Jeg tror faktisk Det har
• 29:29
  noget at gøre med, at Det er usynligt.
• 29:32
  Altså, Det er usynligt. Den return du får på det, fordi
• 29:35
  Det er noget som folk der bruger systemet Sådan i al edge-cases
• 29:38
  kommer til at. Men du ved Det er jo ligesom på
• 29:41
  en eller 2 måde er der et eller andet smukt produktforståelse
• 29:44
  over Google også ikke du ved du har den der fucking search bar.
• 29:47
  Sådan havde det fucking produkt set ud i fucking 20 år ikke og
• 29:51
  de har bare nådesløst. Altså gået i kødet på det der
• 29:56
  problem ikke og det bliver ved og ved og ved og ved og ved og
• 29:59
  ved. Og det eneste Det er det eneste
• 30:01
  det den der bare og 10 pullings ikke.
• 30:05
  Ja nå hvad hedder det? Jeg tænkte måske bare lige det.
• 30:08
  Det kom Sådan lidt op helt helt hvad hedder det helt?
• 30:10
  Hvad skal man sige helt spontant i mit hoved i hvert fald, men
• 30:13
  jeg kom også til at tænke på. Der er også rigtig mange der
• 30:16
  snakker i øjeblikket om at de her Leicester language models
• 30:18
  skal have memory, altså hukommelse.
• 30:22
  Og jeg ved ikke Sådan. Jeg har også en på en eller 2
• 30:25
  fornemmelse at at rack har. Noget at sige der, ikke?
• 30:31
  Jack ja er det ikke basically rap?
• 30:35
  Altså hvis de skal rette noget for hukommelsen, så er det jo
• 30:39
  inde i præcis den samme arkitektur, kan man sige, og nu
• 30:44
  ved jeg ikke hvor meget man man bruger det der mere, men Der er
• 30:48
  da set Sådan nogen lave Sådan en.
• 30:51
  Hvad kan man sige en hukommelsesbacin til en chat?
• 30:54
  Ikke altså at at på et tidspunkt når du har kørt x antal chat, så
• 30:59
  så kan man måske få Sådan en. Brugerens opsummering af hvad
• 31:03
  hvad hvad er dine interesser, hvad har svaret og hvad er det?
• 31:06
  Hyppige spørgsmål eller Sådan et eller andet, der ligesom på den
• 31:08
  måde hober sig op som del af af hukommelsen hos en bruger, så
• 31:13
  kan det jo være at at Det er noget, som man kan retre med ind
• 31:17
  og ligesom og huske lige at brugeren her kan altså bedst
• 31:20
  lide det på den og den måde. Også selvom man så næste gang
• 31:22
  ikke lige prompte med. Husk det her, husk det her, husk
• 31:25
  det og husk det her, så så kan man sige gåseøjne, så lære lære
• 31:30
  den at af brugerens input. Via den her hukommelse det det
• 31:33
  tænker Jeg er. Er det ikke noget som ligger i?
• 31:37
  Jeg tænker det må være noget der ligger i chatbibliotek altså og
• 31:40
  mange andre af de der chat løsninger.
• 31:43
  Jeg ser i hvert fald og laver det der husker lige at brugeren
• 31:47
  har de her præferencer, ikke? Så Det er Sådan jeg tænker på
• 31:52
  det, men Det er jo en form for retrievel oveni Det er igen det
• 31:55
  der med kontekst engineering, som Jeg tror mange er begyndt at
• 31:57
  kalde det der med. Det er jo Det er jo blevet
• 31:59
  rigtig mange ting det der, det startede jo meget med rack.
• 32:02
  Altså det her med hvordan bruger man retriever og hvordan altså
• 32:06
  så er der du ved så er der retrevolveret, så finder man
• 32:09
  noget og så siger man svar på baggrund af det, men så er der
• 32:12
  også den omvendte ikke og hvor at du siger nå men Jeg har den
• 32:14
  her fancy søgemaskine, men jeg ved sgu ikke rigtig hvad Det er
• 32:17
  hvordan jeg skal søge, men lav lige function call til at finde
• 32:20
  ud af hvad brugeren egentlig gerne vil søge efter så lav
• 32:23
  søgestet eller man skal lave flere forskellige søgerequest og
• 32:27
  på den måde retref og så kommer der noget tilbage og så svar
• 32:30
  ikke også altså Sådan. Den har vi også prøvet inde hos
• 32:33
  os. Ikke også bare det med at putte
• 32:34
  en LM foran? Ja så bliver den lidt langsom i
• 32:37
  det der søgende ikke kommer lige en lille smule latency ekstra
• 32:41
  oveni så det ikke er så så swips, men det giver bare meget
• 32:44
  bedre resultater allerede der. Altså Det er helt crazy fordi
• 32:47
  cementisk søgning at folk de laver keyword surchic det det
• 32:50
  duer bare ikke så fedt ved mindre så du ved så ja Der er en
• 32:54
  masse engineering der så Jeg synes bare Det er stukket af at
• 32:57
  det der den der simple arkitektur den er ligesom blevet
• 32:59
  vendt og drejet på rigtig mange forskellige måder man.
• 33:02
  Ja altså generering af tekst med retre.
• 33:07
  Det synes Det er kernen i rigtig meget i dag, synes jeg.
• 33:11
  Og. Jeg har hørt også laidin space
• 33:14
  podcast. Det var også en ret spændende
• 33:17
  pakke. Jeg ved ikke hvis i kender den,
• 33:19
  men den er ret nice. Den er selvfølgelig ikke lige så
• 33:21
  fed for som hvad bruges podcast men.
• 33:23
  Ikke noget Der er. Det er jo nemlig det så.
• 33:28
  Så ja så hvad hedder det? Men altså der der var det også
• 33:30
  der havde de ham sige oven eller en af founderne fra chromea deb.
• 33:36
  Som er Sådan som er Sådan en vektordatabase som som udmærker
• 33:39
  sig ved, at den kan køre Sådan lokalt en memory.
• 33:42
  Altså Sådan lidt ligesom SKR light bare før Victor database
• 33:45
  ikke og så kan den så også skaleres op i clouden og så
• 33:49
  videre. Altså Sådan en god
• 33:51
  brugeroplevelse udvikle oplevelse.
• 33:54
  Med vektor databaser, men de har også nogle rigtig fede eksempler
• 33:56
  på hvad man altså hvad man gør i spidset der ikke fordi Der er
• 33:59
  også Sådan noget med at sige OK så kan et altså man kan lave
• 34:03
  Sådan nogle tue Stage. Retrivles set ups hvor man først
• 34:06
  hvor man ligesom tager 10.000 chunks og laver om til 300 og så
• 34:10
  får man en LM til at re ringe dem altså Der er ikke så meget.
• 34:13
  Det er ligesom om Der er mange der snakker om den her
• 34:14
  rewanking. Før i tiden så altså fordi
• 34:18
  retrivle har jo været 1 1 1 del af søgning og recommandation
• 34:21
  systemer i mange, mange, mange år og der har det været Sådan.
• 34:25
  Der kan jeg gerne huske da vi lavede recommendation systemer
• 34:28
  på ekstra Bladet, da jeg var der der var der i litteraturen.
• 34:32
  Der er det meget Sådan OK Vi har nogle gange har vi mange mange
• 34:35
  milliarder stykker content, og så er der ligesom en opgave i
• 34:39
  som at få lavet dem om til 1000. Ja altså for ligesom at afgrænse
• 34:44
  søgespidset lidt ikke. Og så havde man så en 2 en
• 34:47
  betting model til at at til at revanke det altså Sådan hvor at
• 34:52
  det virker som om at nu her så bruger man i lige så høj grad
• 34:56
  lars lang woasmodels til at revanch.
• 34:59
  Det kunne være 1 1 1 1 bestemt teknik, men Der er også Sådan en
• 35:03
  2 teknik kunne også være at sige lidt a la det her med at
• 35:05
  omskrive selve teksten. Men en patter fordi man man kan
• 35:10
  også sige Sådan. Jamen lad os bare.
• 35:13
  Der skilnede os mellem det her med Sådan.
• 35:16
  Der er også forskel på at søge på ned i noget data du kender og
• 35:21
  noget du ikke kender altså Der er jo Der er forskellige use
• 35:23
  cases der ikke hvor at hvis hvis du kender det så siger du Jeg
• 35:27
  vil gerne have den hvis du kender.
• 35:28
  Hvis du søger på din computer for eksempel, så vil du typisk
• 35:31
  gerne have måske en eller 2 fil du ved Der er et eller andet
• 35:33
  sted nogenlunde i en eller 2 borgerpark, men hvis du har mere
• 35:37
  har og Det er Sådan en type søgning der virker godt til det.
• 35:41
  Men hvis du mere har et spørgsmål.
• 35:43
  Så så er det lidt noget andet, så er det mere Sådan noget q and
• 35:46
  a og og så er det måske en 2 type embedt du skal have eller
• 35:49
  et eller andet men men men der var også en en tip de havde Det
• 35:52
  var at sige at tage chunksene der og så få en LLM til ligesom
• 35:55
  at sige beskriv hvad Det er der står i den junk for eksempel
• 35:59
  Sådan så man både gemmer tunken og beskrivelserne.
• 36:04
  Ja så Sådan nogle organisation ting.
• 36:06
  Der ja altså Der er jo i virkeligheden noget at.
• 36:10
  Det Sådan lidt det du også taler ind i for noget af det Jeg synes
• 36:13
  er interessant i en betting basis som sker lige nu.
• 36:16
  Det er at det vi så det man jo historisk set har gjort, når man
• 36:20
  har arbejdet med søgninger og Sådan noget.
• 36:22
  Det er Sådan noget back up world modeller med TFIDF hvor det hele
• 36:25
  det ligesom bare ryger ind i en stor og så leder du ligesom
• 36:27
  efter frekvensen af ord og og Sådan nogle forskellige ting,
• 36:31
  ikke? Og et ord er jo mere jo mere
• 36:35
  betydningsfuldt er det, er det. Er det Sådan?
• 36:37
  Det er BDF. Det er at du du tæller antallet
• 36:40
  af ord, der for ordenes forekomst i et dokument så.
• 36:44
  Tæller du det og så dividerer du det ligesom op mod den samlede
• 36:48
  mængde af ord i det dokument, og så får du så en score ud, og så
• 36:53
  bruger man så typisk BM 25, hvor man så vægter det Sådan, at du
• 36:56
  ikke bare kan skrive AIAIAI 20 x 1 dokument og 21 og så får det
• 37:00
  en helt vildt høj score. Til til søgningen, men så det.
• 37:04
  Det er Sådan et klassisk keywork baseret det det man typisk
• 37:07
  bruger, når man bruger keywork baseret søgninger, så er man jo
• 37:09
  så gået over til en betting søgning og en betting søgning,
• 37:13
  der gør du traditionelt set det, at du har en bettingstreng per
• 37:19
  dokument, så det vil sige altså e 5 jeg bruger rigtig meget.
• 37:24
  Den har en kontekst længde på 512 tokens det vil sige du kan.
• 37:27
  Sprøjte et et dokument ind på maks 512 togens, og så laver den
• 37:31
  det om til en vektor indbetting. Og få. 112 tokens Det er retro
• 37:35
  det. Er mega mega retro men fordelen
• 37:39
  ved det og Det er apropos constraints fordelen ved det.
• 37:42
  Det er jo så også at du du holder en type information så du
• 37:48
  kan ikke lave en artikel der handler om både moms afregning
• 37:52
  og års skatte skattehalløj. Whatever du bliver ligesom nødt
• 37:57
  til at vælge altså det, Det er faktisk det jeg godt kan lide
• 37:59
  ved e 5 udover at den er rigtig god og performer rigtig godt.
• 38:03
  Fordi den har 512 tungest. Ikke fordi der findes også nyere
• 38:06
  embeddings der har meget meget længere kontekst vinduer.
• 38:10
  Anyways, min pointe er Det er lavet om til 1 1 bettingstreng
• 38:14
  som du så gemmer og så laver du så sim laurity search og Sådan
• 38:18
  nogle forskellige ting for at finde det, men noget af det som
• 38:21
  man begynder at gøre nu. Og Det er ikke fordi Det er
• 38:24
  Sådan specielt nyt, men Det er først nu det begynder at at
• 38:26
  blive brugt fordi Det er meget computintense.
• 38:30
  Det er faktisk at i stedet for at du konverterer dit dokument
• 38:33
  op til egent bettingstreng, så konverterer du det om til 1 1
• 38:37
  betting per ord. Så det vil sige, du får i
• 38:41
  virkeligheden denne her. Det er jo ikke helt en backer
• 38:44
  words, men hvis man har arbejdet med Sådan bird da det lige kom
• 38:48
  ud der. Hvad 18 måske eller Sådan et
• 38:52
  eller andet birth modellerne og Sådan nogle ting de laver Sådan
• 38:55
  en betting af hver enkelt ord eller hver enkelt toke faktisk
• 39:00
  og det fede ved det. Det er at du kan.
• 39:03
  For det første så er der uendeligt mængde af kontekst
• 39:06
  vindue, fordi du er embedter kun hver enkelt toking, så du blæser
• 39:09
  bare dine embedtings nedad, så du har i virkeligheden et
• 39:12
  uendelig mængde af kontekst vindue.
• 39:14
  For det andet, så kan du lave cementisk keywords search fordi
• 39:19
  du har de her embedtings og kunstig intelligens og AI vil
• 39:23
  have cirka samme im betting, så hvis du søger efter det vil den
• 39:26
  finde det. Men du begynder også at kunne
• 39:27
  lave meget meget mere avanceret søgninger.
• 39:30
  Fordi hvis for eksempel man laver en søgning i et stort
• 39:33
  dokument, hvor du har brug for at vide.
• 39:38
  Hvordan opfører x sig når det bliver udsat for y?
• 39:43
  Men det står meget forskellige steder i dit dokument, så i
• 39:47
  toppen. Der står der for eksempel
• 39:48
  hvordan opfører x og bla bla bla.
• 39:50
  Og så længere nede, så står der så hvad effekten af y er et
• 39:53
  eller andet. Så vil du i en normal søgning
• 39:57
  skulle være heldig, kan man sige at ramme en betting, der gør at
• 40:01
  du får? Begge de her tekst chunks
• 40:04
  trukket ud. Og lagt dem øverst Sådan, at du
• 40:09
  kan give det til dine LM, der kan generere et svar, ikke?
• 40:13
  Hvor ved at bruge den 2 metode her, så vil du så.
• 40:16
  Vil du i virkeligheden kunne trække de her elementer ud,
• 40:19
  fordi så vil du sige OK det står.
• 40:21
  Heroppe og hernede og så vil du hive de 2 passager og tekst ud.
• 40:26
  Giver det mening? Det Det er meget interessant det
• 40:29
  der det her for mig er det lidt kontraintuit.
• 40:32
  Jeg har altid husket du nævnte flere ting der med back of words
• 40:35
  og ting og sager. Vi kan også huske.
• 40:39
  Back of Det er jo, Det er jo netop det der med varme, men
• 40:43
  losser det bare ind i en sæk. Ja ja så så.
• 40:45
  For for for lytterne derude, der der synes, at det bliver lidt
• 40:48
  teknisk nu, så bliver det lige lidt ekstra teknisk.
• 40:50
  Du kommer lige med. At at det vi snakker om her.
• 40:54
  Det er forskellen på dance embedtings og spars embedtings
• 40:57
  altså de her TFIDF Det er jo typisk en masse nuller fordi at
• 41:02
  der var Der er jo ikke eller back of word er i hvert fald en
• 41:06
  masse nuller tit ikke og så er der en en masse nogle af nogle
• 41:10
  af ordene Der er der Sådan. Hvis man kigger på verser en
• 41:12
  masse dokumenter ikke så man har jo et progabol.
• 41:15
  Men nu siger du at at at så har vi haft det her både tog væk
• 41:19
  ikke som ligesom var den klassiske.
• 41:21
  Vi vil gerne bare have den her semantiske.
• 41:24
  Altså ordsementikken og hvordan ord hvordan ordsen hænger sammen
• 41:28
  og Sådan noget der at Der er ikke er så lang afstand imellem
• 41:32
  fisk og fugl, fordi de er trods alt begge begge dyr og Sådan
• 41:35
  nogle ting ikke? Men nu siger du simpelthen, at
• 41:38
  de almindelige embedting modeller, som måske er trænet
• 41:42
  til Sådan større kontekstvinduer, faktisk bliver
• 41:45
  brugt til enkelte ord. Eller er det trænet o.
• 41:49
  K fordi at jeg skulle lige til at sige.
• 41:51
  Det det må være nogen specielt trænede in bettings til enkelt
• 41:54
  ord for de plejer i min verden at være ret dårlig til enkelt
• 41:58
  ord større. Og Det er det.
• 42:01
  Er lidt spændende fordi hvad er det for nogle typer modeller?
• 42:03
  Så hvad hedder de? Calburch.
• 42:07
  Tror jeg det udtalelsesystem? Faktisk.
• 42:11
  Og Der er hvad hedder det hedder det i ene af det her kinesiske,
• 42:16
  der slår sig meget op på embedmodeller.
• 42:19
  De laver også nogle af dem. Jeg kan ikke huske hvad de
• 42:21
  kalder. Jeg tror også Der er lavet nogen
• 42:24
  til måttenbird. Som også er sindssygt spændende,
• 42:28
  synes jeg bare er pisseirriterende.
• 42:29
  Det kun er på engelsk ja. Det er det altid skide
• 42:33
  irriterende. Helt vildt altså.
• 42:34
  Og jeg forstår det faktisk ikke rigtig fordi efter sigende
• 42:37
  skulle Morten bird jo være Sådan relativt.
• 42:40
  Billigt i år relativt forstand at træne.
• 42:46
  Og alt hvad Jeg kan se er jo at dine performance også på engelsk
• 42:49
  stiger jo markant når du bruger når du blander flere sprog i, så
• 42:53
  jo flere sprog du smider ind i. Jo bedre performance får man
• 42:57
  ikke. I hvert fald er Sådan sproget
• 42:58
  der minder om hinanden. Samme.
• 43:01
  Forskel på på på de modeller, så nu gør vi Sådan måske lidt væk
• 43:05
  fra rack, men jeg tænker bare hvad hvad hvad er forskellen på
• 43:08
  det og så de her klassiske altså world 2 væk som jo også er en
• 43:13
  form for træning. Altså Sådan er de trænet med
• 43:16
  attention de her modelbert og Sådan noget.
• 43:20
  Ja modelbert ja altså man kan sige moden bird er jo i
• 43:25
  virkeligheden samme koncept som birth ikke.
• 43:28
  Så hvis vi tager word 2 væk word 2 væk kigger kun på et ord af
• 43:33
  gangen, så de tager ikke hensyn til kontekst, så det vil sige
• 43:36
  ordet dør og dør. Får sammen med en betting, så
• 43:39
  den kan ikke kende forskel på om du åbner det eller du gør det.
• 43:43
  Det kan jo i visse sammenhænge være lidt træls.
• 43:48
  Og det Det er jo Det er jo Det var jo det der Sådan var.
• 43:50
  Var det helt vilde ved byrd ikke at transformeres arkitekturen og
• 43:54
  intention og alle de her ting. Det er at den tager hensyn til
• 43:57
  til den kontekst det står i, og det gør de her modeller
• 44:01
  stadigvæk. Og i virkeligheden så er det jo.
• 44:05
  Så er det Sådan set bare at du får en bettingstreng ud på et
• 44:09
  eller andet 128. En længde på 120 vektor.
• 44:17
  Per per ord som man så ligesom gemmer, og så leder du.
• 44:21
  Altså lidt ligesom som ved keywords search.
• 44:24
  Så når du skal søge i det, så leder du bare efter en betting
• 44:28
  der ligner din søgestreng, men den bliver så.
• 44:34
  Teorien lidt med det samme, ikke?
• 44:36
  Det er Sådan en multi en betting timelority, hvor man ligesom har
• 44:40
  den grupperet indenfor et dokument kan man sige.
• 44:43
  Ja, og så kan man jo. Så spørge hvad hvordan computer
• 44:49
  fungerer på det og hvordan eller falder de mange embeds men men
• 44:56
  så den ender med embedte et ord. Lad os sige ord nu eller togen
• 44:59
  nummer 3 men den har i den embedting hvor den embedter
• 45:03
  togken nummer 3 så har den stadigvæk.
• 45:07
  Hvad hedder det frem og tilbage, havde jeg nær sagt foran og
• 45:10
  bagved. Ja i den embedting, så Det er
• 45:13
  ikke Sådan at man man man Sådan iterer henover en masse tåne, så
• 45:16
  kører en ad gangen havde jeg nær sagt og finder ud af hvordan så
• 45:20
  den vektor ud. Fordi så den vil tage hensyn til
• 45:24
  det, der står for både før og efter.
• 45:28
  Væk, fordi den ender jo egentlig bare ud med et opslag i den den
• 45:32
  her det her tokeen harbar den her embed punktum.
• 45:37
  Okay og Det er. Interessant og det så.
• 45:40
  Det vil også betyde at det samme ord vil.
• 45:44
  Stort set altid have forskellige embedtings, fordi det vil være i
• 45:49
  forskellige kontekst vil ligne hinanden ekstremt meget.
• 45:54
  Og man skal nok ud i nogle decimaler nogle gange for at se
• 45:56
  forskellen, men det består altså Jeg kan.
• 46:00
  Ja, Jeg vil ikke kunne forestille mig en situation hvor
• 46:02
  de vil have den præcis samme betting.
• 46:03
  I hvert fald ikke. Interessant.
• 46:07
  Hvad hedder det? Jeg kunne godt tænke mig også
• 46:09
  lige at prøve at snakke en lille bitte smule om en en rigtig
• 46:14
  vigtig ting i det her, som hvis man skal gå nådesløst efter at
• 46:18
  have forbedret sit rap system, så skal man jo også have en
• 46:21
  eller 2 form for evalueringsstrategi.
• 46:25
  Ja Sådan er det jo også med ginning eye ting i
• 46:27
  virkeligheden, hvis man skal hvis.
• 46:29
  Man bare Sådan vibe vibe evaluere det hele.
• 46:34
  Prøv at. Hør her, jeg fik en god søgning.
• 46:35
  Den er god ven, Der er. Det er sjovt.
• 46:38
  Ikke fordi i altså lad os bare tage dine euro-casen på din
• 46:41
  dinero ikke Der er det jo en PS. Der er metricten kan man sige
• 46:45
  ikke Det er om folk er alt tilfredse med det og så er det
• 46:47
  stikprøver altså Sådan hvis folk rater det dårligt så går vi ind
• 46:50
  og tjekker. Det er jo selvfølgelig en dårlig
• 46:52
  matrick, men men så er der også bare stikprøver og se og er den
• 46:54
  Sådan nogenlunde på på rette spor ikke?
• 46:59
  Men hvad? Hvad ved i egentlig om altså?
• 47:01
  Hvad findes der egentlig af af evalueringssmetoder til det her?
• 47:06
  Er der Sådan nogle standard nogle?
• 47:10
  Eller skal man nogle gange være lidt lidt.
• 47:12
  Hvad hedder det lidt mere Sådan opfindsom måske i virkeligheden
• 47:15
  for at finde en evalueringsstrategi?
• 47:17
  Jeg kan sige at II. Hvad hedder det?
• 47:20
  II laiten space podcast der der nævnte de Sådan at noget der
• 47:23
  kunne være super værdifuldt. Det var ligesom bare at tage et
• 47:26
  altså tage et et meget lille datasæt faktisk af cray og chunk
• 47:31
  par som ligesom skulle. Parres ikke og ligesom hvor den
• 47:37
  her den skal anggave også på det her crewy ikke?
• 47:41
  Men Det er jo Sådan meget manuelt arbejde.
• 47:42
  Det kunne også være fedt, hvis der ligesom var noget der
• 47:44
  ligesom enten kunne automatiseres, eller hvor der
• 47:47
  kom noget. Brugerfeedback ind løbende og
• 47:49
  Sådan noget. Jeg ved ikke hvad har hvad har
• 47:50
  jeg af tanker her? Har i set nogle fede løsninger
• 47:53
  til det? Ja.
• 47:59
  Altså OK så bare for at sige det som Det er.
• 48:02
  Det er jo vi ville jo gerne have os der sidder her, at det her
• 48:07
  var Sådan en videnskabelig disciplin, hvor vi kunne gå ind
• 48:10
  i Vores laboratorium, og så kunne vi ligesom teste og måle
• 48:13
  og veje. Sandheden er jo bare at.
• 48:18
  Alle mulige forskellige årsager, så er det Sådan, så er det.
• 48:22
  Lidt mere fingerspids skal fylde, end vi nødvendigvis har
• 48:26
  lyst til at sige højt, ikke? Fordi Det er jo lidt mere Sådan.
• 48:32
  Det fungerer sgu meget godt. Altså men men der altså.
• 48:38
  Jeg tror jeg Jeg er nok meget stor tilhænger af at teste det
• 48:42
  undervejs byg noget altså man kan godt bygge testparadigmer op
• 48:46
  og Sådan nogle ting og Jeg har også set nogle forskellige
• 48:49
  eksempler på hvordan man kan gøre det, og Det kan man også
• 48:52
  sagtens starte med. Personligt synes jeg man
• 48:56
  risikerer at bruge rigtig meget tid på det og man kan.
• 48:59
  Man kan godt lave nogle simple ting og nogle hurtige.
• 49:02
  Du ved noget man kan komme hurtigt i gang med men men
• 49:04
  personligt kan jeg være bange for at man bruger rigtig meget
• 49:06
  tid på. På den fase, så Jeg er nok.
• 49:12
  Det er nok meget stor tilhænger af at prøve, og i stedet for at
• 49:15
  bygge en hurtig MVP og så få brugerfeedback.
• 49:19
  Se svarer den det man regner den skal regner med at den skal
• 49:22
  svare, så man kan godt når det. Og Det er os der spørger de om
• 49:26
  præcis. Hvad spørger de om ikke præcis
• 49:28
  det synes jeg bare er Sådan en kæmpe afgjort totalt svært at
• 49:30
  forudse. Fuldstændig ikke altså og så så
• 49:33
  begynder profedback på der og så er det jo at bygge feedback
• 49:36
  loops ind med det samme, Sådan at når den siger noget forkert
• 49:40
  at de det fedeste Det er hvis de gider at trykke på en knap ikke.
• 49:43
  Men ellers at hvis samtalen stopper at man så går ind og
• 49:46
  kigger på igen manuelt eller sætter en eller 2 til det
• 49:49
  analyserer dem fik de egentlige svar på det de ville have.
• 49:52
  Eller hvor mange gange skriver de?
• 49:54
  Det var ikke det jeg mente. Du skal XI stedet for ikke så,
• 49:58
  så jeg ville jeg ville mere gå den vej rundt.
• 50:02
  Omkring det tror jeg altså, men. Jeg tænker også der må da også
• 50:05
  være nogle altså Sådan du ved jeg det ræsonnerer meget meget
• 50:07
  mig. Hvad hedder det den her ham ham
• 50:10
  nu kan jeg ikke huske hvad han hedder men ham fra chrome db han
• 50:12
  sagde at. Hey samt teamet lav en label
• 50:17
  data pizza aften eller et eller andet ikke og så bare få en 2
• 50:21
  300 høj kvalitetseksempler som virkelig virkelig.
• 50:26
  Giver nogle udfordrende eksempler, og som som
• 50:29
  repræsenterer typisk på problemer i systemet ikke og så
• 50:32
  ligesom have det som en eller 2 form for guldstandard og så sige
• 50:34
  OK nu har vi et eller andet system.
• 50:36
  Det performer Sådan og Sådan på det her.
• 50:37
  Nu har vi en eller 2 ide om noget som som som kunne forbedre
• 50:42
  det her system. Det kan være vi vi ja hvad var
• 50:45
  det han kaldte, altså der var den her metode til at.
• 50:50
  Altså beskrive chunks altså tage en trunk og lave en beskrivelse
• 50:52
  af dem eller på en eller 2 måde. Sådan så at man kunne gøre dem
• 50:54
  søgbart på en 2 måde altså. Sådan nogle ting ikke man man
• 50:58
  har. Man kan jo have tonsvis af ideer
• 51:00
  til. Hey vi kan forbedre det her rac
• 51:02
  system ved at gøre XYZ, og så kan man gøre det og så kan man
• 51:06
  sidde Sådan. Ja yes blev det bedre eller blev
• 51:10
  det ikke bedre? Det ved vi ikke en tvivl om, vel
• 51:13
  så så så på den måde, så det virker som om at at Sådan en god
• 51:16
  blanding mellem at rent faktisk at lægge lave benarbejdet, kigge
• 51:21
  på data, få lavet de der små datasætsæt.
• 51:23
  Det kan være man laver et datasæt som som tester et
• 51:25
  bestemt problem man ved man har og så ligesom det og så kan man
• 51:29
  ligesom gå. Jeg tror på en eller 2 måde, så
• 51:31
  hvis man skal have det her til at skalere på Sådan en en lidt
• 51:33
  mere systematisk måde. Så bliver man nødt til at have
• 51:35
  de der indikatorer for hvordan det går og men og så igen som du
• 51:39
  også siger emil velvidende, at det her det ikke er en eller 2
• 51:42
  supervidenskabelig proces, men at Sådan en eller 2 noget man
• 51:45
  skal. Der er også Der er også forskel
• 51:48
  på om Det er Sådan er outputtet af rapløsning eller outputtet af
• 51:52
  retrevable skråstreg søgelysning fordi.
• 51:56
  Når man kommer til at lave du ved altså dokumentsøgninger.
• 51:59
  Det kan man noget nemmere. Altså fordi Det er jo Det er jo
• 52:03
  Sådan rimelig standard du har en søget ind.
• 52:06
  Og så har du et expected outcome ud.
• 52:09
  Det vil jo altid være det samme, hvor udfordringen med selve
• 52:11
  rackløsningen vil jo være, at Det er jo mere Sådan hvordan den
• 52:14
  formulerer det. Hvad for noget, hvad er de
• 52:16
  dokumenter, den returnerer? Hvad for nogle bruger den mest i
• 52:20
  sit svar og Sådan altså Det kan være Sådan sværere i
• 52:23
  virkeligheden at måle på. Det vil man også kunne men, men
• 52:28
  det vil i hvert fald også være hvor selve søgeløsningen er jo
• 52:30
  Sådan. Noget nemmere ikke altså hvor
• 52:35
  mange af dem? Hvor mange rammer vi rigtigt på,
• 52:38
  så når vi søger efter. Jeg vil også stille det der
• 52:41
  evaluering op fuldstændig op som du siger det emil og især når
• 52:44
  man så hvis man er Sådan en der sidder og udvikler en en betting
• 52:46
  model, så er det klart at man kan ikke lave en træning altså
• 52:50
  en model uden at have noget rimelig Sådan fast hvornår bever
• 52:53
  den sig i den rigtige retning i forhold til hvis man gerne vil
• 52:56
  optimere den til retriever. Men man kan helt altså Jeg er
• 53:00
  fuldstændig enig i det der med få nogle brugere på og få noget
• 53:03
  feedback fra dem, fordi du kan også have Sådan et retreles drag
• 53:07
  system hvor jamen du har tilfældigvis nogle brugere som
• 53:13
  ligesom befinder sig i det her space i forhold til hvad for
• 53:16
  nogle ting de søger efter. Og hvad kan man sige hvad de
• 53:19
  skal have løst af problemer og og allerede der vil jeg få noget
• 53:23
  feedback at se på nogle nogle qurastrings.
• 53:25
  Hvad er det rent faktisk i bruger det her system til?
• 53:28
  Jamen så er det også nemmere at finde ud af hvad man skal
• 53:29
  optimere imod, fordi at det der med at Sådan at tænke man skal
• 53:33
  bare optimale mere imod alt alle cases alle Sådan en.
• 53:38
  Det tror jeg ikke på. Altså Vi har nogle begrænsede
• 53:40
  brugere. Vi har et domæne vi arbejder i
• 53:42
  og Sådan noget. Hvad er det folk de bruger de
• 53:44
  systemer til? Det finder vi først ud af når
• 53:46
  når brugerne kommer på og så er det altså nemmere at finde ud af
• 53:49
  hvad Det er man også skal optimere imod.
• 53:52
  Så jeg der tror jeg også tilbage til til dinero casen y unge at
• 53:55
  det det det ved supporterne de er domæneeksperter.
• 53:59
  Af brugerne, og derfor ved de også hvad det hvad fuck Det er.
• 54:02
  De skal putte ind i den der database ikke også.
• 54:04
  Så Det er bare så smukt fordi Det er bare det de gør og så og
• 54:07
  så bliver det bedre ikke? Så så, så Det er jo et eksempel
• 54:11
  på at bare at kende domænet rigtig godt og derved også vide
• 54:14
  hvad man skal putte i og så hvad man ikke skal putte i.
• 54:16
  De er jo kæmpe kæmpe filter som ingen andre der sidder bare og
• 54:20
  kun er tekniker med kasket på kan gøre.
• 54:22
  Altså kan bare ikke. Det kan ikke lade sig gøre ved
• 54:24
  sgu ikke hvad der skal puttes i den der den.
• 54:26
  Jeg aner ikke noget om hvordan man udfylder Sådan en.
• 54:29
  Ting så Det er kun dem, der kan gøre det.
• 54:32
  Ja Det er sgu lidt misundeligt sjovt at folk du har derovre.
• 54:37
  Det er også sjovt fordi at at altså Sådan Der er også altid
• 54:39
  været den der historie navn som datter science.
• 54:41
  Der skal du have forretningsforståelse ikke, og
• 54:43
  Det er i virkeligheden fordi at du skal forstå domænet.
• 54:46
  Det var også hans Christian Bjerregaard fra plugger have.
• 54:49
  Han sagde også Sådan der domæneviden er hans
• 54:51
  undervurderet ikke. Altså du bliver nødt til at
• 54:53
  forstå det du mente du du arbejder med for at kunne
• 54:55
  modellere det. Ja og og så hvad hedder det
• 54:59
  altså og det giver jo sudig god mening fordi det skulle tage du
• 55:01
  skal kigge på data du skal være i stand til at vurdere var den
• 55:04
  havde fået forudset den rigtige forudsagde den forkert og så
• 55:06
  videre og så videre. Og Det er ligesom om i her i
• 55:08
  dinero casen der har vi bare haft haft succes med ligesom at
• 55:11
  sige fordi i gamle dage der skulle man både kunne
• 55:14
  programmere og vide noget om. Linære algebra og optimering og
• 55:19
  greating the Center og pis og lort ikke og tilegen sig en
• 55:24
  eller 2 domain viden indenfor dinero support, altså regnskabs
• 55:27
  support eller hvad fanden det måtte være ikke.
• 55:29
  Men nu er det lige som om fordi Vi har fået det her.
• 55:31
  Modellerne er blevet så generelle, og de har fået det
• 55:33
  her interface sproglige interface og du kan instruere
• 55:36
  dem frem for at træne dem. Så behøver du faktisk ikke at
• 55:39
  være en eller 2 supersejtest for at kunne gøre de der ting.
• 55:43
  Ikke så jeg. Jeg tror rigtig meget på det der
• 55:45
  med, hvis man kan få lavet nogle tools altså noget hvis man kan
• 55:49
  få lavet noget software til folk som giver dem mulighed for at
• 55:54
  kigge på data. Og hvad hedder det altså og og
• 55:58
  og kunne justere på systemet? Og så bare tracke en eller 2
• 56:01
  matrik og lave stikprøve og så videre og så kunne finde ud af
• 56:04
  det der det. Det tror jeg.
• 56:07
  Du har helt ret i overføres til andre områder også, ikke?
• 56:09
  Er det ikke også det man kalder? Citizen date og science øst er
• 56:15
  det ikke det begrebet er? Jo Det kan da godt være er Det
• 56:18
  er det. At Det er Sådan du ved
• 56:21
  allemanden. Sådan laver date og science
• 56:25
  arbejde. Og Det er jo i virkeligheden det
• 56:27
  ikke. Det er jo at have nogle nogle
• 56:28
  nocoat værktøjer, hvor man kan arbejde med data.
• 56:33
  Struktureret og Sådan det. Har bare fået en helt ny
• 56:35
  dimension, synes jeg med de her nye generelle modeller her
• 56:38
  altså. Ja megafedt bare lige her inden
• 56:43
  vi Jeg kan. Vi har efterhånden snakket en
• 56:45
  times tid og Vi skal ikke stjæle for meget af din tid emil hvad
• 56:49
  hedder det inden vi vi smutter her ikke så har jeg skrevet ned
• 56:53
  i min Jeg har skrevet ned i min min noter her Sådan noget som
• 56:57
  rack versus fine tuning det ved jeg det det hører jeg mange
• 57:01
  snakke om eller Sådan den den samtale kommer tit op hvornår
• 57:04
  skal man bruge rack og hvornår skal man bruge fint-søging?
• 57:08
  Er der noget visdom der eller eller er det overhovedet et
• 57:12
  relevant spørgsmål? Tænker vi fintuning er er en
• 57:16
  lille m nu. Fordi der Der er Sådan en ide om
• 57:19
  at OK man bruger rap når man har noget.
• 57:23
  Ja du Jeg synes du fortalte rigtig godt emil Sådan noget
• 57:26
  ikke offentligt adgang altså ja hvad var det du sagde?
• 57:30
  Data, der ikke er offentligt tilgængelig eller Sådan faktuel
• 57:32
  data. Altså Jeg vil sige.
• 57:35
  Hvis man skal være lidt hård ikke hvis folk altså Jeg har.
• 57:38
  Jeg har selv siddet som modtager af Sådan nogle powerpoint slides
• 57:42
  hvor der står Sådan noget først. Så prøver du med en chatbot så
• 57:46
  prøver du med en rack og så prøver du med find tun og Sådan
• 57:48
  noget hvis man nogensinde møder Sådan nogle, så skal man bare
• 57:51
  rejse sig op og så skal man gå sin vej fordi så er der ikke
• 57:56
  altså så er der ikke så er der ikke nogen grund til at at lytte
• 57:58
  altså Det er Det er 2 rigtig gode redskaber i en.
• 58:05
  Skal man altid være påpasselig med at være bombastisk i sine
• 58:07
  udtalelser. Ikke fordi Det kan komme og
• 58:09
  ramme en lige i ryggen. Men Jeg synes de de kan 2 meget
• 58:13
  forskellige ting, så man kan sagtens altså finde tuning er
• 58:17
  mere at du træner en model til at tale i det sprog jeres
• 58:22
  supporter i dinero borger, men du kan ikke finde en model på et
• 58:27
  datapunkt. Nej så hvis du kun har en
• 58:31
  artikel for eksempel der handler Det kan du måske godt, men det
• 58:34
  vil ikke være særlig god til at samle det op.
• 58:36
  Så hvis du kun har en artikel der nævner at specifikt derinde
• 58:40
  på skat skal du trykke lige præcis på den der knap for at
• 58:42
  lave moms indberetning, så vil find tuning være en rigtig
• 58:45
  rigtig dårlig case, fordi det vil kun være et data eksempel på
• 58:48
  din find tuning. Så det man så i stedet for
• 58:52
  skulle gøre Det var at man skulle koble det med.
• 58:54
  Altså med rap. Så du får fine tunet det på det
• 58:58
  sprog dine supportere og Det er faktisk en sindssygt smuk
• 59:01
  løsning, fordi så kan du også hvis du har lyst helt undgå
• 59:04
  opene. Jeg ejer alle de andre, så kan
• 59:05
  du køre en lokal lem på 6 eller sågar.
• 59:11
  En et b milliard model, altså en af de små i denne her verden,
• 59:15
  som du kan køre på din egen computer, så kan du fintune den
• 59:19
  i et sprog som de ligesom så Jeg har en ide om.
• 59:23
  Nu sidder jeg jo på rigtig meget.
• 59:26
  Parlamentarisk data jeg Jeg er i gang med at bygge en LLM der
• 59:29
  taler ligesom Mette Frederiksen. Så kan man stille hele
• 59:32
  spørgsmålet, så kan du få et svar.
• 59:33
  Der er rigtig meget data hvor hun hvor hun snakker og bliver
• 59:37
  spurgt om ting. Og Det kan den kan man finde sig
• 59:40
  ud af ikke og så kan du have rapken ved siden af som så hiver
• 59:43
  de faktuelle ting ind. Og så kan du køre det hele
• 59:46
  lokalt. Det er faktisk et sindssygt fedt
• 59:48
  setup. Man skal så også være meget
• 59:50
  opmærksom på at at fine tun er en lille model gør at den bliver
• 59:53
  rigtig, rigtig god til lige præcis den specifikke case.
• 59:56
  Den bliver ikke nødvendigvis særlig god til alt muligt andet,
• 59:59
  så den den mister. Vi har nok mistet performance i
• 1:00:04
  mere generelle opgaver, og særligt når der kører små eller
• 1:00:08
  damer, så så vil de ikke være særlig gode til Sådan generelt
• 1:00:11
  opgave. Så det, jeg hører dig sige, Det
• 1:00:13
  er også. Det er 2 forskellige.
• 1:00:15
  Det er det du hører at sige fintuning og rack det det altså
• 1:00:18
  det det. Det lugter lidt af hinanden, men
• 1:00:20
  Det har ikke som Sådan noget med hinanden at gøre det.
• 1:00:22
  Det løser 2 forskellige opgaver. Og selv indenfor fine tuning er
• 1:00:26
  der mange forskellige former for fin tuning, og der kan man så
• 1:00:30
  også sige, at de løser nemlig også forskellige opgaver, fordi
• 1:00:33
  Det kan nemlig være både rigtig og forkert at ved, når man
• 1:00:36
  finder at man snævre sit sit space ind for for
• 1:00:41
  problemløsning. Men Det kan også være.
• 1:00:43
  At man egentlig er i gang med, ligesom at tilføje noget
• 1:00:47
  keppability, som ikke var der før.
• 1:00:48
  Hvis man laver meget store fulde find tunings og Sådan nogle
• 1:00:51
  ting. Men men Jeg er jo jeg må jo jeg
• 1:00:54
  må jo konfetse emil til til den der, at Jeg har nok været en af
• 1:00:58
  dem der på et tidspunkt stod og sagde hvis du skulle hvis du
• 1:01:02
  skulle. Hvis du skulle Jonas altså vi
• 1:01:06
  vi. Vi bliver nødt til at play the
• 1:01:07
  game we wall Bente altså. Vi bliver nødt til at sige det,
• 1:01:10
  som publikum gerne vil høre, så det.
• 1:01:13
  Men Det var meget tidligt, kan man sige II hvad kan man sige
• 1:01:16
  fasen hvor det Jeg tror jeg brugte den form for remse til
• 1:01:19
  Det var at sige lad være med at bruge tid på at fine som det
• 1:01:22
  første bruge hellere noget tid på rack fordi at at Det var også
• 1:01:26
  et spørgsmål om Sådan økonomisk tilgang til hvornår skal du tage
• 1:01:30
  fat i de forskellige? Altså hvornår skal du overveje
• 1:01:34
  om du gør det ene eller det andet, men der har jeg hele
• 1:01:36
  tiden troet på at. At rack altid kunne noget i det.
• 1:01:41
  Hvad kan man sige i det space, som folk arbejdede i?
• 1:01:44
  Før fine tuning var en ting, og Jeg tror, Det var bare Sådan en
• 1:01:47
  måde at diskurge. Fine tuning.
• 1:01:51
  Til til folk som som som havde. Hvad kan man sige en en netop en
• 1:01:55
  opfattelse af, at hvis jeg bare Det var det der skide knowledge
• 1:01:59
  cut of der blev programmeret så meget II.
• 1:02:02
  Altså hvis hvis ikke knowledge cut nu.
• 1:02:04
  Har vi trænet? Noget.
• 1:02:06
  Mere knowledge så har den jo det der knowledge hvad så skal vi så
• 1:02:10
  gentræne den igen? Jeg har også hørt om
• 1:02:12
  træningsloop som har kørt. I Sådan nogle elementer, hvor vi
• 1:02:15
  så nu kom der en dato for den her måned.
• 1:02:18
  Vi kørte lige en gang mere på det her data her.
• 1:02:20
  Det har jeg seriøst hørt folk, der har haft Sådan et setup.
• 1:02:24
  Vi har også haft dem i podcasten, og Det var Det var
• 1:02:26
  altså. Det er 2 år siden agtigt nu ikke
• 1:02:29
  måske pludselig lidt mere og. Siden ikke altså.
• 1:02:32
  Ja ja men men OK hvis soul last siger, men Der er jo bare altså
• 1:02:36
  folks opfattelse af hvad der virker derude og hvad der ikke
• 1:02:38
  virker og Sådan nogle ting der den hegner som men Jeg har Jeg
• 1:02:41
  har holdt meget på på rack. Jeg skal lige høre når det
• 1:02:43
  kommer til knowledge en corporation som man siger ikke?
• 1:02:47
  Skygger det bliver rigtig lange. Jeg skal lige have ens sidste
• 1:02:49
  tal. Hvad hedder det?
• 1:02:51
  OK fine tuning versus wrack Det er Det er klar besked 2
• 1:02:55
  forskellige ting men mening vil du lige sige noget?
• 1:02:59
  Jeg vil godt sige en fordi Det er fuldstændig rigtigt det du
• 1:03:01
  siger Jonas med. Der er forskellige måder fine på
• 1:03:03
  og. Min favorit klart når det kommer
• 1:03:07
  til drag modeller Det er Det er lore eller q lore det fungerer
• 1:03:11
  pissegodt og Det er billigt, Det er nemt.
• 1:03:13
  Det er hurtigt, Det er bare fuldplad.
• 1:03:17
  Igt ja præcis altså. Det er ligesom rumfærgerne.
• 1:03:21
  Fantastisk. Kontekst vindue versus wrack.
• 1:03:27
  Den var lidt sværere, var den ikke?
• 1:03:30
  Det er jo det der. Hvornår skal man?
• 1:03:33
  Hvornår skal man bruge? Hvornår skal man bruge rack og
• 1:03:35
  hvornår skal man bare fucking putte det ind i kontekst
• 1:03:37
  vinduet? Det var vi ikke.
• 1:03:41
  Har vi ikke Sådan været lidt inde på den også med det der?
• 1:03:43
  Altså Jeg tror hvis Det er specifikke information du er ude
• 1:03:46
  efter og du er ude efter ekstremt meget information, så
• 1:03:50
  vil jeg bruge wrack kontekst vinduer vil jeg nok mere altså
• 1:03:54
  Jeg synes Det er Sådan noget mere.
• 1:03:56
  Jeg synes crowd code fungerer jo helt vildt godt.
• 1:03:58
  Hvordan laver de der summeres hver eneste gang man har gået et
• 1:04:01
  eller andet, så har du Sådan et lille summery i dit i dit
• 1:04:03
  kontekst vindue ligesom har med. Og så bladrer den ligesom
• 1:04:07
  tilbage til det der fungerer. Det sindssygt godt.
• 1:04:09
  Og Det er i virkeligheden også en vanvittig fed måde at
• 1:04:11
  kombinere de 2 på. Ikke at den så kan rulle tilbage
• 1:04:15
  og så åbner den det op og så siger OK.
• 1:04:18
  Jeg vil Jeg vil sige hvis jeg lige skal tilføje der, hvis nu
• 1:04:22
  vi siger at Det var bare lige. Lad os nu sige
• 1:04:26
  personalehåndbogen kun varer 5 sider.
• 1:04:30
  Så var det nok spild af begyndere, hvis jeg bare gerne
• 1:04:33
  ville chatte med det der dokument der så var det måske
• 1:04:35
  nok lidt lidt mærkeligt at at unname bette det, hvis ikke Det
• 1:04:39
  var mere. Jeg kan sgu ikke helt finde ud
• 1:04:42
  af hvornår det begynder at degradte Sådan nogle ting der
• 1:04:44
  ikke. Men hvor går grænsen?
• 1:04:46
  Hvid skal føle. Ja præcis præcis.
• 1:04:48
  Der er den tilbage igen. Det er jo vibecheck det og og
• 1:04:54
  interessant. Det er når man er over 4007
• 1:04:57
  138.000 OK så. Ja så flipper den over på rack.
• 1:05:03
  Jeg tænker at det det det kommer det her titlen til på den her
• 1:05:07
  episode til at være. Hvis man skal dyle ind?
• 1:05:10
  Nej. Det er mega fedt.
• 1:05:13
  Super aller allersidst til aller allersidst og så sker vi nok til
• 1:05:17
  at runde af her tuning Stack. Har i nogle kommentarer der?
• 1:05:22
  Er det bare fuld lang chain eller jeg?
• 1:05:24
  Skulle lige til at sige lad være ej.
• 1:05:30
  Skal have en helt session til amok the lang ching og.
• 1:05:33
  Jeg, Jeg er faktisk faldet over for et par dage siden.
• 1:05:36
  Der var der et et framework der fik lidt opmærksomhed på
• 1:05:40
  LinkedIn som hedder palland. Det synes jeg ser spændende ud,
• 1:05:44
  så Det kan man overveje at kigge på.
• 1:05:46
  Jeg er i hvert fald begyndt at kigge lidt på det, ellers så Jeg
• 1:05:49
  har brugt pact det synes Jeg har fungeret ret godt.
• 1:05:53
  Jeg har også brugt hate-stack faktisk før det blev i starten
• 1:05:56
  var det. Var det mere Sådan et?
• 1:06:00
  Ja mere til Sådan generelle sprogmodeller end LP og Sådan
• 1:06:03
  nogle ting. Men nu er det blevet Sådan mere
• 1:06:05
  end lang konkurrent. Jeg synes det fungerer meget
• 1:06:07
  godt hest der og ellers så har jeg altid bygget det selv.
• 1:06:11
  Ja også bare fordi Det er Sådan typisk næsten nemmere, men det
• 1:06:16
  der det skal jeg i hvert fald have kigget på paland måske jeg
• 1:06:19
  ved ikke hvordan jeg. Lytter.
• 1:06:22
  Så. Nej.
• 1:06:25
  Undskyld hvad jeg så vil bare ikke altså i forhold til vektor
• 1:06:28
  databaser og Sådan noget. Der er jo alt muligt.
• 1:06:29
  Jeg bruger bare altid lastik search.
• 1:06:33
  Det er hurtigt, og Det er ja. Proven og så er der sindssygt
• 1:06:39
  mange muligheder, når først man ligesom er over den der learning
• 1:06:42
  curve, så er det bare så kan du så meget med det.
• 1:06:49
  Også godt når man arbejder med store kunder.
• 1:06:51
  De vil gerne have Sådan nogle kæmpe enterprise greater
• 1:06:53
  systemer, og Det kan det også. Ja.
• 1:06:57
  Sweet, hvad med dig, Anders? Jamen Jeg er også.
• 1:07:01
  Jeg er jo meget til byg selv også og for guds skyld ikke
• 1:07:04
  langshine. Men Jeg har faktisk også brugt
• 1:07:07
  det her hesteck i min dages og synes også Det var meget fedt og
• 1:07:13
  selvfølgelig fice dengang Det var totalt.
• 1:07:18
  Vi lavede mærkelig store indeks, der fyldte 50 gigabyte
• 1:07:22
  hukommelse, og så stod man der med dem i hukommelsen.
• 1:07:26
  Det var ikke så praktisk. Altså.
• 1:07:29
  Stod man der. Og så er jeg jo, Jeg har jo
• 1:07:34
  forelsket mig II den her vektordatabase der hedder
• 1:07:36
  quqfunding. Jeg tror nok Jeg har turneret en
• 1:07:38
  del med den. Den må snart få nogle royalties
• 1:07:42
  fra dem men. Den kan rigtig rigtig mange
• 1:07:46
  ting. Der er simpelthen bare alt godt
• 1:07:50
  fra vektorland. Det er virkelig den, den kan alt
• 1:07:54
  muligt. Altså det de er superbadass og
• 1:07:56
  den skala er selvfølgelig også til enterprise great og er super
• 1:08:01
  fast blæsing fast fordi Det er lavet i rust skal det jo.
• 1:08:04
  Hedde. Så.
• 1:08:09
  Men, men jeg må også altså. Jeg må erkende, at Sådan i
• 1:08:12
  forhold til Sådan frameworks der lige.
• 1:08:15
  Hurtigt hjælper en med at få noget flow op og Sådan noget der
• 1:08:19
  der der bygger det bare selv. Altså Det er typisk man gerne
• 1:08:22
  vil have data kommer ind et sted med nogle frekvenser og man vil
• 1:08:26
  selv styre den der præ-producering og hvad der sker
• 1:08:29
  embedte og alle de der ting der Der er altid så meget
• 1:08:31
  forretningslogik i det der til. Det er svært ligesom at tage
• 1:08:33
  Sådan nogle framework og bare sige.
• 1:08:35
  Det spiller så hellere bare tage nogle nogle enkelte dele og så
• 1:08:39
  prøve at at få det til at at spille sammen.
• 1:08:43
  Ja så Det er Sådan. Det Der er også lidt.
• 1:08:45
  Det virker som om der også nærmest er lidt dressing i at
• 1:08:48
  lave det selv ikke altså nærmest fordi Der er så mange framework,
• 1:08:52
  så man ved sgu aldrig om om det går konkurs eller om det stadig
• 1:08:56
  er at blive mentalet og Sådan nogle ting ikke?
• 1:08:58
  Og det virker som om det også. Jeg tror også Det er det Der er
• 1:09:00
  mange der har problemer med med lang chain, og Jeg har ikke
• 1:09:02
  chillet langchain i 100 år, så jeg ved ikke om det stadig er
• 1:09:05
  Sådan. Det tror jeg Det er, men men
• 1:09:07
  altså det der med Der er alle mulige mærkelige abstraktioner
• 1:09:09
  og Det er super svært at komme ind og finde ud af hvor sker et
• 1:09:13
  eller andet ikke. Ja så.
• 1:09:17
  Du har Black box af klasser. Blackio.
• 1:09:21
  Navne. Nej.
• 1:09:27
  Megafedt er der noget her på falderebet som Vi skal have
• 1:09:30
  snakket om så vi ikke har snakket om?
• 1:09:32
  Sikkert Det var et stort spørgsmål.
• 1:09:34
  Ja. Altså har vi ikke.
• 1:09:39
  Har vi ikke nailet den? Jeg tror Vi har nageligt nailet,
• 1:09:42
  det tror jeg. Kan du så ikke ved du hvad så
• 1:09:45
  skal vi Vi skal sgu lige have lidt.
• 1:09:46
  Vi skal lige have nogle plugs emil kan du kan du ikke
• 1:09:50
  promovere et eller andet du har der Der er et eller andet
• 1:09:53
  promover dig selv hvor kan man finde dig hvor kan man finde dig
• 1:09:55
  henne hvor kan hvad kan man subscribe til?
• 1:09:57
  Hvad kan man købe? Altså jeg findes stort set kun
• 1:09:59
  på LinkedIn i digital format. Jeg er ikke.
• 1:10:03
  Jeg har ikke jeg. Jeg har prøvet lidt blue sky.
• 1:10:08
  Dengang alle andre gjorde det stoppede med det dengang
• 1:10:11
  allehånde stoppede det så så hvis man vil nogle gange, så
• 1:10:16
  skriver jeg lidt på LinkedIn. Det kommer Sådan lidt.
• 1:10:17
  I perioder har jeg fundet ud af ikke er nogen speciel årsag.
• 1:10:23
  Og ellers så. Så ja så så render jeg jo rundt
• 1:10:28
  og og bygger løsninger ude hos kunder og bygger os selv lidt.
• 1:10:32
  Jeg har bygget CVR net som er meget gammel efterhånden der
• 1:10:35
  faktisk er bygget i. Er, som vi talte om, før vi
• 1:10:38
  startede optagelsen. Så har jeg bygget en en nyheds.
• 1:10:46
  App der hedder briefet, som jeg selv synes er meget fed, og så
• 1:10:49
  har jeg bygget det her gorbund, som er en platform til at
• 1:10:52
  indsamle. Relevant
• 1:10:56
  lovgivningsparlamentarisk data monitorerer der og Sådan nogle
• 1:11:01
  ting, og der sker lidt ting og sager der.
• 1:11:03
  Og så er jeg sammen med en partner i gang med at bygge den
• 1:11:07
  her knowledop jeg også var inde på tidligere, som er Sådan en
• 1:11:10
  stor kurateret vidensbase, som man så kan bruge inde i en
• 1:11:13
  virksomhed og så kan man koble. En søgemotor på eller man kan
• 1:11:17
  koble en rap bot på eller man kan en embedde det ind i sin.
• 1:11:23
  Word e mail whatever man sidder og arbejder i, og så kommer der
• 1:11:26
  ligesom den viden man har brug for.
• 1:11:30
  Op. Ja.
• 1:11:34
  Fedt mand det. Ved jeg ikke helt hvad bare om
• 1:11:36
  Det var et salg eller hvad det men men Det var i hvert fald.
• 1:11:39
  Uanset hvad, som jeg bare har Vores Vores lyttere skal købe
• 1:11:41
  det og. Og ja yes vi 2.
• 1:11:47
  Gratis så Det er Sådan den lille jeg arbejder med bånd ja.
• 1:11:54
  Så Det kan være der lige skal arbejdes på den del kan man
• 1:11:56
  sige. Jeg og ellers synes jeg faktisk
• 1:12:00
  jeg skal gå ind og ja følge emil på.
• 1:12:03
  På LinkedIn fordi at ja jeg nyder at læse din post når du
• 1:12:07
  deler dem og ja så det synes jeg bare du skal gøre.
• 1:12:12
  Så Jeg tror ikke Der er så meget andet tilbage end at sige 1000.
• 1:12:14
  Tak fordi du ville. Være med emil selv tak.
• 1:12:16
  Det var en fornøjelse. Det var bestemt på min tid.
• 1:12:20
  Og så vil jeg gerne sige 1000 tak til alle lytterne derude.
• 1:12:23
  Og så vil jeg bare gerne sige hold kæft hvor Jeg vil sige
• 1:12:26
  mange ting hav det rigtig godt tilly lyse igen hey.