Latest / Verbos: AI og Softwareudvikling / #44 - Sora, Gemma, Stable Diffusion 3, Mistral Large, Dansk LLM Forslag, Ny DK SOTA LLM
Transcript
- 0:00Hallo alle sammen og velkommen til Vores podcast afsnit nummer
- 0:0344. I den her episode skal vi snakke
- 0:05om. Ja det føltes som 1000 model
- 0:08releases. Det er det selvfølgelig ikke,
- 0:10men Vi skal blandet snakke om zara open eyes tekst og image
- 0:15eller text video model Vi skal snakke om.
- 0:17Ja Vi skal snakke om stables fusion 3 og Vi skal snakke om
- 0:22mistral large modellen som er kommet ud i dag.
- 0:25Så skal vi også snakke en lille bitte smule om det danske large
- 0:28langues model space et space, som Vi har så så nært, fordi Det
- 0:32var jo Sådan, at i sidste uge blev var der faktisk et forslag
- 0:36oppe i Folketinget, som behandlede hvorvidt staten skal
- 0:40lave en dansk lars sandwich model et et.
- 0:43Hvad skal man sige? Et spørgsmål, som Vi har
- 0:45behandlet en del gange her i podcasten, men der synes
- 0:48alligevel Der er et eller andet vildt et eller andet
- 0:49nyhedsværdien i, at det ligesom er kommet i.
- 0:53Folketinget, og så har vi en ny dansk state of the art open
- 0:58state of the art language models som vel at mærke ikke er muret,
- 1:02som Vi skal snakke en lille smule om her til sidst, og så Vi
- 1:05har en del på programmet, så Vi skal se II gang.
- 1:08Vi har simpelthen så meget på programmet i dag, at selv Jeg
- 1:10har mistet overblikket og og og eller ser selv jeg som om, at
- 1:16jeg altid har et overblik. Men hold nu fest altså det
- 1:19buldrer bare derudaf med alle de ting og jeg jeg efterhånden har
- 1:22jeg givet den en lille smule op på det Jeg vil sige.
- 1:25Men altså skulle. Følg med i alt det der.
- 1:28Jeg ved ikke. Hvordan har du det?
- 1:29Jo, men Jeg synes. Men Jeg synes, Vi har haft en
- 1:33lille wave her på det sidste, og hvilket har været lidt
- 1:37interessant. Og Det er sjovt fordi.
- 1:40Sådan på lars landbrugsmodel siden chatbot siden Der er det
- 1:45ligesom alle de andre, der prøver at catche op med open air
- 1:49og og. Det er ligesom det her billede
- 1:52domæne og så og og de er ubesejrede indenfor lars
- 1:56modeling. Og så er der ligesom det her
- 1:59billede video domæne som som som også ligesom rykker lidt på sig.
- 2:04Så ja, man kan sige den overordnede historie på LM siden
- 2:09er jo ligesom at de andre prøver at følge med oplæg og.
- 2:13Ja open r de. De ja hvad?
- 2:17Hvad kan man sige de nu? De skubber det lidt på med tekst
- 2:20til video, men det skal vi også snakke meget mere om ja.
- 2:23Så en lille en lille sports analogi til hvordan kampen går.
- 2:29Det, det må man sige altså. Jeg lagde mærke til 1 1 ting og
- 2:33Det var at Google de annoncerede Jimmy 1,5.
- 2:38Tror jeg, Det var altså deres nyeste state of the art version
- 2:42af Jimmy, og Jeg tror også sammen med det så lige så hvad
- 2:48hedder det? Annoncerer de også den her Jimmy
- 2:50advance eller et eller andet? Du ved Sådan Det er deres svar
- 2:53på chatbot, som nu ikke er bart mere som man som er det her,
- 2:57Jimmy den den den annonce de. 2 3 timer efter så så kommer
- 3:03opening jeg og så dropper de sara og stjæler hele billedet.
- 3:08Ja Det er Sådan Det er Sådan et rigtig, rigtig typisk openai
- 3:12greb det der. Jeg synes også at man så det
- 3:15tilbage i 2023, hvor at Google de annoncerede palm API og så så
- 3:20droppede p 4 1 par timer efter og stjæle billedet fuldstændig
- 3:25så. Jeg tror ikke, at poul
- 3:28nogensinde fik ben at gå på, og Jeg har ikke hørt om nogen der.
- 3:33Lige præcis. At lave noget.
- 3:35Men så Det er ligesom om altså man kan sige openai de bruger
- 3:39virkelig DR. De bruger virkelig strategisk
- 3:42marketing. Til alt det de kan til ligesom
- 3:47at være hvad er det det hedder David mod goliat det ikke så
- 3:51godt at det selvfølgelig Google og David det altså selvom
- 3:54opening er stortset de trods alt ret små i forhold til Google.
- 3:57Ikke så. De bruger ligesom den hype de
- 4:00har. Nå men, men Jeg kan ikke være
- 4:04med. Altså tænke at hvad har vi
- 4:05øverst på listen har vi ikke bare åbne jeg på listen øverst
- 4:08og så væk med dem og så videre til de andre bare fordi.
- 4:13Altså jeg tænkte jo jeg tænker, skal vi lige starte med sora?
- 4:16Vi starter med sorø ja super. Ja som vi snakkede om her åbner
- 4:21jeg. De kom med med den her zara
- 4:23model og jeg ved ikke kan du måske Jeg tror måske folk ved
- 4:27det men hvad hvad er dit indtryk af hvad Det er for noget?
- 4:31Jeg tror også de fleste der også følger i den her podcast også
- 4:36måske har lidt fulgt med på på LinkedIn.
- 4:39Man kan jo næsten efterhånden ikke komme forbi at det der sker
- 4:43når åbner. Jeg kommer med noget nyt, men
- 4:46Det er det der det der falder mig ind i det der når man
- 4:49lancerer Sådan noget. Man kan nu lave en video på.
- 4:52Jeg tror Det er oppe på et minut eller Sådan et eller andet ikke
- 4:54og og du så har rimelig rimelig realistiske videoer, ikke at Vi
- 5:00har ikke de der Sådan lidt. Altså du ved der Det er noget et
- 5:03års tid siden hvor vi så Sådan nogle videoer der var nærmest
- 5:06altså fra fra en eller anden gyser hvor man.
- 5:09Tænker fuldstændig. Altså nej nej først flot.
- 5:14Første Sådan spæde spæde forsøg ikke?
- 5:17Ja og Det var. Ja Det er ligesom de der hænder
- 5:21der der lignede et eller andet fra en høreprøve.
- 5:23Ikke altså det ja nå men og nu har vi så noget som som er
- 5:28tåleligt og at det kun hvis du kigger rigtig godt efter, vil
- 5:31jeg sige, at du Sådan. Stadigvæk sagtens kan se, at Det
- 5:35er genereret af en eller anden. Ja, Det er slet ikke det, altså
- 5:38det det. Det er ikke fordi Det er
- 5:40fejlfrit overhovedet. Det forholdsvis nemt at se at
- 5:43noget genereret af nære og ens øjne bliver efterhånden også
- 5:48trænet til det, der synes jeg på det billede, man kan ligesom se
- 5:52det, og Det er overalt hedder man bliver lidt træt af det, men
- 5:55men anyways det Det er jo flot og og hvad skal vi så bruge det
- 5:58til? For det første er der ligesom.
- 6:00Det er et godt spørgsmål. Og det tænkte jeg jo også fordi
- 6:06at jeg jo arbejder i meget teksttung domæne kan man sige,
- 6:09så Det er jo klart, at Jeg har måske ikke lige alle use casene
- 6:12på bordet for for det der video, men men selvfølgelig er der
- 6:15nogle steder derude hvor man hvor man kan lave små klip på på
- 6:20et minut eller et eller andet som som er værdifuld fordi at du
- 6:24kan gøre det relativt nemt og hurtigt og du kan brainstorme
- 6:28også over noget noget semantik du måske egentlig gerne vil lave
- 6:31en rigtig film med eller du ved eller nogle scener eller et
- 6:34eller andet du kan prøve at få få det det visuelle.
- 6:37Kreativ meget hurtigt ud over rampen, så kan jeg sagtens se
- 6:40den sektor her har rigtig meget gavn af det.
- 6:44Så det her. Det er jo til en særlig del af,
- 6:46hvad skal man sige Vores kreative økonomi, der ligesom
- 6:49gør sig i Sådan noget billede noget ikke.
- 6:52Og folk er jo allerede du ved Hollywood der Sådan der bliver
- 6:56brug for skuespillere mere og video så kan du bare om 10 år
- 7:00kan du bare sige eller 2 år eller 5 år kan du bare sige Jeg
- 7:02vil gerne have en film med Arnold schwarzenegger og Nicolas
- 7:05cage og hvad hedder det et eller andet nicole kidman og den skal
- 7:09handle om at de kommer ind til bamse kylling og Jeg har gode
- 7:13venner eller et eller andet ikke.
- 7:14Altså totalt altså folk allerede helt ude af tangenten der ikke.
- 7:19Og Jeg tror også en ting som jeg lægger mærke til ved den her
- 7:22type modeller, altså de visuelle modeller.
- 7:24Det er at de er. De har en stor fascination,
- 7:28fordi de er nemme og Sådan vurdere visuelt og Sådan.
- 7:32Folk er bare meget. Jeg har i hvert fald ikke til,
- 7:34at folk har været fuldstændig prøvende over kvaliteten, og Det
- 7:38er på en eller anden måde nemmere at vurdere, når Det er
- 7:40visuelt i stedet for at man Sådan nå.
- 7:43Den laver lidt bedre tekst end end den anden, ikke?
- 7:45Det skal man alligevel sidde Sådan og og chatte den med en en
- 7:49model for at finde ud af ikke? Men de her dem er der altså
- 7:52bare. Der kan man bare se det lige med
- 7:54det samme, ikke? Ja og så til at starte med, så
- 7:57så tror jeg at at hvad kan man sige den der det Det er den der
- 8:00Sådan. Et et barn, der prøver at at
- 8:03bruge en hammer for første gang. Ikke Sådan lidt.
- 8:06Hvad skal jeg bruge den til? Ikke og så den siger en lyd hold
- 8:09da op Det var Det var spændende ikke?
- 8:11Altså Det er lidt Sådan, Vi har det også når vi får Sådan et
- 8:13stykke teknologi i hånden nu ikke indtil vi så finder ud af
- 8:15hvor hvor anvendeligt de rent faktisk er i nogle nogle stemte
- 8:19cases og. Og der må vi sige noget af noget
- 8:22af det, som sikkert bliver ret spændende.
- 8:24Det er jo det her. Lidt ligesom Vi har set med
- 8:26billeder at du du har et billede og så kan du rent faktisk sidde
- 8:30i et billedredigeringsprogram som du kender og så får du lige
- 8:33pludselig Sådan en en ekstra toolbox ved siden af Der er
- 8:38æresnål styret altså du kan fjerne noget af billedet og og
- 8:42så fortælle at der nu skal du erstatte det her objekt med et
- 8:45andet objekt og ved navn ligesom sige hvad det skal være og
- 8:48hvordan det skal se ud og Sådan nogle ting og så har du meget
- 8:50Sådan. Blanding imellem Sådan
- 8:53traditionelt billede, redigering og og noget ære, så kan vi
- 8:55ligesom få det ind i din måde. Du arbejder på på samme måde, så
- 8:58tænker jeg også det video det må blive blive noget i den form.
- 9:02Ikke fordi hvis det bare er er prompt prompt og lave 1, 1 1 1
- 9:09minuts video ud fra en tekst altså du ved Det er jo ikke Det
- 9:14er jo ikke Sådan the final application vi ser når vi laver
- 9:17det altså Det er jo Det er jo slet ikke det som er slut på når
- 9:21Sådan en. I en model der Det er simpelthen
- 9:23for for mærkeligt, hvis Det var så der kommer jo selvfølgelig på
- 9:28sigt et eller andet ud af det, som er meget mere brugbart end
- 9:32det vi ser lige nu. Ja og så skal vi lige sige, at.
- 9:37Jeg har arbejdet på en GBTI dag, som jeg kalder for podcast host,
- 9:41sommerrejser og der har jeg taget de her artikler blandt
- 9:44andet technical paper til zara og lavede showet altså Vores
- 9:49noter til at lave den her podcast ud af og der har Jonas
- 9:52har allerede fundet den 1 hallucination i jama sunrise,
- 9:56Asien, som Vi skal snakke om her senere.
- 9:59Så Det er bare lige disclaimer, hvis Der er nogen der opdager
- 10:02nogle hallucinationer. Nogle fake news som vi.
- 10:05Formidler videre så. Det er 19.
- 10:08Det er det du siger Kasper. Det Vi er vant til at Det var
- 10:13bare i huske. Præcist så hvad hedder det?
- 10:16Men bare lige Sådan for at komme lidt ind på sorø, fordi de
- 10:18fortæller jo faktisk lidt mere end de plejer i den her.
- 10:22Det her paper synes jeg eller det her technical.
- 10:26Rapport som de har udgivet sammen med sora, og det ser ud
- 10:29som om de bruger. De siger, at zara and diffusion
- 10:32model, men den er en diffusion transformer.
- 10:38Og det jeg må indrømme. Jeg er ikke særlig meget inde i
- 10:40det fusion modeller, selvom at jeg ved bare Sådan at diffusion
- 10:43modeller Det er Sådan nogle modeller som.
- 10:46Er rigtig meget brugt indenfor. Ja selvfølgelig nogle diffusion
- 10:50tekst image bare Sådan hele tekst til billede af video
- 10:54verdenen, men der står at Det er en diffusion transformer.
- 11:00Og det aner jeg sgu ikke være, men det ved jeg.
- 11:03Men interessant at de alle er interessante er lidt åbne i
- 11:06hvert fald omkring. Men Der er jo k der del i det
- 11:10der de fusion ikke. Det er jo en form for decoding
- 11:13og transformere har jo oprinde. Et jo også den her DK du hvis
- 11:19man apropos vi fik nogle rigtig fine gennemgange sidst af af af
- 11:23dansetrup sidste episode, så hvis man gerne vil høre det, så
- 11:27kan man få en god forklaring på en masse forskellige typer af
- 11:30arkitektur, men aways så den her.
- 11:34DK der og transformeren sammen altså Jeg har lidt.
- 11:37Jeg har også svært ved at forstå Det er det så.
- 11:39Er det Sådan en blanding af en coder delen på transformeren?
- 11:42Eller fordi jeg, Jeg har svært ved at se, at den kan ligesom.
- 11:45Skal den die kode med en diffusion transformers?
- 11:48Jeg forstår det ikke. Nej, Jeg tror det altså nu, Det
- 11:53er jeg ikke sikker på det rigtige Det kan være.
- 11:54Det er fake news. Det kan være det 100% der
- 11:56hallucinerer, men tror måske Det er noget med at de bruger
- 12:00transformere til at patche videoerne i.
- 12:04Et eller andet, og så laver dem om til Sådan et latent space.
- 12:06Og så laver jeg jeg prøver jeg ved det ikke.
- 12:09Jeg ved det ikke, det skal vi det, det det, det skal vi lige
- 12:11prøve at se. Så det dykker lidt længere ned
- 12:14i. 1000 dage model, så Det er måske i virkeligheden 2
- 12:16modeller. Ja måske 100.
- 12:20Men bare lige hurtigt, inden vi afslutter den her.
- 12:22Og så synes jeg nemlig Der er nogle en interessant.
- 12:24Hvad skal man sige pointe? De har her til sidst i paperet
- 12:27eller det tekniske rapport, og Det er at at de ligesom de op
- 12:33altså man kan sige de her. Tekst til video modeller har
- 12:38nogle problemer, og Det er jo det du refererer til for her.
- 12:41Ja bare et år for et år siden så man hvordan hvor dårlig nogle af
- 12:45dem bare og nogle af de Sådan helt konkrete ting der kan være
- 12:48af problemer med Det er Sådan noget med at altså bare Sådan en
- 12:51temporal consistency altså at det ene frame er hænger sammen
- 12:57med det andet. Og Det er ikke Sådan altså den
- 13:00der det der med at holde den røde tråd i tidsdimensionen i de
- 13:04her videoer kan de have et problem med de her modeller.
- 13:08Så er der også Sådan noget med altså Sådan noget. 3 d
- 13:10consistency Sådan noget beholder deres form og deres Sådan
- 13:13realistiske form, når man ligesom når kameraet drejer sig
- 13:16for eksempel. Og så er der, kan der være Sådan
- 13:19noget med de altså fysiske fysiske love, altså Sådan noget
- 13:24med at ja, Der er nogle fysiske love som kan være hvis hvis ikke
- 13:28et video ligesom overholder dem, så kan det være Sådan
- 13:31utroværdigt kan man sige, og Det er jo Sådan en af de her.
- 13:34Måder man kan identificere på blandt andet om Det er også et
- 13:37problem i hvert fald. Og så er der Sådan noget med
- 13:39state altså objekters state, for eksempel hvis en person har
- 13:44spist et æble, så det her med, at den skal holde styr på, at
- 13:48æblet bliver mindre eller bliver spist af gradvist eller en en
- 13:52maler, der maler på et lærred, at den ligesom skal holde styr
- 13:55på at. At hvad hedder det?
- 13:57Der kommer altså at maleriets stat ændrer sig over tid.
- 14:02Det kan Det kan de have problemer med de her modeller,
- 14:05og der lægger de mærke til, at det ligesom der opstår Sådan
- 14:09nogle emergent abilities eller capabilities med de her modeller
- 14:12i takt med at man skal lære dem, hvor de her nogle af de her ting
- 14:16bliver fikset, kan man sige og og det?
- 14:21Det er i virkeligheden det, vi også har set med Lars Louis
- 14:23modeling. At hvis man der sker nogle ting,
- 14:25når man bare skærer op i størrelse, ikke?
- 14:29Så sjovt at de har taget samme strategi ikke?
- 14:33Og så har de lige sagt det der sprogområdet det løste vi.
- 14:37Vi skal bare op. Vi ved du hvad de de fumler
- 14:41rundt i det der billedområde der nu tager vi eddermame bare og
- 14:44smider alt den computer Vi har fra Microsoft efter det igen
- 14:48igen igen igen. Ja sort problem så videre, så
- 14:53har de en stor dyr clunky model. Det er som de ikke har lyst til
- 14:56at release til brug fordi Det er alt fra computer tungt og Sådan
- 14:59nogle ting, ikke? Så det, men det de ser i hvert
- 15:02fald er, at de her problemer nogle af de her problemer de
- 15:05siger, Det er ikke perfekt, men nogle af de her problemer bliver
- 15:06altså bedre, når man skal lære op, så de er ret overbeviste om,
- 15:10at man kan gøre det her bedre ved at skære endnu mere op.
- 15:13Og det synes jeg jo det minder jo lidt om dengang man var på p
- 15:17et eller p 2 ikke hvor man ligesom Sådan sagde hey Der er
- 15:20noget her skal vi ikke bare fyre op.
- 15:24Men altså Vi har jo for lige nu kan jeg ikke være med lige nu.
- 15:28Kompetence om det Der er kommet papir ud for noget, tror jeg Det
- 15:31er for noget tid siden. Men men det her, den her jabba
- 15:34og arkitektur som jarniqa og meta er jo lidt står for altså
- 15:37det her joint. Ja, john the betting diction
- 15:41architecture tror jeg det hedder, hvor man ligesom bygger
- 15:45modellerne til at at ligesom præsentere en en betting, altså
- 15:50en feature på i stedet for ligesom at præstere et outcome
- 15:55og så bruger man ligesom så det skal du ligesom lave noget
- 15:58downstream med det her, og Det kan du så få få til at virke på.
- 16:00Rigtig mange tasks, inklusive at lave Sådan noget.
- 16:03Det har de praktisk prøvet på det i et papir der hedder v
- 16:07Japan som er Sådan videopad ikke hvor de gør det.
- 16:10Hvor de gør det på det, og så bruger de sig til at disco de
- 16:13her de her video video ting så de kan lave Sådan en en ret
- 16:19fornuftig og løse nogle af de samme problemer som du nævner
- 16:21der jo med som openai siger at de har svært ved det her state
- 16:26og fysikken og det, men de har også svært ved ligesom at.
- 16:31At tage for eksempel, at lad os nu sige en bil, der kører ned ad
- 16:35vejen, at den kan, ligesom der kan ske mange ting nede af den
- 16:39her vej her, ikke der der? Der er mange hændelser, mange
- 16:42mulige hændelser i det der udfaldsrum.
- 16:44Det, Det kan bare være den også bare fortsætter ned ad vejen,
- 16:47men Det kan også være der sker noget uventet og den der form
- 16:50for atkunne de koge det i forskellige retninger.
- 16:52Det har de også lidt svært med, og det løser den her Japan
- 16:55arkitektur også. Og Det har noget at gøre med,
- 16:58hvordan man træner og Sådan nogle ting.
- 17:00Det er meget interessant paper jeg faktisk læste, læste ikke.
- 17:04Jeg lyttede til den anden dag. Jeg har Sådan en.
- 17:06Til dem der ikke kender det så er der Sådan en archive kanal
- 17:10hvor man kan lytte til papers. Det bliver selvfølgelig stoppet
- 17:13noget af den er meget god. Den er det en youtube kanal.
- 17:17Nå endnu et. Det var lige en throughout der
- 17:20at der findes jo andre løsninger end bare lidt skyet monsters
- 17:24computer. Der findes måske.
- 17:27Ved at nævne. Mega fedt jamen så sara kæmpe
- 17:33hype fra kæmpe hype maskine fra du lige får det ved vi det giver
- 17:38op til 4 niveauer Vi er oppe i her i forhold til hype i hvert
- 17:41fald man kigger på hacker news den er fandeme deropad med
- 17:43hensyn til upvotes det andet så ja folk er helt på røven over
- 17:48det. Super hit igen.
- 17:51Det er det der igen. Nå skal vi gå videre til til til
- 17:54Google. De har jo også de har jo også
- 17:57noget de gerne vil ud med. Her kan du måske.
- 18:01Jamen Jeppe. Open source nå videre til næste
- 18:07de. Også er noget taletid.
- 18:08Lad os lad os lige dykke ned i det.
- 18:09Jeg synes jo Det er. Jeg synes jo Det er rigtig fedt
- 18:13at Google er jeg der var nogen på LinkedIn der skrev Sådan et.
- 18:17Yes mand Googles back. Jeg tror Det var hocking face
- 18:20Counter en af dem en af de mange.
- 18:25Google er tilbage de open source så yes vi kører derud af og det
- 18:29bliver spurgt om igen, og det bliver stort og Sådan noget.
- 18:32Ja jeg fik det også lidt et kort øjeblik Sådan altså tænker jeg,
- 18:37men nu kommer der bare super mange fine tunings lige om lidt
- 18:40og Jeg har stadigvæk. Altså Det er jo lige Det er helt
- 18:43nyt og der skal nok komme, men lad os lige lad os nu se hvad
- 18:47der sker i det der fintuning space nå men til sagen hvad er
- 18:51det Der er sket? For nu snakker jeg jo allerede
- 18:53om hvad Det er der kommer til at ske efter det her.
- 18:55De har selvfølgelig en releaset nogle open source modeller 7
- 18:59milliarder og 2 milliarder parametre modeller i sædet er
- 19:02det her small lege. Language, bottle space.
- 19:06Og. De kan selvfølgelig køre på din
- 19:09laptop, og alt er godt og så er det jo baseret på den her samme
- 19:13arkitektur og teknologi som som Jimmy og Jimmi pro pro af alle
- 19:18de der forståelige navne de har til deres modeller de er lavet
- 19:22på og noget andet Der er rigtig fedt.
- 19:25I det her synes jeg Det er at det ikke bare du ved Sådan at de
- 19:30lige nå her er nogle model vægte.
- 19:32Ja, og hvis du kan få det til at køre, så er det sikkert fint.
- 19:35Google er jo lidt Sådan lidt mere kendt for også at være
- 19:37struktureret med det der. De de de tænker faktisk på,
- 19:40hvordan kan vi få maksimum impact med libraries og
- 19:45frameworks og få det passet ind i pit touch og caras 3?
- 19:48Og de skriver at de det virker bare over det hele, og Vi har
- 19:51også en CP engine til det og det ene og det andet det Det er jo
- 19:56noget vi godt kan lide Sådan noget der ikke hold da op, hvor
- 19:58er det bare serveret det hele på et sølvfad for os ikke og det
- 20:01gør jo at at udvikleren de simpelthen bare tager kommer til
- 20:03at tage det der til sig ret hurtigt, for de bliver nemt for
- 20:05dem at sætte op og køre. Og.
- 20:07Det. Jeg kiggede lidt over til de har
- 20:09kigget lidt over til lama face eller metas lama og så har de
- 20:13tænkt. Så har de været lidt
- 20:14misundelige. De ting Sådan så de.
- 20:16Gode ekstra not job ikke altså fordi de har gjort det endnu
- 20:20nemmere end dilemma kommer ud, vil jeg sige ikke synes jeg det
- 20:23virker Sådan, men nu må vi jo selvfølgelig se.
- 20:26Jeg synes også. Hvad hedder det?
- 20:29Vi havde jo en podcast episode her for for i nummer 41 babos
- 20:34podcast nummer 41, hvor vi snakkede om at hocking face gik
- 20:37et en gik i et samarbejde med Google cloud.
- 20:40Og ja, og det tænker jeg, at Det har måske været en del af
- 20:44planlægningen til det her, fordi at når man går ind på gemma og
- 20:48kigger, så kan man se altså. Ja, lad mig sige den her.
- 20:51Den er nok en af de mest kommercielle open source
- 20:55releases Google har lavet. Fordi når man går ind på jimma,
- 21:00så er der meget stor Sådan hey og du kan få resten også lige
- 21:03deployment på Google cloud her og Der er support for at i
- 21:06hockings fase og de har virkelig bare linet det hele op og de har
- 21:09også kigget over på den her lama Der er CP som er blevet åbnet
- 21:13altså udviklet open source til som er ligesom en en effektiv
- 21:17inference engine IC plus plus til lamellerne.
- 21:21Den har de på forhånd udviklet internt i Google til de her
- 21:25jamen modeller og så har de bare chippet den på samme tid med med
- 21:29med de her open source modeller. Så de har jo bare virkelig Sådan
- 21:34kigget ud, og jeg mener også alarma de kan supportere det
- 21:37sikkert også allerede så ved de. Ikke endnu, gør de det?
- 21:41Det tror jeg de gør, men jeg ved ikke, om de har gjort det Sådan
- 21:43på forhånd, eller om de bare har sørget for, at han har været
- 21:46plugin play. Ja, men de har i hvert fald de
- 21:49har linet. Den helt store kanoner op til
- 21:53det her. Det er helt sikkert, og så er de
- 21:56jo altså man kan sige de de er jo state of the art, siger de
- 22:01inden for deres. Model klasse størrelse ikke
- 22:04Sådan fuldstændig mindblowing state of the art men Sådan en
- 22:07lille smule ikke, og de har måske trænet lidt længere end de
- 22:09andre eller et eller andet så har de tracket performance på de
- 22:11forskellige evaluerings datasæt og så når den er kommet op over
- 22:15et vist niveau, så har de ligesom stoppet træningen og så
- 22:17har de sagt, så er det ud med dem ikke?
- 22:21Og noget jeg ligger mærke. Til sex, sex trillian.
- 22:26Trillian tokens. Det var 2 2 hos meta ikke.
- 22:30Jo ja selvfølgelig bare vende legemer 3 dropper lige om lidt
- 22:34og så kommer vi til 5 og så skulle hele ind på den men
- 22:37hedder det en ting jeg lægger mærke til hos Jimmy.
- 22:40Det er at de er Sådan meget de meget eksplicitte omkring at
- 22:43den. Altså at kun trænede på på
- 22:46engelsk, så er der selvfølgelig altid noget der lige slipper
- 22:48igennem noget. Måske noget dansk hvis man er
- 22:51heldig. Men altså den er hovedsageligt
- 22:54trænet på engelsk, og det synes jeg også Der er nogle nogle
- 22:58skandaler folk der har snakket lidt om at den er utrolig sløv
- 23:02på dansk. Altså hvis den kun er trænet på
- 23:04engelsk, så er der jo kun været noget dansk fordi deres deres
- 23:08præg filtrering af data har formået at fjerne det.
- 23:11Og Det er jo selvfølgelig ikke nok til at interessant på dansk.
- 23:16Men Det er der sørme ikke så mange ting der, men det nu
- 23:19vender vi lige lidt tilbage til det senere.
- 23:21Vi har jo lidt luft ud, og Vi skal snakke igen om Vores danske
- 23:24træer. Men ja.
- 23:28Så ikke så meget mere nyt under solen, vil jeg sige.
- 23:32Ja og så jo man kan måske snakke lidt bare lige hurtigt snakke
- 23:35lidt om det der med at Google de har Sådan.
- 23:37Og så skulle de have lidt kluntet med hensyn til hele det
- 23:39her release, ting og marketing og hov, så var der en fejl og så
- 23:45så er det Sådan lidt for marketings agtigt og de har også
- 23:49lavet den her. De har lavet den her Jimmy 1,5
- 23:50den her chatbot Jeg tror den har jeg mit vand, hvor man kan
- 23:54generere billeder jeg om du har fulgt med i det.
- 23:57Der. Den er ultrabook altså du.
- 24:01Du kan nærmest ikke generere et billede af en hvid mand, altså
- 24:04Det er Sådan Det er nærmest umuligt.
- 24:07Og hvis man spørger lav et billede af George Washington, så
- 24:10får man så var. Til George Washington enten sort
- 24:13eller hvad hedder det asiat? Altså Sådan asiatisk hele du ved
- 24:17nej. Lige før at at altså jamen, jeg
- 24:22ved slet ikke hvad jeg skal sige altså, men men resten af
- 24:25menneskeheden må kigge på det der på et eller andet tidspunkt
- 24:27og tænke. Hvad har de gang i?
- 24:30Altså det word. Den er skruet helt op den der
- 24:34bog knap og de og det tror jeg også de selv er enige, at Det er
- 24:38for meget ikke? Altså.
- 24:41Ja. Altså så er det jo igen det der
- 24:42med. Nå okay undskyld.
- 24:45Det var lige lidt for meget. Vi skruer lidt ned ej undskyld,
- 24:47Det var lige lidt for lidt eller når de herovre de syntes Det var
- 24:50for meget når de her de synes Det var for lidt.
- 24:52Lad nu være at gå ind i den der politiske diskussion med noget
- 24:56et stykke teknologi, altså Det er jo lidt ligesom at sige at
- 25:00mercedesen den er sgu lidt for rund bagtil det, det går ikke
- 25:03altså så den den den skal se anderledes ud ikke altså fordi
- 25:08de ligner. I virkeligheden tror jeg så
- 25:12åbner. Jeg har de foran på det her
- 25:14også. Ikke fordi de har været der.
- 25:16De har allerede du ved haft det ude og fået feedback.
- 25:20Og Jeg tror de ville. Ja det ved jeg ikke, men det det
- 25:25den den er i hvert fald de den er.
- 25:27Der er godt med vogue som og de lægger mærke også på.
- 25:30De lægger virkelig også vægt på at den er fucking safe den her
- 25:33model, og de har angivet hvor meget co 2 udledningen Det har
- 25:38krævet at træne den og du ved de har.
- 25:41De er så politiske politisk korrekte at som de overhovedet
- 25:44kan være, tror jeg på det her så.
- 25:47Ja så så. Det er jo også fint ja.
- 25:52Godt. Så er vi videre, er det Det har
- 25:56vi. Mere.
- 25:58Jimmy kimmel, Jimmy, må vi hellere sige ikke jimmie.
- 26:02Ja, jeg tænker at den er fin der så har jeg.
- 26:04Hvad hedder det skidt? Der er jo også noget med stable
- 26:08diffusion 3 der blev releaset af stability AR.
- 26:12Ja. Ja og Det er jo en.
- 26:16Okay jeg prøver. Jeg siger noget om det.
- 26:19Det Jeg tror var det ikke Det var mig der sagde Sådan.
- 26:23Vi snakker kun om sprog modeller Vi er nødt til at have noget
- 26:26mere og om det der hvad der sker derude fordi der sker jo rigtig
- 26:29meget på. På billeder og video nu er jeg
- 26:32sørger selvfølgelig også en video ting ikke, men så snakker
- 26:34vi kun om det fordi Det er åbne jeg da de kommer med, så vi må
- 26:37sgu lige følge med der og stable fusion er.
- 26:40Det er jo også det bevæger sig jo godt derud af og de Det er så
- 26:43en træer i den her model her. Og Det er image til dem, der
- 26:48ikke ved. Det Det er tekst 2 image lidt
- 26:51som vi kender det fra. Ja Der er lige.
- 26:57Mit journey og Sådan noget. Her som kender det.
- 27:03Nå men men. Man kan få ol exit det preview
- 27:09Det er i og. Jeg ved egentlig ikke, altså.
- 27:14Ja, Det er Sådan noget med at de siger den er ligesom bare bedre.
- 27:18Den er så bedre til tekst den er bedre til altså fordi der har
- 27:21været der problem med tidligere at de når du sagde lave et skilt
- 27:26en flok demonstranter der har skrevet alle mulige sjove ting
- 27:29på de her skilte, ikke også til til en eller anden demonstration
- 27:33og Sådan. Det kunne jo slet ikke finde ud
- 27:35af Det var bare volapyk der stod på de der skilte der.
- 27:39Og især fordi Der er mange skilte, altså det.
- 27:41Det er faktisk ikke et Det er rigtigt eksempel.
- 27:44Det der med at hvis du beder, hvis du lige pludselig har en
- 27:46flok med en masse skilte, hvor der står noget noget som hvad
- 27:50skal være altså Sådan kontekst mæssigt sammenhængende ikke på
- 27:53med alle de der skilte og Sådan noget.
- 27:55Det kan jeg da slet ikke finde ud af, vel det?
- 27:57Det er alt for avanceret, så den skriver altid noget volapyk og
- 28:02det gør jeg der lige jo også og det Det er et kæmpe problem.
- 28:05Det står altid noget volapyk i det siger de jo så det Det har
- 28:09de. Det er jo ikke løst det, men Det
- 28:11er blevet bedre til det, og jeg ved ikke, hvor meget bedre bedre
- 28:14er, at der jo ikke rigtig noget der.
- 28:17Det skriver de ikke noget om, og det der ved ikke hvordan man
- 28:19benchmarker det der hedder. Gad vide hvordan benchmarker man
- 28:22det ikke har man Sådan nogle jamen.
- 28:24Det er et godt spørgsmål, er på det og se om det overhovedet er
- 28:26meningsfuldt tekst der kommer ud.
- 28:29Altså man kan sige Der er jo de der kendte man kan sige Der er
- 28:31jo de der kendte problemer med det, ikke hvor Det er Sådan
- 28:33noget. Jamen Det er fingrene er ikke
- 28:34særlig gode og Der er den han har 3 øjne eller.
- 28:40Hvad hedder det det her? Især det her med.
- 28:43Jeg mener også han Sådan lige linjer generelt er et problem
- 28:46for de her modeller og Sådan noget som bogstaver og tekst og
- 28:49så videre. Ikke hvordan?
- 28:51Hvordan man måler det jeg tænker Det er en meget god godt bud det
- 28:54der med ligesom at ved at prøve at generere noget tekst og så
- 28:58lave TR på det og så se om det giver mening, men hvordan skal
- 29:01man også måle det ikke? Ja Det er også Sådan.
- 29:04Det er til dem der ikke lige kan huske hvad eller ved hvad Det
- 29:08er, så det objekt character recognition altså hvor du bare
- 29:12har en model der ligesom finder ud af om Der er nogle karakterer
- 29:14et sted, så så spotter den det og så kan man hive det ud og og
- 29:20Det er jo faktisk en ret velkendt.
- 29:23God gammel traver med. Han red en digits datasæt, og
- 29:29jeg ved ikke hvad jeg skal komme efter det som de fleste der har
- 29:32lavet Sådan noget i praksis har har prøvet at rode med en gang
- 29:34ikke og og derfor så er det jo faktisk.
- 29:38Ret nemt at køre på Sådan et billede og få og forhåbentlig få
- 29:41noget ud af det. De skriver også.
- 29:43At, det forestiller mig, at det kunne man bruge.
- 29:46Det jo også at den er den er bedre til at håndtere multi
- 29:49subject prompts, altså prompt som ligesom instruerer dem i at
- 29:55lave forskellige. Ting altså ja så det.
- 30:00Betyder det, er det også svært problem altså det der med.
- 30:05Multi subject altså Det er flere personer eller er det?
- 30:08Bare det tror jeg, men i hvert fald det i hvert fald som om Der
- 30:11er nogle kendte problemer, som ligesom prøver at løse ikke som
- 30:14superbruger er nok også ligesom ville have.
- 30:17Tekniske problemer vi ikke rigtig kender til de unge, fordi
- 30:21Vi er så billedet af analfabetiske her fuldstændig.
- 30:24Overtage de 2 de 2 r eksperter der sidder her og kloger sig.
- 30:29Jeg kan i øvrigt også se på Vores Vores gt 4 som her.
- 30:34Muligvis er det hallucinationer, jeg tager chancen, men.
- 30:39Der står, at de kombinerer diffusion, transformere og
- 30:42arkitektur. The flow matching.
- 30:44Og så står der en detail, altså Der er en detaljeret technical
- 30:48report der der kommer op her snart, men Jeg synes om den her.
- 30:52De her diffusion transformer architectures de er.
- 30:55Lige finde ud af hvad er? Ja Det er noget nyt.
- 30:58Det er noget nyt i forhold til fordi Jeg har Jeg har sidst jeg
- 31:01var meget nede i det her. Der har jeg kun hørt om
- 31:02diffusion models, men nu kører de diffusion transformer models.
- 31:06Det må vi lige finde ud af hvad og så det her flow.
- 31:09Flow hvad fanden kan dit flow matching?
- 31:12Det ved jeg også vildt. Ja Der er mange fancy råd vi
- 31:17ikke kender inden for det der område, der så vi vi.
- 31:20Vi havde jo den gode Nikolaj som ved en del meget mere for ikke
- 31:23at sige alt mere, end vi gør på det der område med i podcasten
- 31:28en gang. For ligesom at give os et
- 31:30overblik, og vi savner måske lige et revision af det der
- 31:33område og nogen der ved noget. Men Det er faktisk sjovt fordi
- 31:36Jeg har sgu ikke rigtig mødt nogen der bare er fucking
- 31:39eksperter på definition modeller selv den selv dens søtrup.
- 31:43Jeg kan sige at jeg snakkede med ham i hvert fald.
- 31:46Hvilket ikke er særlig længe siden.
- 31:48Altså du ved. Det er der ikke.
- 31:50Der er ikke så mange der roder med det, som Der er med, i hvert
- 31:54fald ikke i min omgangskreds, så.
- 31:57Men Det er også lidt sjove tekster, ligesom Det er big air
- 32:00problem. Ikke fordi Det er noget med Der
- 32:02er noget med noget menneskelig forståelse ved ved det der med
- 32:05tekst og Sådan det bliver. Men alligevel så har man jo den
- 32:09der diskussion omkring at som jeg kun siger hele tiden, men
- 32:12hvis Vi skal have aids, jeg og en baby ej der skal vokse og
- 32:17blive klog, så er det jo billede af data.
- 32:21Der er langt det det, vi mennesker er mest eksponerede
- 32:25for i Vores Vores opvækst, så Det er mærkeligt, at Vi har så
- 32:28meget fokus på teksten, ikke? Men mon ikke Det er fordi at den
- 32:32Sådan den menneskelige intelligens.
- 32:33Det er der ligesom den den type intelligens, der adskiller
- 32:37mennesker fra andre dyr. Den ligger ret meget i sproget
- 32:41altså Sådan nærmest. Det er jo selvfølgelig en stor
- 32:45filosofisk diskussion det her, men men det virker som om, at
- 32:49Der er mange der ligesom. Det Der er et eller andet der
- 32:53der, men altså siger mig at rigtig meget 90 95 99% af den
- 32:58menneskelige. Den specifikke menneskelige
- 32:59intelligens ligger i sproget og og Det er det, som lars
- 33:05landbrugsmodels håndterer. Og Det er også noget andet, Der
- 33:08er interessant. Ikke fordi nu står der her, at
- 33:10de her de her nye modeller stable fusion 3 releases, der
- 33:15releaser de modeller som rækker sig fra 800 millioner parametre
- 33:18til 8 milliarder parametre. Og Det er jo altså det vil sige
- 33:22den maksimale størrelse stable de mindste nogle af de mindste
- 33:27eller laver som som ligesom kører ikke hvor at de de rigtig
- 33:32gode elever de er altså. Gange 10.
- 33:37Og mere endda end det ikke så der har lavet Sådan.
- 33:42Jeg tror også Der er noget med den der disco der til til hvad
- 33:46kan man sige til billederne? Den er den er ret tung, altså
- 33:49sammenlignet med en en DK ting til til til tekst.
- 33:54Mit indtryk, og Det kan være jeg tager fejl men men men så giver
- 34:00det jo også mening, at hvis man trykker for hårdt på parametre.
- 34:04Af antallet så får man lige pludselig en en kvadratisk.
- 34:08Hvad kan man sige? Tidskompleksitet på sit der, der
- 34:12virkelig slår ind. Ikke altså tænker jeg bare hvis
- 34:15Det er det, hvis Det er det, der også gør sig gældende i de der
- 34:17de cooder algoritmer, hvilket jeg heller ikke ved noget om.
- 34:21Men hvis nu Det var, hvis nu, hvis og hvis, så måske er det
- 34:25derfor, men kan kan åbne jeg så bare med den der såre der så går
- 34:28de bare ind og banker det der computer og så alligevel så får
- 34:31de noget ud af det. Og hvor lang tid tager det og
- 34:33hvor meget computer tager det at generere Sådan 1 1 1 minut af en
- 34:36video der? Det kunne jeg godt tænke mig at
- 34:38vide. Det lyder sundt.
- 34:39Det må være crazy. Computer.
- 34:42Det må være noget med altså. Altså Jeg har hørt at maden
- 34:47transformere forstår billeder på Det er at man ligesom inddeler
- 34:51man tager et billede, så har man Sådan en patches man patcher ud
- 34:54af billedet og så har man 1 1 1 1 neuralt netværk som ligesom
- 34:58tager de her patches og laver dem om til token
- 35:01repræsentationer og de her token repræsentationer bliver banket
- 35:04ind i en transformer, og så forstår den ligesom det ikke.
- 35:08Er første step Det er altså ret sikker på, at Det er så
- 35:11generelt, at Det er det man gør II billedverden på et stort set
- 35:14alle modeller. Hvis du har stadig den der
- 35:16sekvens. Tanke og tunge tanke på den måde
- 35:19og sige det sjovt jeg nævnte før.
- 35:23Ja altså på den måde ser du også et billede som en en sekvens
- 35:27ligesom du ser tekst nu. Nu er det billede nonne der
- 35:31snakker her, så hvis Der er nogen der ved noget som er de
- 35:32hellige til nu jammer vi bare ikke.
- 35:34Men men hvad hedder det så du ser altså selve billedet som en
- 35:37sekvens, men du ser også at den sekvens.
- 35:41Som en sekvens af sekvenser, fordi Det er jo ligesom flere
- 35:45billeder i streg der ligesom er, og det virkede som om at
- 35:48abonnerer. Nu går vi tilbage til sara eller
- 35:49men Sådan det virker som om, at folk ligesom at få den der røde
- 35:53tråd i tekst til 2 video domænet der skal man ligesom embedde det
- 35:58hele ind i både altså hele den temporale dimension sekvens
- 36:02dimensioner også ikke altså du har ligesom du kan være du kan
- 36:05skabe konsistente på tværs af. Billedet, men også billederne,
- 36:10der kommer efter hinanden. Ikke Det er Sådan.
- 36:12Attention for sekvenser af sekvenser, ikke?
- 36:16Jo Jeg har jo bare nej, men Det er altså Det er rigtigt nok.
- 36:20Det tror jeg virkelig Det er rigtigt nok tror jeg så
- 36:25overbevisende. Men Sådan som jeg læser det, når
- 36:29altså den der nu vender jeg tilbage til den der VJ post
- 36:32fordi den har jeg lige for nylig har haft på nethinden ikke?
- 36:34Altså Det er der hvor problemet også opstår, altså at man har jo
- 36:38i tekst verden et ret klart. Sådan token prediction space
- 36:43ikke altså hvor du ligesom bliver det.
- 36:46Jeg har den her håndfulde toppen som som.
- 36:48Som alligevel. Jeg ved godt Det er mange, mange
- 36:501000 forskellige tabes, men Det er alligevel i forhold til
- 36:53hvordan din pixel skal kan se ud af kombinationer af pixels, der
- 36:56kan komme på den næste frame. Jeg siger bare Jeg tror altså
- 37:00stadigvæk at Det er rim. Det er meget færre kombinationer
- 37:03af tokens. Fordi Det er jo et tab du skal
- 37:07putte digte ikke og Det er jo du skal ikke et dække en
- 37:09kombination af mange tabene tager jo et af gangen, så Sådan
- 37:13er det netop ikke. Altså i billederne der Der er
- 37:15kompleksiteten af hvordan det data kan sættes sammen sig ret
- 37:18meget større ikke også så på en eller anden måde så.
- 37:21Ja så så tror jeg at Der er. Der er både noget computer i det
- 37:24der Der er tungere, men også men også selve problemet i at det
- 37:29ikke bare bliver. Fik det næste rigtige?
- 37:34Den næste rigtige pixel altså Det kan man jo ikke.
- 37:36Det er jo Sådan lidt når det bliver for.
- 37:39De bliver for word. Man kommer hurtigt ned ad nogle
- 37:42veje hvor de der billeder ikke er som de skal være og tænker
- 37:45jeg bare ikke så så man skal på en eller anden måde virkelig kun
- 37:48fine det der space til at hele tiden at hele tiden at justere
- 37:52og styre sig i den rigtige retning.
- 37:53For ellers så får du de der. Fingre der lige pludselig og
- 37:57Sådan noget der ikke det. Det må være crazy svært at
- 38:00modellere det der altså det. Ikke tage den af, for for deres
- 38:04arbejde. Ja det og Det er også et eller
- 38:07andet. Jeg ved ikke Der er et eller
- 38:08andet intuitivt for mig, der knækker ved at.
- 38:12De gode hvad skal man sige? De gode image til text 2 image
- 38:17modeller. Har langt færre parametre end de
- 38:21eller de bedste image modeller virker det til har langt færre
- 38:25parametre end de bedste. Sprog models LM har parametre på
- 38:31en eller anden måde, fordi at billedet data er mere rigt og
- 38:36Der er flere detaljer og så videre og så videre.
- 38:38Så skulle man tro at at at det krævede flere parametre at.
- 38:42Komme frem til et andet resultat, som var nogenlunde
- 38:44brugbart, ikke? Hvor, hvorfor er det så?
- 38:49Hvorfor er det så parameter tungt at modellere sprog og ikke
- 38:53til 1 1 rigtig høj kvalitet og ikke det samme billeder?
- 38:57Det det. Tror du ikke også at altså fordi
- 39:01at Jeg tror du ikke at hvad kan man sige at når vi kommer ud i
- 39:04video verden ikke? Altså Vi skal have frames for
- 39:06mange frames vi kan få. Det er lidt ligesom når du skal
- 39:08skrive historien og du din kontekst bliver større og større
- 39:13i den historie ikke? Og du skal ikke ud af en tangent
- 39:15og miste tråden og Sådan noget. Det er jo også det, Der er
- 39:17blevet løst ved ved de store sprog modeller og mange.
- 39:21Mange milliarder parametre, så måske er det også bare det åbner
- 39:25jeg gør nu og siger jamen for ligesom at løse det der video
- 39:29kunne generere det, så har vi også det der.
- 39:31At at der skal være en eller anden form for kontekst.
- 39:33Forståelse for for den næste frame.
- 39:36Du må ikke miste hvad Det var der hvor Det var du kom fra.
- 39:38Altså Det er jo det transformeren jo accelererer
- 39:41accelererer i hedder det accelererer.
- 39:43Det er ikke noget der hedder. Og og og Det kan man jo godt
- 39:48sige. Jamen så tag dog den hammer og
- 39:50smide den efter problemet og så bare fyre op for PU ikke også og
- 39:54så har vi løst det. Men men så Jeg kan sgu ikke.
- 39:57Jeg kan ikke lade være med at grine lidt af at de kommer med
- 39:59det der så hvad sagde vi? Vi kører bare for det der igen
- 40:04det det Det er fantastisk altså, men jeg ved ikke om Jeg synes at
- 40:07Det er løst ved at man bare banker derudaf på det der.
- 40:10Computer nej, men på en eller anden måde, så synes jeg at Det
- 40:13er Det er lidt åbning i claim 2 fame altså uden at kende når man
- 40:18på en eller anden måde så synes jeg det der med de de var.
- 40:20De var de eneste der ligesom. Ligesom gik efter den der.
- 40:26Nu prøver vi sgu bare at skalere op, fordi det bliver bedre og
- 40:28bedre, og vi bliver nødt til at finde ud af, hvor det stopper
- 40:30det her ikke, og hvor der var mange der var Sådan.
- 40:32Nå men Det er ikke rigtig research og Det er jo bare Sådan
- 40:35ikke. Men altså.
- 40:38Ja. Ja, hvis du mangler en masse en
- 40:41dollarsedler og så fyre lortet af med en selv.
- 40:46Godt nå lad os komme videre. Vi skal videre til l nu, ikke
- 40:50fordi at den den er faktisk fresh in her når vi så optager
- 40:54den 26. i anden fordi at det Det er Det er mistral.
- 40:57Det er dejlige europæiske ã r lab.
- 41:02Lidt svarende til antropiske og openai og og så videre, som er
- 41:06udkommet med. De har jo haft en historik med
- 41:09at udgive blandt andet den her administrative 7 b, som var ham
- 41:13som har været en rigtig god 7 b model.
- 41:15De har også udgivet mistral ind i de Sådan rigtig gode open
- 41:19source mixture of experts modeller, så har de på noget tid
- 41:24haft 1 1 1 mistral medium API, men nu er de altså kommet med et
- 41:28et nyt EPI. Til den model der hedder mistral
- 41:33large og de siger selv de siger selv at den den skulle
- 41:39simpelthen. Den er lige i røven på p 4 og
- 41:43skulle være den anden bedste. Lars lange, model.
- 41:48Man ligesom kan. Få fingrene i igennem en PI og
- 41:52igennem alle mulige andre steder, så.
- 41:56Så kan jeg. De de partner med Microsoft asia
- 42:01og og man kan få få adgang til den igennem det.
- 42:04Ja jeg skyndte mig faktisk lige at gå ind og og kigge lidt Sådan
- 42:07og Det var da interessant. Gad vide?
- 42:10Gad vide om Jeg kan klikke mig hen til den et sted hvor jeg
- 42:13sidder og arbejder og. Jeg ved ikke om jeg.
- 42:16Jeg kunne ikke lige finde det men men men Det var spændende.
- 42:21Og så slog det mig ligesom hvad koster det?
- 42:24Jeg synes jeg fandt meget, meget lidt information om det Der er.
- 42:29Så hvad hvad? Hvad siger du?
- 42:30Jamen så du noget om det? Nej altid spændende når Det er
- 42:34noget Der er gb til 4 niveau bortset fra det Jeg tror ikke
- 42:39den kunne noget på dansk vel? Jeg jo altså hvad hedder det en
- 42:46ting som er lidt mere til da jeg delte det på LinkedIn så var der
- 42:48så der stod som en feature at den var udgivet på asier og den
- 42:54er selvfølgelig udgivet på la platform, som er deres egen
- 42:57platform. Det er meget sjovt, Det er et
- 42:59fransk firma ikke så Det er platformen chat og Sådan noget
- 43:01ja så det joker de lidt ned og så er den udgivet på asia og Det
- 43:07er det ligesom om Det var det blev jeg ligesom gjort opmærksom
- 43:09på at Det var en Det var sgu en en big deal.
- 43:12Af en eller anden årsag? Kan du forklare mig, hvorfor Det
- 43:15er en, hvorfor Det er fedt at den specifikke udgivet på asia?
- 43:19Jamen det. Det er heller ikke sikker på
- 43:21nødvendigvis altså. Noget compliance eller et eller
- 43:25andet? Jeg tror altså Der er rigtig
- 43:29mange der jo har. Hvad kan man sige cloud provider
- 43:33i asia og ligesom stoler på Microsoft så altid et eller
- 43:38andet. Ja, det virker som om Der er
- 43:40mange store virksomheder, som har Sådan.
- 43:42Hvis Det er på asier så er det fint, så kan vi godt bruge det
- 43:45så alt det der. Vi har Det er jo fordi de har
- 43:49aftaler med asian. Microsoft har jo været været
- 43:52gode til det der med at ligesom at.
- 43:55Bare være den mest trøstede partner, når det kommer til til
- 44:00til til Sådan noget robust software man kan undre sig.
- 44:05Jeg ved ikke hvor det stammer fra.
- 44:06Jeg tror simpelthen Det er Sådan en.
- 44:08Om legend på en eller anden måde, fordi Der er jo ikke nogen
- 44:11forskel på. Altså det.
- 44:13Nogle gange så står asian maskinerne i datacentrene lige
- 44:16ved siden af amazons ikke altså. Jeg ved det ikke så, men anyways
- 44:22de er de. De er i hvert fald så.
- 44:25Kommet derind så, så Det er jo interessant hvis man kan lave
- 44:28Sådan en en one click deployment og så bare få et AP ligesom man
- 44:32kan med med åbnere ice modeller i Asien, fordi så kan det også
- 44:37være Der er nogen der begynder at bruge dem at prøve dem af og
- 44:40Sådan tester dem lidt op imod gipsy 4 og Sådan nogle ting og
- 44:43hvis de så er billigere og de er bedre til den taske men nu gang
- 44:47i nogle ting men så er det jo happy go lucky fordi.
- 44:51Ja så kan man lave nogle sjovere ting altså tit handler det jo om
- 44:54omkostninger når du gerne vil bygge noget med de der elever.
- 44:58At, du tænker ej det ville være rigtig smart, så spørger vi
- 45:00først, om det her så det her det her.
- 45:01Det her så 1000 agenter, så putter vi det hele.
- 45:04Og så en query koster 5 dollar lige pludselig ikke og så sidder
- 45:07man bare der og Det har vi også snakket om på et tidspunkt fra
- 45:10way back da vi talte agent der det.
- 45:12Det var Sådan en standing joke ikke at Det var dyrere at
- 45:15bestille pizza at få den til at bestille pizza end Det er
- 45:17pizzaen kostede ikke altså. Det er måske ikke så
- 45:22hensigtsmæssigt. Og ja, så det kunne være
- 45:27interessant. Altså lad os se på det.
- 45:29Jeg vil i hvert fald. Det er en af dem jeg lige skal
- 45:31dykke lidt ned i synes jeg, fordi Det er lidt spændende.
- 45:34Men man kan sige, hvis vi lige skal nogle specs med, så er den
- 45:3632 k tungen kontekst vindue den er fluent i 5 sprog siger den
- 45:43siger de roman har lige postet på LinkedIn kan jeg se og romano
- 45:48sexy så var meget aktiv indenfor det danske.
- 45:50Hvad skal man sige LU space han siger at den er faktisk ret god
- 45:54på dansk, selvom den officielt ikke er blevet trænet på dansk,
- 45:57så Det er jo interessant og også det her med at det ikke er et
- 46:00amerikansk startup eller en amerikansk.
- 46:02Hvad skal man sige virksomhed? Det gør måske også ligesom at de
- 46:05er Sådan lidt mere opmærksomme på at.
- 46:08At og så være lidt mere multilingual, hvilket er fedt.
- 46:14Ja og så har den den understøtter funktion calling,
- 46:16hvilket er en ret stor ting for for mig i hvert fald.
- 46:22Og så har den Sådan noget json format output og.
- 46:26Ja ja. Så er der i øvrigt også løsning.
- 46:29Kan bruge hvis man har nogle lidt mindre tunge opgaver.
- 46:32Det er helt klart det der altså de der.
- 46:36Fintuning ting med at hey, Jeg vil gerne have Jason og alt det
- 46:40der, der gør det til at arbejde med for en udvikler.
- 46:43At Det er Det er jo simpelthen bare guf fordi Det er jo en en
- 46:48stor problematik, også selvom man har de der funktionaliteter
- 46:52med funktionsopdeling og Sådan nogle ting, så er det faktisk
- 46:54stadigvæk bøvlet også lige at få det helt til at spille det der
- 46:57ikke så det giver noget noget consistency i outputtet af
- 47:03svarene fra dem, men Der er noget andet jeg lige nu.
- 47:07Støj her, Det er ikke dem der lytter med jeg ikke ser.
- 47:10De kan ikke se jeg vifter med min telefon hvor Jeg har mine
- 47:12noter. Den er også rar enablet, og der
- 47:16var et eller andet med det der med.
- 47:18Kan du lige fortælle mig Der er noget jeg ikke at læse ned i
- 47:21dybden altså hvad. Hvad er det, der gør den særlig
- 47:23rar agtig? Det må du nok spare.
- 47:26Det forstod jeg simpelthen ikke. Det var noget med, at den havde
- 47:29ikke den der lost in the middle problematik med konteksten og
- 47:32Sådan nogle ting, men hvorfor er det?
- 47:35Særligt godt til rar, når den så har det.
- 47:37Altså er det ikke bare generelt den, så det skulle da være en
- 47:40hjælp i alle henseender, tænker jeg.
- 47:42Ja. Det forstod jeg ikke, men men
- 47:46anyway der står den er god til rack.
- 47:51Med med line. Folk vil have rack, og de vil
- 47:57have lange kontekst vinduer. Det er det de vil have.
- 47:59De vil have det hele. Blæser i munden.
- 48:05Det er jo godt. Nå men i hvert fald spændende.
- 48:08Spændende at altså det de de begynder, de virker som om det
- 48:12handler om for dem alle sammen at hale ind på p 4.
- 48:16Og det kunne være sjovt. Det kunne være sjovt at se når
- 48:20de første de ligesom formår at slå kapitel 4 om om ungerne har
- 48:24de så dropper quite 5. Det kunne være meget sjovt.
- 48:27OK så hvis man vil have den release snart så skal man bare
- 48:30bare en klippe til 4. Ja den står stadig herovre.
- 48:34Koger med med tryk på. Hvis den overhovedet gør det
- 48:39altså jeg ved det ikke her. Der er ikke det, men.
- 48:45Hvad hedder det? Nå lad os så gå videre hvad
- 48:46hedder det? Nu skal vi tilbage til Danmark?
- 48:48Vi tog fra IUSA, så er vi kommet til Europa, og nu er vi først
- 48:52tilbage i Danmark, fordi i sidste uge, der har på i noget
- 48:55tid har S har der været et forslag fra SF om at skabe en
- 49:00dansk læge lange model, og Det var til behandling tror jeg man
- 49:05kalder det det ved du Jonas fordi du.
- 49:07Statskundskab uddannet, men Det var til behandling i
- 49:10Folketinget, og Det var det. I fredags tror jeg Det var, og
- 49:15ellers var det i torsdags. Det tror jeg, Det var i torsdags
- 49:17torsdags eller fredags. En af de 2 jeg havde vinterferie
- 49:21i sidste uge, så Jeg kan ikke foregribe dagene og.
- 49:26Det var Det er selvfølgelig ikke en nyhed, der kommer bag på os,
- 49:30fordi Det har længe været kendt, at det forslag ligesom været
- 49:32oppe at vende, men det der med, at det rent faktisk bliver taget
- 49:36Der er noget sprogteknologiske, der rent faktisk bliver taget op
- 49:38i. Folketinget er lidt interessant,
- 49:42synes jeg, og jeg fulgte fulgt rigtig meget med.
- 49:47Og så fik jeg jo jeg fik jo nogle jeg så det glitter det kom
- 49:50ud jeg så det i live, men jeg så det efterfølgende, men inden jeg
- 49:54så det, så fik jeg nogle beskeder.
- 49:56Om at jeg var blevet citeret fra Folketingets talerstol af mona.
- 50:02Mona Jeg kan huske hvad hedder men for for konservative.
- 50:08Fordi jeg havde skrevet i en LinkedIn tråd og havde repr
- 50:11postet en LinkedIn tråd troet. Ja så så de lytter skal huske.
- 50:17Man skal huske at man skal passe på hvad man skriver på sociale
- 50:20medier, hvis. Ikke så nu er dansk lem nyhed og
- 50:23lidt ananas II unges juice. Jeg synes Det var rigtig fedt.
- 50:28Jeg synes Det var flot og Jeg synes det der du har lidt reach
- 50:31der må man sige og måske er der endda nogen der har hørt noget i
- 50:34podcasten med hvad? Det kunne være fedt jo hvad
- 50:38hedder det? Men i hvert fald så var jeg inde
- 50:40og finde transcript af alt det de ligesom havde sagt, fordi det
- 50:44bliver jo transkriberet i Folketinget, alt det de har
- 50:46sagt. Og så har jeg puttet den ind i
- 50:49Vores podcast hos os. Så og så der har vi simpelthen
- 50:56jeg sidder nu foran mig med en summery session af det halv time
- 51:01halv hele times forslags behandling ting ja og jeg tænker
- 51:07bare vi går igennem det hurtigt. Hvad hedder det til at læse det
- 51:11op? Fordi så kan vi bare slappe af.
- 51:14Imens. Nej hvad hedder det?
- 51:17Ja, men altså hvis vi spørger hun skal igennem Det er S der
- 51:20foreslår udvikling af en stor dansk sprog model for til at
- 51:23afspejle dansk Kultur og for at overholde lovgivningen og der
- 51:27tror jeg meget de mener det her med GPR og det skal kunne bruges
- 51:30af virksomheder og offentlige institutioner og Sådan noget.
- 51:32Det er også lidt ligesom om Der er nogen der ikke helt ved at
- 51:34Der er åbning open source modeller derude tilgængelige.
- 51:39Allerede nå, men Det var Sådan lidt.
- 51:43Så fremmed. Lisbeth bech Nielsen, at
- 51:47vigtigheden af teknologi er vigtigheden af teknologi, der
- 51:50reflekterer danske værdier og overholder
- 51:52databeskyttelsesreglerne, og Der er begrænsninger ved nuværende
- 51:57teknologi, uddannelses, institutioner og offentlige
- 52:01ansatte kan ikke bruge eksisterende store sprogmoduler
- 52:04på grund af lovgivnings konflikter.
- 52:07Ja Det har ligesom været de 2 store bekymringer det her med
- 52:11at. Den danske Kultur ikke bliver
- 52:13afspejlet i de store amerikanske modeller og internationale
- 52:16modeller også ligesom det her problem med at.
- 52:20Der er problemer med databeskyttelse og forskellige
- 52:23lovgivning. Konflikter, som forhindrer
- 52:24skole, blandt andet skoleelever, men også offentlige.
- 52:27Myndigheder og eller institutioner i at i at bruge de
- 52:32her services. Ja så scenen ligesom sat ikke?
- 52:37Og Jeg synes Det er lidt sjovt fordi.
- 52:41Jeg har jo Sådan lidt faktisk på et tidspunkt, så.
- 52:45En en gammel kollega IIII direktøren II dansk gymnasier,
- 52:51lederforeningen, hvor Jeg har arbejdet.
- 52:54Hvad er det, Der er problemet med at, at ligesom er DR mæssigt
- 52:58at bruge de her modeller her fordi.
- 53:01For mig at se, så bliver det værre anvendelse af Sådan nogle
- 53:04modeller der det. Det er ligesom noget, som man
- 53:07kan løse i en applikation i alle, altså ligesom i alle andre
- 53:11applikationer kan man løse det problem, at man sender noget
- 53:14data et eller andet sted hen, som skal håndteres efter nogle g
- 53:17pr mæssige regler. Det skal krypteres.
- 53:20Det skal alle de der ting, og så skal der være noget slette
- 53:24politik og der skal være. Alt det der på plads der, og det
- 53:27skal ikke sendes til et forkert sted, og det skal helst blive
- 53:30inden for de her rammer alt. Det er jo muligt i dag med med
- 53:34de modeller. Vi har også netop fordi man kan
- 53:38lave de der aftaler med for eksempel Microsoft og de her
- 53:41providers, så man kan få styr på det juridiske omkring det.
- 53:44Og så er det jo så, så er det løst.
- 53:47Så Jeg har altid haft lidt svært ved at se, hvorfor er det lige
- 53:50præcis GPR delen Der er så problematisk?
- 53:55Og hvorfor er det det, der skal være anledning til, at Vi skal
- 53:57træne en model? Det forstår jeg ikke.
- 54:00Det tror jeg, at Der er en kæmpe misforståelse derude omkring
- 54:02dig. Hvad er det der?
- 54:03Hvad er den der model for noget? Fordi den anden.
- 54:08Den anden vinkel er jo, at modellen i sig selv er trænet på
- 54:12noget data, der ikke er g pr mæssigt compliant.
- 54:16Det vil sige navne og måske en nogle adresser på nogle
- 54:19mennesker, og på den måde kan man ligesom fiske noget
- 54:23information ud af den, der model man ikke var berettiget til at
- 54:26kunne se. Det er jo et et mere reelt gdpr
- 54:30mæssigt problem og og en form for datalæk kan man jo et eller
- 54:34andet sted og sige. Så er der jo så det der med
- 54:37jamen er det måske et stort problem hvis Det var noget der
- 54:40var allerede offentligt og Sådan noget?
- 54:42For Der er nemlig også noget med, hvis Det er information der
- 54:44ligger offentligt tilgængeligt, så er det ikke Sådan.
- 54:50Beskyttet af gdpr, fordi Det er allerede offentligt, så Der er
- 54:53Sådan noget alt muligt frem og tilbage.
- 54:55Men anyways. Det, Det var bare en
- 54:58interessant. Det synes jeg lige dialog der
- 55:02for hvorfor er det egentlig vi altså skal løse det der?
- 55:05For jeg ser det jo helt klart ultimativt set som at Det er det
- 55:08danske sprog, Vi skal have styr på i de der modeller Der er.
- 55:11Problemet og Det er jo det Det er sjovt, fordi Det er jo et
- 55:14meget tekniske spørgsmål eller emne det her ikke også med
- 55:16juridisk med hvad må man og hvad må man ikke og Sådan noget så
- 55:19jeg oplever også, at der bliver talt meget forbi hinanden.
- 55:22Ikke fordi Det er så teknisk et område og fordi.
- 55:26Lovgivningen heller ikke er helt defineret på på området.
- 55:30Hvad hedder det? Men så den 1 der ligesom en af
- 55:33de første der svarer på det her. Det er ligesom Marie Bjerre, som
- 55:35er Vores digitalisering, så ligestillingsminister, og hun
- 55:38udtrykker tvivl om projektets levedygtighed og omkostning,
- 55:41udvikling og ikke mindst vedligeholdelse af de her Sådan
- 55:45en dansksproget model. Og hvad skal man sige?
- 55:51De Det er Sådan lidt linjen over det hele kan man sige, at de
- 55:56fleste partier har den her holdning med, at de synes sgu at
- 55:59det virker lidt som om, at det ikke er noget, som staten
- 56:03ligesom skal stå for at. Gøre det her, fordi det virker
- 56:08dyrt, og det virker som om, at Det er en lidt for Sådan.
- 56:13Stor opgave for for for staten at at køre, og at det ikke
- 56:16ligesom kan blive gjort med tilfredsstillende kvalitet.
- 56:20Og så nu man skal huske på det her.
- 56:21Det er, at det giver til 4 summery altså Der er maks Herlev
- 56:25Nations risiko her fordi det hedder meget tekst Jeg har
- 56:28sunrise her men der står at. Det er fedt bare at sige Sådan
- 56:33kilder hvor man bare ved Det kan være 100% halloween ikke, men
- 56:36der står her at. Der står at Alternativet de
- 56:40støtter forslaget, at de bakker ligesom op om forslaget, og så
- 56:43fremhæver. De virkeligheden ved vi ikke med
- 56:45sikkerhed endnu. Det siger giv 10. 4. 10.
- 56:48Ja fuld disclaimer og så fremhæver de vigtigheden af open
- 56:52source og national kontrol over teknologien.
- 56:58Så det virker som om man er man er bekymret for at den danske.
- 57:03Det vil sige Kultur er ikke afspejles i de amerikanske
- 57:05modeller, så er man vil man gerne have at.
- 57:08Vi Danmark ligesom har kontrol over.
- 57:11Sprogteknologi. Som fungerer på Vores eget sprog
- 57:15IS. Ja ja, og Der er jo ikke nogen.
- 57:20Jeg tror ikke Der er nogen der har nævnt.
- 57:22I inde i Folketinget det der med at Det var måske en god ide at
- 57:26have fokus på, hvad man kan sige at få styr på anvendelse af de
- 57:30data, man bruger til at træne og ligesom få.
- 57:33Kan man sige, distribuerede organiseret det i en eller anden
- 57:36offentlig sammenhæng. Det synes jeg jo stadigvæk er en
- 57:39fornuftig ting, men så var der jo det der med, at Det var jo
- 57:41egentlig nogle midler, Der er sat af til det.
- 57:45Nu var det digitaliseringsstyrelsen, der
- 57:48har fået nogle af de af de på finansloven.
- 57:51Eller hvad er det nå? Det er også det, Der er.
- 57:53Blevet sat en afsat 61 millioner til ligesom at udvikle det og
- 57:57det her forslag konkret foreslog at afsætte 40 millioner til
- 58:01ligesom at udvikle den her danske sprog model.
- 58:03Og der var Det var sjovt, fordi der var der også Sådan lidt.
- 58:05Der var der også. Jeg tror Det er Liberal
- 58:07Alliance, som sagde at jamen, de havde altså hørt, at det
- 58:10kostede, at Det var blevet estimeret til at være omkring
- 58:12halvanden milliard. Det ville koste at udvikle Sådan
- 58:15en ikke så Det er jo, men Det er jo også et tegn på at et dépens.
- 58:19Ikke fordi hvad snakker vi snakker vi en, Det er jeg
- 58:22fuldstændig hjernedødt at tage tage en kunde dansk sprog model
- 58:26fra bunden af ikke Det har vi også snakket om før den skal jo
- 58:29have noget viden for verden og Sådan noget, Der er en masse
- 58:31litteratur som kun er på engelsk og så videre ikke men du ved.
- 58:36Det er jo dem der ligesom har sat sig ned og kigget på.
- 58:38Hvad har det kostet abonnere måske og bygge 4 eller Sådan et
- 58:42eller andet ikke? Og hvad vil det koste hvis
- 58:44Danmark skulle gøre noget tilsvarende?
- 58:46Og Der er jo det der. De har jo ligesom ikke fanget
- 58:48det her med at. Det er faktisk blevet ret
- 58:51tilgængeligt og ret. Hvad skal man sige realistisk
- 58:55for at træne nogle nogle mindre modeller til at gøre nogle
- 58:59brugbare ting? Så her er der også forvirring
- 59:03og. Som ligesom er nødt til at lave
- 59:05et small light language model. Forkortelse, så vi kan få.
- 59:11Kan man kan det hedde s eller l. Det er slet ikke til at udtale,
- 59:18men fordi Der er jo virkelig altså det.
- 59:20Det spænder bare så bredt det der område efterhånden ikke hvad
- 59:24Der er computer mæssigt omkostninger og hvad kan køre på
- 59:28din laptop og Sådan noget? Det må være hvis ikke lige svært
- 59:31for politikere at navigere i, men men Jeg synes Der er.
- 59:35Jeg synes jeg klapper lidt af af Vores politiske system lige nu,
- 59:39fordi Jeg synes Det er flot at både at man man faktisk lytter
- 59:42helt ude til den her niche gruppe af folk der sidder derude
- 59:47og laver de der ting og har et eller andet sted, har
- 59:50digitaliseringsstyrelsen i det der arbejde de havde lavet også
- 59:54fået lyttet til. Hvad det her fagområde synes og
- 59:58mener om det der. Kæmpe skuddet til den del af
- 1:00:01digitaliseringsstyrelsen, som har holdt de her workshops hvor
- 1:00:04at ja. Ja så alle alle Der er aktive på
- 1:00:08LinkedIn og debatterer det her spørgsmål og har været også med
- 1:00:11i podcasten her. Det har været en fornøjelse,
- 1:00:14synes jeg hele vejen og så se at det kommer helt ind i
- 1:00:17Folketinget. Det er sgu da sjovt.
- 1:00:19Ja så ja nå, Det var bare lige et shout.
- 1:00:24Det er spændende, når det kommer til at ske, som man siger.
- 1:00:27Og apropos, nu skal vi dybere ned i den danske sprogteknologi
- 1:00:30endnu dybere ned på den sidste nyhed her, fordi Der er fandme
- 1:00:34blevet Der er fandme blevet lavet en ny state of the art
- 1:00:37dansk. Åben ikke mercell, large
- 1:00:42language model. Så fik vi lige hele det hele
- 1:00:45med. Ja og det.
- 1:00:49Det var jo for Casper grus som havde titlen.
- 1:00:54Som den den person der havde trænet den bedste lange model
- 1:00:58fordi han havde taget den her mooning model som er Sådan en.
- 1:01:04Drænet lars landbrugsmodel er danish foundation models
- 1:01:08projektet, og så havde han fintunet den videre på skole GTI
- 1:01:11en struktion datasættet. Og så havde den ligesom blevet
- 1:01:15state of the art. Jeg tror Det er dagen efter der
- 1:01:18kommer der en gut der hedder Magnus.
- 1:01:21Marek som nu ligger jeg her på LinkedIn.
- 1:01:25Han er IT konsulent i statens IT.
- 1:01:30Og Jeg tror han er studerende på DTUI kunstig intelligens og
- 1:01:33data. Jeg har overhovedet ikke fået
- 1:01:35historien bag ved det her, men men.
- 1:01:37Pointen er Magnus smag bæk kommer inde på danish science
- 1:01:41community slack workspace. Og dropper.
- 1:01:47Dropper dagen efter dropper han ligesom bare en en sofa model.
- 1:01:51Ja og det han? Fuldstændig, og Det er en helt
- 1:01:55konkret dropper. Det er en han kalder den for
- 1:01:57hydron miste Madrid seven base. Det er Sådan ligesom den her.
- 1:02:02Hvad skal man sige? 111111 prøvetræner dansk model,
- 1:02:04som er blevet trænet på dansk, som er Sådan videre prægning på
- 1:02:10dem i strål 7 b Sådan en ikke en stor centro, noget skal man sige
- 1:02:14model. Så så release han danish open
- 1:02:20hermes hermes 1 1 1 oversat. 1 1 1 1 1 instruktion datasæt som er
- 1:02:27oversat fra det det engelske datasæt, der hedder open hermes.
- 1:02:31Og og så er blevet oversat til dansk, og så tager han sig den
- 1:02:35her base model, som han har trænet og instruction tuner den.
- 1:02:41Der står Det er en chat model, men han instruction slash chat.
- 1:02:47Tune altså den her påtrængende spørgsmål til en model, han
- 1:02:50kalder for hydron mistral seven bee chat og Det er så den her
- 1:02:55model, som ligesom er blevet den nye solitær ikke mulighed open
- 1:02:59åbne danske model inde på scandic.
- 1:03:02Hvor langt er den så fra de merced?
- 1:03:05Ja det kommer der. Men Det er jo Det er jo Det er
- 1:03:13jo crazy. Kigger lige have winner øh i
- 1:03:16morgen winner, der sker noget hele tiden.
- 1:03:20Den ligger. Lige i røven af.
- 1:03:25Den er. Den er Sådan måske i midten af
- 1:03:28alle de Mercedes modeller. De har jo fuldstændig.
- 1:03:31Overtaget der bort, men de ligger Sådan lige i midten af
- 1:03:34det. Jeg så.
- 1:03:38Den slår stadig ikke roman you skits mon euro beatle 7 b model
- 1:03:45som. Michael fra start da jeg kommer
- 1:03:49fra. Jeg vil ikke mødes så det ja men
- 1:03:54Det er jo Jeg synes det Der er åben source datasæt det.
- 1:03:57Det er det mest interessante af det her.
- 1:04:02Altså Det er en kæmpe bedrift også at lave den der videre
- 1:04:05fintuning og det skal jo lige siges igen til lige at clarify
- 1:04:08hvis Jeg har forstået det rigtigt, så er der ligesom tale
- 1:04:11om en mask token fine tuning ikke?
- 1:04:14Altså vi Vi er ude i det her med at Vi skal product next toppen
- 1:04:17tasken Det er den vi. Vi har på på på på programmet
- 1:04:22når vi sætter den over, ikke? Og Det er Sådan.
- 1:04:28Og så, og så kører vi ligesom videre på de vægte, som er lavet
- 1:04:32fra den her mistral, som jo er trænet på rigtig meget.
- 1:04:37Data altså i rigtig lang tid, for ligesom at nå dertil hvor
- 1:04:41den er. Og så kører man jo videre på det
- 1:04:43danske sprog. For ligesom at håbe på, at man
- 1:04:45får det bedste af alle verdener. Ligesom dansk kaffe og masser
- 1:04:50har gjort, ikke? Og Der er altså det skal lige
- 1:04:54nævnes. Den er både blevet trænet på
- 1:04:55skole, PTI datasættet, instruktion, datasættet og det
- 1:04:59her danish open hermes datasæt. Og Der er altså hundredetusind.
- 1:05:04Hvad hedder det eksempler i danish open hermes og omkring de
- 1:05:08her lidt over 20.000 i skole? Dansk skolebibliotek instruktion
- 1:05:12datasættet så. Så ja.
- 1:05:16Ja spændende stort vi nærmer os. Vi nærmer os noget, som som
- 1:05:22begynder at blive interessant, ikke?
- 1:05:24Ja og Det er jo Det er jo også det Der er jo folk der arbejder
- 1:05:26på de her ting, og de har ikke nødvendigvis har de ikke brug
- 1:05:29for særlig meget. De de har faktisk bare brug for
- 1:05:32nogle nogle datasæt. Der er nogle PU engang imellem
- 1:05:35og noget evaluering og noget altså de de de de er faktisk.
- 1:05:41Der er faktisk folk der arbejder på det her ikke, og det kører.
- 1:05:45Faktisk godt. Det tænker jeg.
- 1:05:47Der er relevant ikke altså fordi at lige pludselig har du.
- 1:05:54Altså mere mere data og og i højere kvalitet.
- 1:05:59Ikke fordi at ja flere har været hen over de her data, ligesom.
- 1:06:03Fundet ud af måske, at hvis vi sorterer det her fra og Sådan
- 1:06:06nogle ting der ikke så begynder man lige pludselig at.
- 1:06:09Man kan man kan se Sådan en tragt for sig, der bliver mere
- 1:06:11og mere smal og så rammer man af bedre og bedre med de der
- 1:06:15modeller ikke det. Det bliver Det er sgu godt det
- 1:06:19der. Det er godt Det er mega fedt
- 1:06:22mere dansk. Sprog.
- 1:06:24Jeg håber ikke, at Vi har viderebragt information, som er
- 1:06:29hallucineret fra p 4 i dette afsnit.
- 1:06:32Stort display. Hvis Vi har, så er det bare
- 1:06:36bullshit, men som i meget gerne kalde det, så skal vi nok sige
- 1:06:40det i næste afsnit. Jeg er fedt.
- 1:06:45Kritisk vis. Lige præcis.
- 1:06:48Nu kan jeg se min min iPhone. Jeg kører på mit iPhone wifi og
- 1:06:52Det er sgu ved at min telefon er ved at være død, så det vil sige
- 1:06:56mit wifi det går ud lige om lidt, så vi bliver sgu nødt til
- 1:06:59at vi også skyggerne også at blive lange.
- 1:07:01Hvad hedder det? Klokken er eller Vi har snakket
- 1:07:03en time og 7 minutter så. Jamen Vi er jo ved at se den jo
- 1:07:07så. Det er vi sgu.
- 1:07:09Ja jamen så er der ikke så meget tilbage at sige end at sige at
- 1:07:141000. Tak fordi i lyttede med alle
- 1:07:16sammen. Vi ses i næste uge og.
- 1:07:19Det gør vi så også Jonas. Det gør vi i hvert fald have det
- 1:07:22godt.