Latest / Verbos: AI og Softwareudvikling / #28 - En Snak om Prompt Engineering
Transcript
- 0:00Halløj alle sammen og velkommen til hvad bruges podcast afsnit
- 0:04nummer 28 mit navn er Kasper unge.
- 0:07Hedder Jonas Cannes. Yes og til hjem.
- 0:10Det er jer derude som ikke kender Vores podcast så skal i
- 0:12bare lige vide at hvad Vores podcast er en podcast hvor vi
- 0:15snakker om r så for udvikling og data science og vi gør det vi
- 0:19altså. Next level next level nørdet
- 0:22føler vi selv i forhold til andre danske podcast, så så er
- 0:25stemningen ligesom sat. Og hvad hedder det hvad?
- 0:28Hvad podcasten udkommer hver onsdag klokken 7?
- 0:31Så hvis man er tidligere klokken 7, så kan man eller onsdag
- 0:33klokken 7, så kan man tune ind og lytte med.
- 0:36Det kan man selvfølgelig også alle til.
- 0:39Alle de tidspunkter derefter. Men Der er vi i hvert fald
- 0:41tilgængelig med nye afsnit hver uge.
- 0:43I dag, der skal vi tale om noget, og vi vi Vi er meget
- 0:48generative ARIA fokuseret lars løchtes fokuseret i øjeblikket,
- 0:52fordi Det er det, der bare fylder det hele for for os begge
- 0:572 rigtig meget og for rigtig mange.
- 0:59Så lille disclaimer her, men i dag der skal vi snakke om.
- 1:04Jeg tror man kan sige overskriften er prompt
- 1:06engineering møder så for udvikling på en eller anden måde
- 1:08altså. Du er ligesom kommet over det
- 1:11punkt, hvor du har siddet IIGT og sidder og hygge prompter.
- 1:15Du er begyndt at bruge noget måske at bruge lang chain eller
- 1:18er begyndt at rode lidt med de her åbne PI og for eksempel og
- 1:23og har hygget lidt med det. Til rent faktisk at skulle bygge
- 1:26nogle ting, som skal som skal kunne køre over længere tid, og
- 1:30som skal være en altså en eller anden grad af robuste og så
- 1:32videre. Hvad er ligesom?
- 1:36Hvad er ligesom med best practice der eller og de og og
- 1:41ligesom hvad kan man sige prompt engineerings svar på devops kan
- 1:43man sige det. Det skal vi prøve at snakke lidt
- 1:46om i dag og prøver ligesom at komme lidt tættere ind på på det
- 1:50og hvad vi hvad vi snakker om, hvad vi selv synes om det, og
- 1:52man kan sige Der er ikke rigtig fundet et. 1 1 1 ground truth
- 1:56endnu er det vil du ikke er du ikke ind i det, Jonas?
- 1:58Jo helt sikkert. Ja så.
- 2:02Der. Er også det der også, ikke?
- 2:05Nej lige præcis, så det bliver meget synes i den her podcast.
- 2:07Men Vi har en et fedt line up dække op til jer, og nu tror Jeg
- 2:10vil prøve at dræbe den her intro snart, så den ikke bliver alt
- 2:13for lang men. Men før jeg gør det, så vil jeg
- 2:15gerne lige sige at hvad hedder det hvis i kunne tænke at støtte
- 2:19Vores podcast, så skal i huske at følge os på Spotify, Apple
- 2:22podcast og inde på LinkedIn. Der har vi også en side og Vi
- 2:25har faktisk også lige fået en youtube kanal som er en anden
- 2:28end min youtube altså min personlige youtube kanal så nu
- 2:31har vi fået Vores egen youtube kanal og den skal man også lige
- 2:33huske at subscribe hvis man vil følge med der.
- 2:36Super yes og nu tror jeg vist at talestrømmen kan herfra kan gå
- 2:42lidt på ro og så kan vi komme i gang med med.
- 2:45Hvad hedder det med den her episode og jeg egentlig bare
- 2:48lægge ud med bare lige at kaste et spørgsmål ud her Jonas, hvad
- 2:51hedder det? Hvad er en prompt ingeniør?
- 2:56Hvad når når du tænker, når du hører det, hvad ordet ordet
- 2:59prompte ingeniør, hvad tænker du så?
- 3:02Uha. Det er en der.
- 3:07Er tekst magiker som tekst inde i en i en i en large language
- 3:12model. Og Det kan man jo gøre på rigtig
- 3:15rigtig mange forskellige måder, man kan gøre det.
- 3:17Bare som du siger ved at bruge chat PT.
- 3:21Man kan også gøre det programmel.
- 3:24Man kan også gøre det i forhold til billeder, altså nogle af de
- 3:27mest crazy Trump tricks derude har jeg set især Sådan noget med
- 3:33journey, og ellers er der lige og den slags, hvor folk
- 3:38simpelthen bare har. Altså formuleret nogle nogle
- 3:41super web tekster giver nogle virkelig gode resultater til
- 3:45det. Din et eller andet et eller
- 3:46andet fedt ord, som giver en eller anden god stil eller Sådan
- 3:49noget. Så Det er Sådan en.
- 3:50Det er Jeg vil sige. Prompting er lidt et hack.
- 3:54Så altså prompting er lidt en måde at hacke en en LM på ikke
- 3:58og fordi at hvis nu hvis nu den der large language model var
- 4:03trænet til ligesom at bedre forstå Vores intentioner når vi
- 4:08skrev noget naturligt sprog, så havde vi ikke det store behov
- 4:12for ligesom hele tiden at sige og du skal huske det der du skal
- 4:15huske det der du skal huske det der og alle de der detaljer, når
- 4:17vi gerne vil lave et billede der ikke ligner en tegnefilm for
- 4:19eksempel eller noget af det du ikke og og derfor er det ligesom
- 4:23Sådan et hack til at få. Den model man arbejder med til
- 4:26at opføre sig ordentligt. Virkelig?
- 4:30Så det vil jeg sige, Det er Det er det Der er.
- 4:32Brøndby engineering er et et kæmpe hack i virkeligheden og og
- 4:38Jeg synes at alle altså det fede ved Det er at alle kan hacke
- 4:41fordi Det er en naturlig sprog du hacker.
- 4:45Og når det så er sagt, så er problemet turneringen.
- 4:49Og Det er måske der, hvor softwareudviklingen kommer ind,
- 4:50altså når man arbejder med det programmel.
- 4:53Så er det jo. Hvad kan man sige?
- 4:55Så er det jo hack on steroids ikke?
- 4:57Altså Det er så kan du ellers hacke og du kan lave virkelig
- 5:02virkelig mange crazy ting og Det er jo det vi også tror jeg skal
- 5:05snakke lidt om II den her episode her ikke altså hvad?
- 5:10Hvad er mulighederne udover det at at sidde og prompte en gang
- 5:14II Sådan et simpelt chat interface?
- 5:16Ikke fordi mulighederne er bare uendelig meget større end end
- 5:20det interface det synes Jeg er interessant.
- 5:24Og Jeg synes også Det er sjovt du nævner det fordi.
- 5:27Der er jo altså på en eller anden måde.
- 5:29Så kan man både se folk der sidder og er rigtig gode til at
- 5:32prøve det enten chat gift eller mit journey som prompt engineers
- 5:35på en eller anden måde, fordi de de er man udvikler eller anden
- 5:38form for underlige skille i at finde ud af hvad de her modeller
- 5:42godt kan lide og hvordan de fungerer godt og så videre.
- 5:44Det er Sådan rimelig underligt, men man lærer ligesom at
- 5:46kommunikere med dem, når man sidder og prompter, så på den
- 5:50måde kan man jo godt se helt almindelige brugere, som ikke er
- 5:54programmører eller koder af mit tourney og chalky som som prompt
- 5:58engineers. Men, men Jeg synes også rigtigt
- 6:02du siger at man får lynhurtigt lyst til at automatisere ting og
- 6:05og gøre lave de her kæder af prompts og bygge det ind i
- 6:09automatiserede workflows og i software og Sådan noget.
- 6:10Så så Der er jo også et helt andet lag hvor at hvor at hvor
- 6:15både ligesom siger okay, nu vil vi gerne bygge noget med det
- 6:17her, noget automatiseret et eller andet med det og så
- 6:20begynder der at komme alle mulige udfordringer, fordi så så
- 6:23skal jeg jo lige pludselig rigtig godt og.
- 6:27Så er der en masse fluff inness, der også skal være rigtig godt
- 6:30her, men så man ligesom hvordan skal man lige håndtere det?
- 6:32Ikke? Ja så, så det synes jeg egentlig
- 6:36er. Det er en sjov, og så synes jeg
- 6:38også Det er en sjov ting du sagde.
- 6:38Det var det her med at Det er. Det er i virkeligheden også et
- 6:42et nat, altså programmering i naturlige sprog, ikke så på en
- 6:47måde Sådan, så kan alle jo finde ud af det på en eller anden måde
- 6:49tænker ikke Der er en eller anden speciel syntaks, som som i
- 6:53for eksempel i python eller java eller Sådan noget der Det er
- 6:57ligesom bare du kan ligesom bare hælde hvad som helst ind i den
- 6:59og så så kommer der et eller andet ikke.
- 7:02Det er sgu bare skægt. Jamen Det er det altså og alle
- 7:06ved altså hvis man for eksempel godt kunne tænke sig, at den
- 7:08skulle outputte et bestemt format, så vi også programmører
- 7:13eller vi vi tænker altid, men vi vil gerne have det i Jason, så
- 7:16kan vi bruge det til et eller andet.
- 7:17Men en almindelig bruger vil jo nok ikke synes, at Det var fedt
- 7:20at have det i Jason de de ville hellere have det i en eller
- 7:23anden tabel form for eksempel noget de lige kan copy paste ind
- 7:27II et excelark for eksempel. Og Det kan du faktisk også finde
- 7:31ud af. Ja ja.
- 7:34Hitliste nærmest. Ja ikke eller bare skrive til
- 7:37den. Please lave en en tabel med det
- 7:40her ikke så så laver den faktisk en en tabel.
- 7:43Måske er det en macdowell jeg ved det ikke, men den du kan i
- 7:46hvert fald få den til at lave noget som du kan kopiere ret
- 7:49direkte ind i. II excel og så fylder den
- 7:53cellerne ud i excel ikke for eksempel.
- 7:56Altså Det er jo bare Sådan et af de der eksempler på, at at man
- 7:59gerne vil have den til at outputte det på en måde, så Det
- 8:01er convenient at arbejde videre med det.
- 8:04Det tror jeg også, Det er masser, der bare hacker sig til
- 8:07derude. Ikke at at få den og opdager på
- 8:09et tidspunkt. Åh Jeg kan lige få den den der
- 8:11ekstra step på, så jeg gør det til noget hvor selvom jeg sidder
- 8:15i et interface copy paste og frem og tilbage, så går det
- 8:17faktisk ret hurtigt, ikke. Ja fordi Jeg synes lynhurtigt
- 8:20man finder sig selv copy paste. Fra det ene til Det er noget.
- 8:24Både og det ene altså Sådan og det det kalder bare på en eller
- 8:27anden form for automatisering, ikke altså det Det er
- 8:29simpelthen. Der er nogle cool, ikke?
- 8:33Ja lige præcis og Der er nogle flows Der er nogle bestemte
- 8:35prompts som fungerer godt med en bestemt kontekst i Serie.
- 8:39Så giver det bare nogle mega fede resultater som man virkelig
- 8:43bare ville ønske man havde ved hånden hele tiden, og som man
- 8:44ikke skulle ud i alt mulig copy paste eller for for at få få
- 8:50hvad hedder det for at få i gang?
- 8:53Ja men Jeg synes også Der er noget interessant ved det fordi.
- 8:56Og Det er jo noget nyt det her. Det er jo noget nyt, Der er sket
- 8:59for for for folk, der har siddet og arbejdet på på model niveau
- 9:03II altså for hele den her revolution er det jo med til at
- 9:09give og så videre. Der sad man jo meget med pitch
- 9:14eller det gjorde jeg i hvert fald meget med Sådan en petres
- 9:15modeller og så videre. Men nu er ligesom nu er der
- 9:18kommet et lag ovenpå som er altså så er der ligesom model
- 9:22låget, og så er der prüm låget hvor at Det er Sådan en helt ny
- 9:27og Det er et helt ny. Hvad skal man sige en helt ny
- 9:29fundament eller en helt ny platform at?
- 9:32Bygge på en eller anden måde er jeg ikke.
- 9:33Er du enig i det Jonas? Ja helt klart altså.
- 9:37Man kan jo i dag hvis man skal løse et problem og nu tænker jeg
- 9:41Sådan set fra soft være ingeniørperspektiv.
- 9:45Man har et eller andet problem i en virksomhed man skal løse og
- 9:49man tænker Det kan løses med en eller anden form for generativ
- 9:52ære model. Jamen så starter man med at
- 9:55prompte sig til en løsning, der kan man komme rigtig lang ikke
- 9:59og både i præcision og så videre og så videre.
- 10:01Og hvis man så ligesom ikke kan komme længere der, at man så
- 10:04tager man sig den prompt. Og måske så fintuner man så.
- 10:10Et et. Et de her adapters Laura quora
- 10:15og så videre ovenpå, så får man lidt ekstra præcision, eller
- 10:19også så bygger man måske noget retrieval argument generation
- 10:24ind ikke. Altså hvor du henter dynamisk
- 10:26information ind til din prompt og så ingeniører du dig lidt
- 10:29der. Og så måske i sidste ende, så er
- 10:32det der hvor du siger, okay, hvis Vi skal have en ekstra
- 10:34allersidste præcision på, hvor jeg bare skal have 99%, eller
- 10:37hvad det nu måtte være, men stiler efter at de vil altid
- 10:40gerne have 100% derude, så så fintuner man ikke fordi at så så
- 10:45har man ligesom mulighed for at virkelig at at give den ind til
- 10:49den taske man man man forsøger at løse.
- 10:52Så så Der er ligesom altså flere steps her, så man kan jo meget
- 10:55hurtigt med prompt hurtigt prompte ingeniøren kan du lave
- 10:59ekstremt hurtig prototyping af. Er noget, som som egentlig jo så
- 11:04ikke er rigtig er prototypen, men som i virkeligheden er
- 11:06første skridt i at udvikle en løsning, der bare bliver bedre
- 11:08og bedre og bedre, fordi du tager det.
- 11:10Du tager det videre i de her steps ikke så du Det er det Der
- 11:14er fedt ved Det er at du ligesom kan meget hurtigt starte med
- 11:17ingeniør en løsning Der er rigtig god, rigtig hurtig og så.
- 11:23Kan du faktisk putte den i produktion?
- 11:24Rimelig rimelig hurtigt og så sige ja, men jeg ved godt den
- 11:27er. 75 80% ikke, men Vi har lige noget wet look og så kan du
- 11:32ligesom. Bygge videre på det senere, så
- 11:35du kan komme hen, hvor du måske kan lave en automatiseret
- 11:37løsning, hvor der ikke behøver at være nogen til at
- 11:39kontrollere. Modellen eller dit output?
- 11:42Ikke så altså det udvikle. Og Det er virkelig bare Sådan
- 11:47en. Det er lidt.
- 11:49Det føles lidt som Sådan en holy grail, at man har fået prompt
- 11:54engineering. Så ja.
- 11:57Ja det gør det virkelig. Det er Sådan en.
- 11:59Det er jo Sådan en. Det er jo virkeligheden at den
- 12:01the holy grail indenfor Sådan den her type ting Det er at man
- 12:05kan træne eller anden form for model som.
- 12:08Kan en masse ting som den var ikke var trænet til at kunne.
- 12:12Kan man sige ikke, og Det er jo i virkeligheden det, vi ser her
- 12:15med med med den her type teknologier at.
- 12:18At, Der er ikke nogen der har fortalt dem, hvordan man laver
- 12:21summaries eller skriver referater og tekster.
- 12:24Men men Det kan den altså bare fordi.
- 12:26Den der bare har læst så meget tekst og bare forstår så meget
- 12:30på den måde. Ikke så det det.
- 12:32Det er sgu ret interessant paradigme.
- 12:35Kan man sige, at i det tilfælde, hvor den har fået altså trænet
- 12:38på nogle af de tasker. Ja.
- 12:42Ja. Men hvad hedder det?
- 12:44Hvad er der så at nu så nu synes jeg Vi har fået på en eller
- 12:47anden måde. Altså hvis Jeg synes Sådan hvis
- 12:49man lige skal have samme op her hvis man kan snakke om hvad
- 12:51definitionen på en prøve ingeniør er.
- 12:54Så. Er det en som som for prompts
- 13:00til at virke i en eller anden form for applikation?
- 13:04Jeg er ikke helt enig med mig selv om om Det er om Det er om
- 13:08man skal være programmør for at ligesom skulle kunne
- 13:10automatisere ting for at være en prompt engineer eller om.
- 13:14Men også altså jeg tænker da der kommer til at blive udviklet
- 13:17nogle redskaber Sådan hen ad vejen til at kunne lave noget
- 13:20dragon drop no coat eller andet og så kunne promenere ud for
- 13:24det, men i hvert fald en prompt engineer i hvert fald en eller
- 13:27anden som. Forstår prompte de her
- 13:30sprogmoduler på en eller anden måde og forstår, hvad de hvad
- 13:34for nogle tricks, der virker til at få dem til at blive gode og
- 13:37så i en eller anden grad vil jeg sige også er i stand til at
- 13:39automatisere. Hvad er de altså de har flows de
- 13:43har kæder de her ting man kan gøre ved den her form for
- 13:47automatisering man kan gøre med med med sprog modeller language
- 13:50models. Men hvad er så?
- 13:53Hvad er så for eksempel? Hvad er så use cases?
- 13:55Altså når man så kan det, og når man er en branche ja hvad er det
- 13:57så for nogle ting man kan bygge? Jamen altså man kan jo bygge
- 14:02helt vildt meget. Man kan jo altså det her
- 14:06retrieval og menageri nation for eksempel.
- 14:08Det er jo helt klart noget af det, som som Jeg vil sige er, er
- 14:13så bredt anvendeligt i mange virksomheder ikke?
- 14:16Altså du du har. Du har en generativ model
- 14:19herovre, som du gerne vil have skal kunne svare på nogle på
- 14:23nogle faktuelle ting måske eller skulle skal kunne sige noget
- 14:28fornuftigt om noget domænespecifikt data som du
- 14:31holder som virksomhed, ikke og som ikke er noget den er kan
- 14:35være trænet på og heller ikke. Måske heller ikke skal være
- 14:38trænet på, men som er noget du godt kunne tænke sig, at den
- 14:41virkede på på en eller anden måde.
- 14:42Ikke fordi Det er også det man skal huske og og så så har vi jo
- 14:48den her begrænsning, kontekst, slægter og alt det der Vi har
- 14:50snakket om, og det gør at at en virksomhed har jo vildt meget
- 14:54data liggende af den slags og derfor så så kan man heller ikke
- 14:58helt lige på den korte bane forestille sig, at man bare gav
- 15:01den alt det her tekst, som den holdt i hukommelsen man så kunne
- 15:05chatte med. Og derfor så har så har man brug
- 15:09for nogle, kan man sige nogle nogle ingeniører trick, så
- 15:11blandt andet nogle nogle vektor databaser, noget noget, noget
- 15:16betting er noget tekst og alle de der ting der nå men så det.
- 15:19Det er jo den 1 use case for for at man ligesom kan sige det der
- 15:24sker II Sådan applikation er jo at man dynamisk genererer en
- 15:28prompt som man så sender afsted og Det er den der hvad kan man
- 15:32sige måske ud fra en template? Det kan være mange templates,
- 15:35Det kan være få templates. Og Der er virkelig mange måder
- 15:39at. Lave diverse f als branching i
- 15:44sit program til at. Kom frem til en eller anden
- 15:48grund sendte et sted og så få noget retur til brugeren, og det
- 15:51synes jeg i sig selv er er meget interessant fordi at Jeg tror på
- 15:57at Det er rimeligt tilgængeligt for en programmør.
- 15:59Også de fleste kan forholde sig til det til forskel fra agenter,
- 16:04som Jeg vil sige er. Overly complicated og i øvrigt
- 16:08også måske ikke nødvendigvis den mest robuste.
- 16:13Løsningen er lige for tiden. Det skal nok komme, det bliver
- 16:16bedre, men men lige nu virker det ikke som om at.
- 16:20Det kan godt være Det er 2024 agenter bliver det store, men
- 16:23men men stadigvæk ikke lige nu. Nej fordi at man kan sige ja
- 16:29altså ja, Sådan har det nemlig også lidt.
- 16:31Jeg føler også at altså rack Det er totalt populært i øjeblikket
- 16:34ikke, og Det er fordi Jeg tror jeg føler det kommer ud af den
- 16:37her. Det her behov for at folk vil
- 16:39alle mulige virksomheder vil gerne have en chatbot fordi wow
- 16:41chat GBT og de har måske nogle problemer med at de ikke vil
- 16:44bruge chat gt på grund af nogle interne politikker og så videre.
- 16:48Whatever et eller andet ikke og så og så bliver de ligesom nødt
- 16:52til at sige okay jamen det skal være på det skal virke på Vores
- 16:54data og det skal kunne kende Vores virksomheder og så videre
- 16:57og så er rack bare en super oplagt løsning.
- 17:01Fordi Det er ligesom. Kan opfylde de her.
- 17:05Hvad skal man sige? Behov, fordi de kan den kan
- 17:07trække på ekstern kontekst eller intern kontekst hos virksomheder
- 17:11og få det med ind i pumpen og lave dynamiske pumps.
- 17:14Og så kan man sige agenter. Det er jo Sådan lidt.
- 17:19Det er lidt lidt næste skridt kan man sige ikke.
- 17:23Hvor at man Sådan ligesom man laver de her applikationer lidt
- 17:26mere open ended og lidt mere autonome og siger ved i hvad ved
- 17:30du hvad nu laver vi lige et framework for hvordan du kan
- 17:33Sådan et generelt framework for at løse problemer, og du har alt
- 17:35muligt redskaber du kan bruge til at regne matematik gå ud til
- 17:38at trække for eksterne ressourcer og gøre alle køre
- 17:43python kode for eksempel og så videre.
- 17:45Så så du har lidt nogle du har et generelt framework for hvis
- 17:48problemer du har nogle værktøjer i din værktøjskasse og så.
- 17:52Kyler vi bare problemer efter dig, og så er du bare.
- 17:54Hvad skal man sige? Forventes det ligesom bare at de
- 17:58på en eller anden måde giver et bud på at løse det, ikke?
- 18:00Og jeg ved ikke Sådan min fornemmelse med den, og Det er
- 18:03jo på en eller anden måde. Det er Sådan meget fascinerende
- 18:06use case, fordi Det er lidt den indfrier lidt det der promis på
- 18:09en eller anden måde om artificial general intelligence
- 18:12ikke? Altså i som som ligesom er
- 18:14autonomt og Sådan selv tager beslutninger og så videre.
- 18:19Men jeg må indrømme altså Jeg har ikke arbejdet vildt meget
- 18:21med agenter. Både fordi at jeg ikke rigtig
- 18:26føler at Jeg har så meget behov for autonomi i de ting jeg
- 18:30bygger. Men også fordi jeg måske er lidt
- 18:34tvivlsom omkring. Hvor hvor gode de er, hvor hvor,
- 18:39hvor langt. Vi er med den teknologi ikke, og
- 18:42fordi Jeg har Jeg har på fornemmelsen at de taber meget,
- 18:44altså de taber hurtigt tråden, og så står de bare og brænder
- 18:47tungen. Tag ikke.
- 18:49Ved ikke hvad din fornemmelse omkring.
- 18:52Det Det er Det er lidt det samme altså Jeg kan huske dengang det
- 18:55kom ud hvor hvor der var de der baby jeg og og.
- 19:01Og nogett eller hvad det nu hed derude af gas, og Jeg har også
- 19:04prøvet det i praksis selv og lige køre køre det med låne.
- 19:09Det er jo leinen var der ude med det første ikke?
- 19:12Og og alt var nærmest bygget på det.
- 19:15Der vil jeg så sige de indsigter Der er i selve react, altså Det
- 19:19er det her. Hvordan man kan få det next next
- 19:23level er redning ind i sin prompt og og få den til at
- 19:26ligesom at stoppe. Ligesom de her steps får den så
- 19:30stopper og så har man en eller anden form for input.
- 19:34Igen fra som som programmet eller human input, og så kører
- 19:38man ligesom videre i sin prompt og så.
- 19:40Det det den den tanke synes jeg egentlig er er rigtig fin.
- 19:46Det her med, at man kan interviene i sin II den her.
- 19:50Models reasoning steps det synes jeg giver rigtig god mening der
- 19:54hvor Jeg tror at filmen den knækker lidt.
- 19:56Det er at. Altså Det er jo tunings der så
- 20:02gør at at den bliver mere end den normale model og og med lidt
- 20:08information retrieval oveni. Og de her tools for de fleste
- 20:12virksomheder, før de skal kunne. Gør effektivt brug af dem.
- 20:17Og de så skal komme ind i en prompt og kunne svare på ting og
- 20:21de er jo. De er jo som regel bare rodet
- 20:22ikke på plads i en virksomhed, og det betyder jo i
- 20:25virkeligheden. Så skal den her virksomhed
- 20:26begynde at bygge alle mulige interne AP og til at kunne tilgå
- 20:30alle mulige ting og sager og strukturering og ustrukturerede
- 20:33ting og Sådan. Og så har du bare.
- 20:35Kæmpe data projekt for den her interne.
- 20:40Kan man sige. Agent den, så bliver brugbar for
- 20:45virksomheder hvorimod altså så er der den der ude på nettet
- 20:48ikke som så kan bestille en pizza for dig og den kan kan
- 20:52crawle nogle websites og Sådan nogle ting der, og Det er jo der
- 20:55hvor det bare bliver undskyld ordet dybt latterligt ikke?
- 20:58Altså fordi. Altså Det er bare.
- 21:03Det er bare latterligt altså. Det synes du er sjovt at gøre
- 21:05mens Der er nogle venner der kigger på det til en fest over
- 21:08en øl et par gange og så kigger du på det og ser at det koster
- 21:13alligevel 20 dollars og at lege med den og få bestilt pizzaer
- 21:17oveni. Altså du ved at det det må jeg
- 21:20bare synes. Det Det er ikke.
- 21:23Særlig udbringning, pizza og automatisering.
- 21:26Sofie. Kost.
- 21:28Også oveni, og det synes jeg bare ikke.
- 21:31Altså Det er ikke så tiltalende endnu.
- 21:35Og så Det er jo noget Vi skal nok snakke om det lidt senere
- 21:37hen, men Der er jo nogle Der er jo ligesom Sådan.
- 21:40Hvad? Hvad er the state of prompt
- 21:43tools derude på en eller anden måde?
- 21:45Altså hvad er det for nogle Tours Vi har Vi har, og hvad gør
- 21:48de? Og hvilken filosofi tager de II
- 21:50den her lidt mere komplicerede softwareudvikling tilgang til
- 21:53til prompt engineering og det synes Jeg er det synes Jeg er
- 21:55interessant, ligesom at lige at gøre lidt status på.
- 21:59Altså hvor hvor er de henne og hvor langt han er kommet ikke at
- 22:01låne kender vi efterhånden alle sammen.
- 22:04Men det udvikler sig også bare hele tiden, længe tiden ikke.
- 22:07Og det får nye ting og gamle ting ryger ud.
- 22:09Og så hvor hvor står vi med de der tools ikke?
- 22:13Men Jeg synes Jeg synes du ser en vigtig ting her, fordi fordi
- 22:16at Det er det der med at andet, så kan man godt fristes til at
- 22:21tro, at nu er det bare II det hele og Det er bare autonomt og
- 22:24Det kan bare gøre det hele selv og wow ikke men men du men men
- 22:30det som vi snakker om også det her med at.
- 22:32De her modeller har også rigtig meget glæde af API og som er
- 22:35struktureret altså som gør, at de kan få adgang til
- 22:38struktureret data. Ikke så de er aldrig altså
- 22:40uanset hvor AI og hvor autonomt det hele bliver, så er det
- 22:43aldrig en dårlig ide at strukturere data og gøre det
- 22:47tilgængeligt og gør det ligesom nemt tilgængeligt på den måde
- 22:51også fordi man også bruge. Heller ikke.
- 22:52Jeg ved jo godt, at så er der nogle der arbejder med det her
- 22:55koncept med med multimodale modeller, som som nu ser vi det
- 23:00efterhånden også lidt II åbne i ichat km t.
- 23:03Som jeg altså. Jeg tror stadigvæk så nede
- 23:06bagved er der stadigvæk mange forskellige modeller der på en
- 23:09eller anden måde er i spil. Og på en eller anden måde er
- 23:12indigneret sammen, så Det er en god ingeniør løsning.
- 23:14Jeg tror ikke, Det er Sådan en true multimodal ting, Der er
- 23:18lidt på jern leçons rage der at ja, Det er rigtig flot.
- 23:22Engineering åbner jeg, og i har sikkert også nogle tynde
- 23:25modeller til at gøre det godt nede bagved det synes Vi er
- 23:28rigtig flot og vi elsker at bruge de produkter og de de
- 23:32fungerer super godt. Undskyld, det gør ikke noget.
- 23:38Men en en sand multimodal model, men Det har vi ikke endnu.
- 23:47Det er ved at blive. Efterforsket til podcasten.
- 23:55Så hvad hedder det? Og så er der selvfølgelig også
- 23:57bare lige nu skal vi ikke brug for at snakke om de use cases
- 23:59med dem videre til de forskellige ting, men hvad er
- 24:00det så er der selvfølgelig også så også det vigtigere ting at
- 24:03snakke om det her med, at de har tools som er lemmer kan bruge,
- 24:07er også brugbar, selvom det ikke er altså kan også bruges, selvom
- 24:10det ikke er Sådan i de her agent frameworks.
- 24:13Det synes jeg bare. Det er vigtigt også at nævne, og
- 24:16så kan man altså også bruge landbrugsmodels til Sådan en
- 24:18gode gammeldags tekst klassifikation opgaver, for
- 24:21eksempel hvor man får en kæmpe game i at i, at altså i hvordan
- 24:26hvad man kan med de her, hvor hurtigt man kan komme i gang med
- 24:29forskellige proof of concept inden for tech classification
- 24:32problemer man er interesseret i at løse, og så synes jeg også
- 24:35Det var at nævne de her den her de her prompt chans eller promp
- 24:40flows de kalder det changes II lange chance, men altså bare det
- 24:43der med ligesom at kede prompt sammen.
- 24:46I Sådan en kæde. Også selvom det ikke er 100%
- 24:51autonom Der er agenter kan også nogle interessante ting.
- 24:54Der kan man ligesom komme nogle der kan guide dem hen med nogle
- 24:57interessante proms i nogle og få nogle interessante
- 25:00processeringen af information så men.
- 25:04Hvad hedder det? Jeg synes måske hvis Vi skal
- 25:06prøve at kigge hvis Vi skal hvis vi ligesom skal prøve at dykke
- 25:08ned i Sådan lidt ned i grady hvad når man koder de her ting,
- 25:11hvor ligger man så filerne er? Hvad for nogle klasser laver man
- 25:14og alle Sådan nogle ting som Jeg synes meget hurtigt og det?
- 25:19Det er også noget af det første jeg ligesom stødte på da jeg
- 25:21blev introduceret til lange chain når man koder med prompts
- 25:26og prøver at lave engineering som med programmering.
- 25:29Så får man meget hurtigt brug for en bestemt type koncept på
- 25:35en eller anden måde, og Det er det her det her koncept om en
- 25:37prompt template jeg ikke kan du ikke prøve at kan du prøve lige
- 25:41at brække ned? Det er Jonas en prompt template.
- 25:44Jo altså i min verden er en ja præcis i min verden ikke en
- 25:50promp i min verden. Jo det her tekst man sender
- 25:53afsted, og man hacker med. Selvfølgelig har man da også en
- 25:56model der modtager teksten. Og så bare for at være helt
- 25:59specifikke en prompt. Her et stykke tekst som når i
- 26:03det øjeblik det rammer inputtet på modellen.
- 26:07Så det det det Det er der det bliver til en prompt ikke, men
- 26:10Det er Sådan. Eller ja, Det er jo spørgsmålet
- 26:13om parametrene til modellen også er en del af pumpen, fordi man
- 26:18sender jo det der ikke så mange der ser når man bare bruger
- 26:21chatt. Men Der er jo parametre man
- 26:23sender med altså det her temperatur og og og man kan også
- 26:29man kan også bede dem om ligesom at stoppe med at generere noget
- 26:32når den møder et bestemt token og Sådan nogle ting de her p har
- 26:35jo forskellige. Og det, det kommer jeg også lidt
- 26:38mere ind på senere, men men men der vil jeg så sige at at et
- 26:40template, altså Det er jo så det her tekst, hvor du på en eller
- 26:44anden måde har har genereret nogle nogle parametre til din
- 26:48tekst, altså til din prompt som du kan putte med ind ikke.
- 26:52Det kunne for eksempel være du har bygget en prompt der hedder.
- 26:57Gør det her med, eller? Ja prøver jeg bare sunrise den
- 27:03her skriv et resume af den her tekst her ikke, og Det er så den
- 27:08her tekst, altså den rumpen rundt omkring det at skrive.
- 27:13At instruere dem i at skrive en en presume.
- 27:16Jamen Det er jo Det er jo en ting, men den skal jo så måske
- 27:20gøre det på mange forskellige. Efter og artikler eller hvad ved
- 27:24jeg ikke og der har du jo så en eller anden form for at kunne
- 27:30indgå. Vægte det her.
- 27:32Data artiklen som den skal gøre Det er meget simpelt, ikke?
- 27:36Altså, men men man kan jo forestille sig et flow hvor at
- 27:39at at det her er 1 1 1 beslutningstræ i sig selv ikke
- 27:45hvor hvor skal jeg hen? Hvad for noget tekst skal jeg
- 27:48putte ind? Hvad for en ekstra front skal
- 27:52have med ind her for at sikre mig det det rigtige output og så
- 27:56videre og så videre og så videre og Det er jo det der ligger II
- 27:59det her templating det hele ender som tekst på et tidspunkt.
- 28:03Og så bliver det så spyttet afsted til den.
- 28:08Og hvis man kender Sådan noget, som det gør de fleste nok der
- 28:11programmerer derude ginger altså dobbelt curly braces syntaksen
- 28:14for ligesom at at have variable i sin tekst, så er det jo.
- 28:21Og Sådan noget. Er det ikke meget hotel
- 28:24rendering og Sådan noget? Ja.
- 28:26Det er jo det altså for eksempel janko frameworket, som måske
- 28:29nogle python udviklere kender ikke?
- 28:30Altså den har jo sin egen template, som som bruger lidt
- 28:32den samme taxa, men men men Det er det jo gør.
- 28:35Det er jo netop det producerer noget HTML på serversiden, hvor
- 28:39at data for hvad der skal være i det hr l er renderet serveren,
- 28:44og så bliver det sendt til klienten.
- 28:45Klienten viser det bare og så er alting fryd og gammen ikke det
- 28:50det det samme jo i virkeligheden.
- 28:51Man har behov for et framework til det.
- 28:54Bare med med alle lemmer, så Det er i hvert fald template delen.
- 28:58Det er Sådan jeg ser den del. Ja ja typisk, ja som man får man
- 29:03får jeg. Jeg synes Det er virkelig
- 29:04interessant fordi man identificerer lynhurtigt Sådan
- 29:07nogle promt koncepter som er brugbare på tværs af mange
- 29:13forskellige inputs, for eksempel det her, og Det er virkeligheden
- 29:16opgaver ikke hvor man finder okay Der er en opgave der hedder
- 29:19sunrise en tekst for eksempel, hvad kunne man ikke ligesom bare
- 29:24lave en generel prom til det og så ligesom have en en
- 29:27placeholder for et eller andet stykke tekst.
- 29:29Hvor man så putter noget tekst ind og så udfører den opgave
- 29:32ikke og det og det. Og Det er Sådan det.
- 29:36Det synes jeg bare er meget hurtigt.
- 29:37Man får får får brug for ligesom at at lave den abstraktion, og
- 29:41Der er rigtig mange forskellige typer af opgaver man kan
- 29:45definere på den her måde, også for eksempel klassifikations
- 29:47opgaver. Hvis du er interesseret i at
- 29:49lave finde ud af hvad sentiment altså Sådan hvad humøret i et
- 29:53sætning er for eksempel, så kan du også bede en sprogmoduler om
- 29:56at sige, hvad er sentiment af den her sætning?
- 30:01Kolon og så placeholder sætning på en eller anden måde ikke og
- 30:07og det virker på en måde. Så virker det som et utroligt
- 30:09simpelt koncept det her altså Det er Sådan lidt.
- 30:11Okay, Det er bare en f streng i python, ikke?
- 30:13Altså. Det er det jo også kan man sige,
- 30:16så derfor behøver hvis man laver de her templating, behøver det
- 30:20faktisk ikke at være meget mere kompliceret af det end det Jeg
- 30:24vil sige der hvor det bliver mere kompliceret.
- 30:26Det er jo når man begynder at være kreativ, ikke?
- 30:28Altså om de her som jeg sagde før med de her f statements.
- 30:32Loops hvad kunne man forestille sig at der var med til ligesom
- 30:35at. At at generere noget inden, så
- 30:38kan man lige pludselig ser man hurtigt sig selv skrive rigtig
- 30:41meget python kode, der producerer nogle tekststumper,
- 30:45som så kommer ind i de her f strings og så videre og så
- 30:48videre. Så så Der er behov for et eller
- 30:51andet derude, der hjælper en med det.
- 30:55Og så er vi jo slet ikke nået til det her med.
- 30:57Altså en ting er at sende noget tekst og vente på et et svar fra
- 31:02en model og noget andet er ligesom at streame et svar.
- 31:07Og eventuelt interviewe i den stream og b modellen om at gå
- 31:11videre. Altså det ved jeg ikke om vi kan
- 31:14lige vente lidt med at gå helt i dybden med det, fordi Det er ret
- 31:16crazy og Det er i virkeligheden det.
- 31:18Det er i virkeligheden et koncept, som er totalt
- 31:20undervurderet. Mulighederne i det synes jeg, og
- 31:24blandt andet lånene har overset det rigtig meget, synes jeg.
- 31:27Men. Og lige hurtigt disclaimer her.
- 31:30Jeg har lige nogle vi klokken. Det er søndag og klokken 10.
- 31:33Jeg ved ikke om man kan høre det, men Jeg har nogle unger
- 31:35nede i stuen som som som lejer lidt højt.
- 31:37Hvis hvis man undrer sig over hvad hvad Det er men.
- 31:40Den nøjes kansler vi senere. Den nøjes kansler nå undskyld.
- 31:46Fortsæt Jonas. Ja men, men Det kan være vi lige
- 31:48skal gå lidt ned ad den vej, fordi Jeg synes det Det er
- 31:51interessant det her med at streame versus versus bache.
- 31:54Vi snakkede også om om det i en altså.
- 31:58Vi vandt til, når vi går ind på chat kan vi se, så ser vi, at
- 32:01den producerer et toppen af gangen.
- 32:04Men men forestil dig, ligesom at du havde muligheden for at bede
- 32:07dem om at stoppe ved bestemt tabel ikke Det er det Vi har ved
- 32:10det her. Stop stop toppen.
- 32:14Og så når den så stoppede der. Nu er du for eksempel er din
- 32:19taske, at du beder den om at generere punkter af 3 punkter.
- 32:23Vil du gerne have generet af et eller andet?
- 32:26Så kommer den til tredje punkt ikke, og så ved du jo nu har den
- 32:31lavet 3 punkter. Det kan du se i streamen.
- 32:33Ikke noget til punkt nummer 3, så siger du stop.
- 32:38Lad være med at generere noget efter det, vi kender alle
- 32:40sammen. Det der skal jeg vente på den
- 32:42forklare alt muligt nedenunder, og det tager det koster jo
- 32:45gruppen så alle mulige ting og sager.
- 32:46Så siger du bare stop så injector du igen ind i det Det
- 32:51er stream flow så siger du så nu har du lige lavet 3 punkter, Jeg
- 32:54vil gerne have dem i Jason for eksempel, og så kører du videre
- 32:57derfra og det der jo egentlig sker der Det er at at.
- 33:03Du du er repr den jo i virkeligheden igen, men den den
- 33:07har jo genereret derned til så du injector ligesom noget noget
- 33:10noget tekst. Det behøver den ikke at generere
- 33:12det tekst. Det er noget Det er en ekstra
- 33:13instruktion du putter ind i det flow.
- 33:16Hvordan alt som den allerede er i gang med.
- 33:19Så det du du prøver dem bare med de tokens som den ellers selv
- 33:23kunne producere. For eksempel Det kan være Det
- 33:25kan også være noget du du er injektor og Det er det som det
- 33:29her framework, der hedder guidance som som Microsoft har
- 33:32været med til at lave. Jeg skal sige, Jeg vil ikke.
- 33:36Jeg vil ikke helt anbefale at gå ud og bruger guiden selv, fordi
- 33:38hvis man lige dykker ned i det og kigger lidt på det, så er det
- 33:41ikke særlig. Der er ikke aktivt maintenance
- 33:44eller udvikling af det, men selve konceptet omkring guidance
- 33:49synes Jeg er enormt fascinerende, og Det er også ret
- 33:53rodet og skrædder kode, men Jeg synes.
- 33:56Det er som du ved. Det det ligner Det er Sådan en
- 34:00mand en mand Der er gået på en random sagt altså det her.
- 34:04Det kan vi gøre bedre problemstilling og og og Jeg
- 34:07synes også Det er rigtig rigtig fornuftigt men men men Jeg tror
- 34:10Det er lidt buggy hist og her, men ideen er faktisk noget man
- 34:13selv kan implementere, bare med at åbne jeres stop toppen, så
- 34:18kan man sagtens kode sig ud af nogle enkelte eksempler på den
- 34:21måde der nej så så så så man kan sagtens lave det her selv med
- 34:26med åbne jeres øh hvad kan man sige klient?
- 34:30Til chat og så kan man så kan man jo bruge det her.
- 34:34Stop token parameter og man kan forestille sig at man selv
- 34:38vælger hvornår den skal stoppe og så repr prompte den på den
- 34:41måde og det synes jeg det synes jeg.
- 34:43Man skal bare lige opfordre til at gå ud og lege lidt med man
- 34:47kan man kan man kan spare tid og man kan spare penge fordi man jo
- 34:52genererer færre tokens og kommer hen til måske det samme og Det
- 34:56er også noget af det som det her framework guidens slår sig lidt
- 34:59på til vi kan gøre det hurtigere og og.
- 35:02Og måske også billigere. Det er Sådan lidt fordi så
- 35:05prøver man alligevel 2 gange og det koster med input token.
- 35:07Så hvordan er det lige men? Altså ja så.
- 35:14Ja ja så det så Det er jo altså man kan sige og Det var sjovt
- 35:18det her med at Det er sjovt som som datasign test at eller Sådan
- 35:24folk person der har udviklet meget Sådan modeller at gå fra
- 35:29at arbejde med modellerne. Altså Jeg vil træne modellerne.
- 35:31Vi henter dataene, modellerne ændrer i vægtene og alt muligt
- 35:35til bare at kalde API, og Det er det man gør.
- 35:39Det er bare Det er bare en PIPI game det her ikke hvor du skal
- 35:43du kalder det der du kalder bare de der.
- 35:46En pointe med med post request tech og ja det, det skal man
- 35:51lige vænne sig til og der det giver nogle andre.
- 35:54Det er også lidt det der foundation model koncept ikke
- 35:57hvor at du ligesom har hele den store fede model der bare ved
- 36:00alt et sted og så kobler man ligesom på det ikke?
- 36:03Og det gør du så via via Sådan et api der.
- 36:08Men og Jeg synes også jeg så og Det er sjovt det der med at at
- 36:11man får lynhurtigt. Det koster jo penge det her.
- 36:13Det er jo ikke gratis at kalde det her sprog modeller, så man
- 36:15får lynhurtigt også brug for Sådan at kan vi gøre det
- 36:18billigere og behøver vi kan vi slippe for at generere hele
- 36:20teksten en gang til, når Vi skal lave en ændring, kan vi på en
- 36:24eller anden måde også hurtigere ikke?
- 36:25Altså Det er ikke bare billigere, men Det er også
- 36:27hurtigere. Der er rigtig mange der folk
- 36:29gider ikke vente på ting, de vil gerne have, det skal gå hurtigt
- 36:32og de skal få deres svar hurtigt, så kan vi på en måde
- 36:34gøre det, at Sådan så det. Det virker hurtigt ikke, ligesom
- 36:37dengang internettet var nyt hvor man stod og ventede på et dyk,
- 36:39dyk, dyk, dyk, dyk af siden. Wendell der ikke Det var også
- 36:43bare nederen ikke så så Det er jo helt interesseret.
- 36:46Det skal gå hurtigere, så det bliver en bedre brugeroplevelse
- 36:48ikke? Og og der findes der alle mulige
- 36:51tricks som folk som er totalt oppe end de er lige nu og hvad
- 36:56det kommer til at blive og Det er virkelig.
- 36:57Det er sikkert også forestiller jeg mig i hvert fald midlertidig
- 37:01hacks. Som ikke bliver nødvendig i en
- 37:06ude i måske 10 år ude i fremtiden, fordi så er halvfem,
- 37:09men måske endda kun fordi så så har man bare fundet en masse
- 37:12metoder til at gøre det meget hurtigere, ikke?
- 37:15Så jo og og men der tror jeg faktisk altså hvis jeg skal sige
- 37:19noget, men tro på fremtiden. Der tror jeg helt klart på at at
- 37:23streaming er en en stor ting inden for for det her ikke.
- 37:27Altså det her med at de producerer et token af gangen og
- 37:30man vil gerne. Altså man har jo et problem med
- 37:33at stoppe den. Altså der Der er wasted compute
- 37:37i stort set alle prompts i alle outputs fra LMI dag ikke og Det
- 37:41er der fordi de bruger tid på at generere nogle tokens, som du
- 37:44synes er dybt set ligegyldigt for eksempel forklaringer
- 37:49nedenunder og og hvad ved jeg ikke.
- 37:51Det er også derfor, at Vi har fået det her hos opnå jeg der
- 37:54hedder funktion calls ikke? Altså du vil bare gerne have at
- 37:57de her at den skal hapse de her ting ud af noget tekst du har
- 38:01givet den og map den ind til noget en datastruktur eller
- 38:04måske til et funktionskald. Men same same ikke og og hvad
- 38:10kan man sige det? Det er Det er virkelig handicap
- 38:14og Det er det jo fordi at at at. Altså så det tager faktisk
- 38:19kortere tid du kan prøve dig selv.
- 38:21Altså det at at bede om et function call versus at generere
- 38:25de her 3 punkter for eksempel eller sige til dem.
- 38:27Det er 3 punkter der skal ind i en liste her.
- 38:30For eksempel ikke til den her funktion, det det går hurtigere
- 38:34og få resultatet tilbage, og Det er fordi den skal Sådan set
- 38:38producere færre tungens til det for at lave det der fucking cool
- 38:42output og og Der er også noget med at man fordi at man beder om
- 38:47et funktions kort, så kan jeg åbne jo også.
- 38:49Optimere på det der. Hvornår har den lavet det som
- 38:52brugeren beder om, så derfor går det også hurtigere, så Der er
- 38:57rigtig rigtig mange tricks, man kan putte ind over det på den
- 39:00måde, og det gør jo, at du du er Sådan set.
- 39:03Får noget der virker hurtigere, så så at at Jeg vil sige til
- 39:08alle dem derude der ikke lige ved hvordan streamen fungerer og
- 39:11server side events og HCP kan med streams alt det der hejs.
- 39:15Det sætter jeg lige lidt ind i det fordi det Det er altså Det
- 39:18er altså en stor ting med de her Det er Det er en skill man man
- 39:23gerne må lære. Ja det kunne jeg godt bare kan
- 39:28jeg godt. Bukser på.
- 39:32Jamen så bare lige hurtigt 111111 sidste ting måske så kan
- 39:35vi gå videre men hvad hedder det?
- 39:39Der er også det her. Nu snakkede vi om at pumpe
- 39:41templates er brugbart, fordi man lynhurtigt ligesom identificerer
- 39:46de her opgaver, som man gerne vil have dem til at løse, hvor
- 39:49Det er brugbart, at der ligesom er dynamisk data, der ligesom
- 39:51kommer ind et eller flere steder i de prompt og så og så som du
- 39:57også sagde Jonas det her, så får man også lynhurtigt lyst til at
- 39:59lave Sådan en flows eller chaînes af forskellige prompt
- 40:02skal og måske lave FL statements og ligesom control flows omkring
- 40:07hvordan den skal opføre sig give et bestemt output.
- 40:10Og så får man nemlig også, og det synes jeg også taber meget
- 40:12godt ind i den her samtale omkring output.
- 40:15Så får man lynhurtigt også, at man er meget interesseret i at
- 40:18få noget struktureret output, som man kan bruge programmatisk,
- 40:22altså en eller anden form for Jason, hvor du ved at i den
- 40:26kirke, Der er altid den værdi, som Jeg kan conditionne på, hvis
- 40:29Jeg vil træffe den her beslutning eller et eller andet
- 40:31ikke. Og Det er jo også hele 1, 1 1, 1
- 40:351 til en ting man man kommer til at arbejde med, hvis man
- 40:37arbejder med det her. Det er også hele den her output
- 40:39passing deler det ikke. Hvor hvordan får vi, sikrer vi
- 40:43at det der kommer ud, ligesom bliver formateret på en eller
- 40:46anden måde, så man kan bruge det i noget automatiseret flow.
- 40:49Og der var Jeg kan huske lang chain for open air kom med
- 40:52function call calling, så havde lange chaîne lavet et framework
- 40:57omkring det her med auto pass, hvor de ligesom havde lavet det
- 41:01Sådan at man kunne definere en pige dansic klasse og så kunne
- 41:05den ligesom lave det om til et Jason skema som puttede ind i
- 41:08pumpen på en formateret ind i kroppen på en bestemt måde, som
- 41:11så ligesom kunne gøre det mere konsistent og sørge for at det
- 41:14oftere. Blev håndteret rigtigt, fordi
- 41:17Det er jo Sådan med de her modeller, at Det er ikke altid
- 41:19de lige synes Det er fedt eller Sådan har lyst til lige at at
- 41:22putte 100% valgt Jason så. Det er Det er interessant
- 41:27hvordan man kan altså hvordan man får det implementeret.
- 41:31Men Jeg tror hvis jeg skal være helt ærlig, så fordi Det er også
- 41:34meget noget Der er meget modelspecifikke hvordan de er
- 41:36trænede til at outputte hvad de output der og Sådan nogle ting
- 41:39Jeg tror at Det er en af de ting hvor at man bare må sige det det
- 41:43laver man en en fintuning til. For at få dem til, ligesom at
- 41:48comply med at outputte det her dataformat, Det er helt klart
- 41:51det mest effektive, og formentlig kan du også fintune
- 41:55den til netop at så producere fair tokens og på den måde komme
- 42:00hen til det du gerne vil. Og Jeg kan næsten ikke se at
- 42:03alle dem der udbyder de her lars language models, at det ikke er
- 42:07en del af deres pipeline i deres development, altså roadmap vil
- 42:13sige fordi det det giver bare så god mening.
- 42:16Det er det vi vil have. Og vi vil faktisk.
- 42:18Vi gider faktisk ikke at bøvle med alt mulig output parsing i
- 42:21alle mulige framework som som fighter nogle gange, og nogle
- 42:23gange virker det. Nogle gange virker det ikke, og
- 42:25så er en af løsningerne der så prompte igen og så prøv at se om
- 42:29den opfører sig rigtigt og det det Det er for tyndt, så Jeg
- 42:36tror bare det det det tror jeg jeg ville indse hvis Det var mig
- 42:39der lavede Sådan et framework som langt hen at Det er ikke nok
- 42:41nok ikke noget Vi skal bruge så meget mere tid på at løse det.
- 42:45Der er sjovt fordi Der er bare så mange ting for eksempel det
- 42:49her output passers i lang tid. Som vi så bare være en
- 42:52midlertidig midlertidig hack for at få det til at opføre sig
- 42:56ordentligt. Ikke?
- 42:57Og det tror jeg bare, vi kommer til at se så meget af, at Der er
- 43:00så mange løsninger, der kommer til at være midlertidige ting.
- 43:03Og så lige pludselig så går det så hurtigt.
- 43:05Eller bliver det indbygget API ørerne eller der sker en eller
- 43:08anden udvikling der gør, at så er det bare ikke?
- 43:10Så er der ikke behov for de ting er fordi.
- 43:13Det ligesom er er lyst. Men har de udfaset det fordi Jeg
- 43:15har ikke jeg. Har ikke fulgt nok med passus
- 43:17ja, det tror jeg faktisk ikke de har, fordi Der er jo stadig man
- 43:21kan sige Der er jo stadig anthra beck og cookier og airway laps
- 43:26og Der er forskellige udbydere af alle lemmer, ikke hvor det
- 43:28ikke er dem alle sammen. Der har det her funktion
- 43:30calling, men sandheden så vidt jeg altså kan forstås.
- 43:33Det er jo ligesom bare at altså 95% af alle applikationer der
- 43:38bliver bygget på l emmer er åben i ikke så så på den måde.
- 43:43Kan de så jo også det der behov? Så vi vi snakkede også om på et
- 43:46tidspunkt, og vi havde en lille revelation og en forudsigelse
- 43:51kan jeg huske podcasten, hvor vi sagde det der?
- 43:52Det er der nogen, der får en tvivl om modellen til, fordi Det
- 43:54er skønt at bruge så meget tid på.
- 43:56Det er Sådan en. Det er fordi som det her
- 43:58egentlig så ser man bare det der som Sådan helt oplagt.
- 44:01Det er jo bare Jason hver gang ikke.
- 44:03Det skal jo bare invitere en masse Jason sikre mig at den
- 44:06altid spiller Jason ud altså what the problem Det kan Det kan
- 44:09vi fintune det der så selvfølgelig kommer det men.
- 44:12Ja de andre, de kommer på vognen.
- 44:15Det er også sjovt. Ikke fordi de kommer.
- 44:17De kommer 100% også til at nu snakker du om det her med at
- 44:19bruge det der kommer ud og prøv den mere altså modellen mere
- 44:22effektivt sørger for at du ikke du generer så få tungen som du
- 44:26ikke skal bruge når du kalder den ikke og det kommer der jo
- 44:29det der også. Det kommer de jo også til at
- 44:31bryde med tænker jeg også fordi på en måde så så hvad hedder det
- 44:35Der er også Det er noget med de har udgivet deres instruction
- 44:37model igen. Det er bare.
- 44:40Jeg er faktisk ikke helt dækket ind, men men Det er noget med.
- 44:42Men altså Det er også fordi at når man bruger de her chat
- 44:44modeller, så er de i virkeligheden de er jo chat.
- 44:46De er jo udviklet til at chatte med og nogle jeg bruger i hvert
- 44:50fald tit til Sådan ikke chatting som for eksempel tekst
- 44:52klassifikation eller sunrise asian eller et eller andet, og
- 44:55så kan de nogle gange godt have en lidt uønsket adfærd, fordi de
- 44:59var faktisk tunet til noget andet og så videre så og det
- 45:04kunne den adfærd kan ligesom gøre at de er lidt for chatty
- 45:07som man kalder det. Ja de er meget bebos ikke.
- 45:11Kan godt lide at snakke og fortælle uha undskyld og ej det.
- 45:16Det er det interessant projekt du gerne vil ud i det og så
- 45:19videre. Ikke de er bare blevet så
- 45:21overordentlig Jeg synes det nå ja men så så.
- 45:25Jeg. Jeg tror også på.
- 45:28At der kommer noget på det der, og Jeg tror også nu har Der er
- 45:31jo lidt rygter. Jeg ved ikke om man skal begynde
- 45:33at snakke om det, men Der er jo lidt rygter at have hørt om at
- 45:36at der kommer en ny udrulning af api delen hos abena jeg hvor
- 45:41hvor der også er altså de det skulle være et stateful AP altså
- 45:45det. Det er noget med at man skal
- 45:47forestille sig i dag. Der er det jo Sådan at vi sender
- 45:491 1 1 chat historik hver gang ikke, og Vi skal ligesom selv
- 45:54holde styr på den der chat historik der og guderne må vide
- 45:58hvor. Og hvordan ved den?
- 46:02Den ved jo ikke på det request hvad?
- 46:04Hvad er det for en request der kommer ind og Sådan noget så
- 46:06det? Den har det nok med at over
- 46:09compute en hel del den der løsning der ikke og måske har de
- 46:13noget cashing. De har nok noget cashing i et
- 46:15eller andet sted og Sådan noget, men men man kunne godt
- 46:19forestille sig at det kunne gøres mere optimalt og at vi
- 46:21ikke gad at sende så meget tekst hele tiden, men vi bare gerne
- 46:24ville sende den næste besked og så videre.
- 46:26Ja lige præcis super gode pointe ikke også fordi Sådan ja og også
- 46:30hele det her, som også er en kæmpe del af linjen i
- 46:32virkeligheden. Hele det her memory komponent.
- 46:35Hvordan sørger man for at de kan huske tilbage II chat samtalen
- 46:38før og Der er forskellige metoder til det?
- 46:40Blandt andet kan man putte det ned i en vektor database
- 46:42selvfølgelig en bette teksten og ned i en vektor i løsningen på
- 46:45alt i øjeblikket ikke og så eller også kan man sunrise den
- 46:48forudgående samtale. Der er forskellige tricks på en
- 46:50eller anden måde, men på en eller anden altså ærlig talt,
- 46:53Det er vel også give sygt god mening hvis openai på sigt bare
- 46:58gjorde altså overtog den der den der del ikke.
- 47:00Jo man kunne godt forestille sig at de bare kunne gøre det altså
- 47:03de de de kan nok bare gøre det. Det er virkelig godt.
- 47:07Det tænker jeg, men men men da de lavede den der funktion
- 47:10calling, så var det jo også Sådan en en oplagt case som
- 47:13formentlig var enormt nem for dem og use casene kunne man se
- 47:19der var behov derude, må bare kigge på land tjene se hvad de
- 47:22stoppede med og så du ved Sådan nå men hvad og så kan man bare
- 47:26håbe som åbner i business pris ville jeg jo bare sige hvad er
- 47:30det for nogle problemer folk står med derude jeg skal løse.
- 47:32Og så hapsede fra dem. Du kan bare kigge på langen og
- 47:34alle de der struggles. Hvor er koden virkelig rodet?
- 47:37Den tager jeg den der og så. Tager de bare 100 startups hver
- 47:41eneste gang, de er i øvrigt. Måske, men i virkeligheden bare
- 47:44skal være lidt mere strategisk i sin startups og lade være med at
- 47:46lave Sådan en shallow applikation henover, ligesom den
- 47:50der Andrew, Andrew yang, nej, Andrew, anja, Jeg kan huske,
- 47:55hvordan man taler om han lavede i Sådan en talk.
- 47:58Jeg tror Jeg har sagt et par gange, altså lad være med at
- 48:01lave appen der kan der kan tænde lommelygten.
- 48:03På på iphonen som som nogle gjorde det den kom ud og og og
- 48:09den kostede et eller andet antal dollars og og så fandt folk ud
- 48:12af at Det var jo bare et totalt nemt at replicate der altså der
- 48:17hvor mange linjer kode var der i den ikke device tændt så var det
- 48:21done. Men man kan sige en sjov ting
- 48:24ved det, Der er en sjov ting ved det.
- 48:25Der er også ikke, at der var sikkert meget gode.
- 48:27Der var sikkert et vindue, hvor der var rigtig gode penge i at
- 48:30at lave det der. Altså Sådan Jeg tror fordi der
- 48:33var en stor demand. Der var penge i det.
- 48:35Altså fordi jeg troede ikke, man har ikke kunnet nå at tjene
- 48:37penge på på på Sådan en lille boble der, men til gengæld har
- 48:41man nok kunne få nogle investeringer som så brød
- 48:43fuldstændig sammen, fordi Der er dem der har investeret ikke har
- 48:46fattet hvad de har lavet. Og Det er jo ja det tragedie,
- 48:51men. Ja så så jeg.
- 48:54Jeg tror vi vi Vi er over hype cycle og Vi er begyndt at kigge
- 48:57på nogle nogle ting i forhold til prompt ingenting hvad?
- 48:59Hvad har egentlig værdi og hvor og hvor Der er et behov for også
- 49:04at lave kostumer, ting og måske også det der med racks, altså
- 49:07retrieval og mente generation er jo nok noget som er Sådan og
- 49:12alle aktive. Det er okay nemt og ligesom at
- 49:14lave skallen til det, Det er ikke Sådan så man kan have folk
- 49:17til at sidde og masseproducere dem, men i en i en business
- 49:20kontekst, ikke fordi de skal skræddersyes du kan ikke tage.
- 49:25Det er meget svært at forestille sig, at Microsoft kommer ud med
- 49:27Sådan et land. Her kan Rashford everybody
- 49:30agtigt bare uploade alle jeres dokumenter?
- 49:33Og ja, og så så Det kan godt være de laver det ikke og siger
- 49:36bare at uploade dokumenter til os, eller hvis i har dem i
- 49:39forvejen, så skal vi nok have snablen nede i, men Det er bare
- 49:43Det er mit indtryk er bare at Det er jo ikke så mange så mange
- 49:46enterprise folk der synes Det er fedt det der og de er Sådan lidt
- 49:50loren ved det, så Der er også noget compliance der gør at at
- 49:52vi får en masse arbejde, ikke også i unge fordi at så Vi skal
- 49:56jo på den måde er det jo meget godt at.
- 50:00På en eller anden måde ikke. Det er sjovt, fordi nu Det er
- 50:02noget vi snakker om nu her lige pludselig om hvad hedder det
- 50:04Sådan lidt mere business? Hvad er holder på den lange bane
- 50:07og Sådan noget ikke jeg på en eller anden måde, så synes jeg
- 50:09at det som er evergreen i forhold til til til at arbejde
- 50:14med de her ting og som en et princip som Jeg tror ikke dør og
- 50:17som ikke bliver taget over og ligesom bare bliver løst af Open
- 50:21i eller nogle andre, kan man sige Det er Sådan hele processen
- 50:25omkring at arbejde med de her ting.
- 50:28Hvad skal vi sige på en eller anden måde her?
- 50:29Og på en måde synes jeg også det.
- 50:31Jeg synes på en måde Midtjylland er et ret godt eksempel, fordi
- 50:34midtjyderne har ligesom set okay bum Vi er.
- 50:37Det er en spændende teknologi det her UI fuck det vi bruger.
- 50:40Vi bruger discord fordi vi ikke frontend udvikler folk, elsker
- 50:44det og så og så hver eneste gang de genererer et billede fra en
- 50:48prompt så så hvad hedder det? Så vælger folk et billede, og
- 50:53Det er jo basically RAF altså Det kan man i hvert fald lave,
- 50:57forestiller jeg mig en eller anden form for.
- 51:01Verbale ja et eller andet sjovt. Det er jo de de samler jo bare
- 51:04data når folk bruger produktet ikke og Det kan de bare bruge
- 51:07til at gøre produktet bedre og bedre og bedre hele tiden.
- 51:11Til at vælge et billede? Jo lige præcis, så de har
- 51:15ligesom de har og og og Der er selvfølgelig noget med
- 51:17dataindsamling der, men Der er også noget med at tænke machine
- 51:20learning processen ind i selve produktet på en eller anden måde
- 51:24ikke og og gøre det bedre, altså gøre at brugeroplevelsen hele
- 51:29kernen af brugeroplevelsen er det, der gør dit produkt bedre,
- 51:33og det der ligesom giver dig long terme, hvad skal man sige?
- 51:37OK, nu er de long terme skal man passe på med at bruge, ikke de
- 51:40har været, hvad har de været virksomhed eller Sådan ikke, men
- 51:42også bare det her med. Hvis du sætter dig, for Jeg tror
- 51:46vi, du skal være interesseret i hvad?
- 51:47Hvad for et problem vil du gerne løse?
- 51:48Jeg vil gerne du ved at løse det her problem.
- 51:50Jeg vil gerne skrive lave en automatiseret advokat, som bare
- 51:55du ved fuldstændig kan gøre advokater absolute for eksempel.
- 51:59Og så sige det det. Det vil vi gerne gøre om Vi har
- 52:04LM eller hvad fanden Vi har, Det er lige meget, men det Der er
- 52:07vigtigt Det er, hvordan sætter vi den her proces op omkring at
- 52:09nå det mål og komme tættere på hele tiden ikke og hvordan kan
- 52:13vi designe det i Vores software? Hvordan kan vi?
- 52:15Være disciplineret omkring at arbejde med det.
- 52:18Ja og og arbejde med tonisk med det ikke altså det her med Sådan
- 52:21ligesom at sige husk at hver eneste gang man oplever et
- 52:25problem skriv det ned put den i sit problem bank og prioriterer
- 52:31dem og løse dem fra en ende af. Og du ved fordi Jeg tror bare
- 52:33Det er Sådan man laver machine learning.
- 52:34Jeg tror Det er Sådan for machining til at blive magisk.
- 52:37Det er det der med at man ligesom bare fucking vil løse
- 52:40det problem ikke? Altså Google for eksempel de vil
- 52:42bare løse search altså det Det er fuck Det er de bare committed
- 52:46100% til ikke. Det gør vi ikke.
- 52:49Lige præcis, og de har bare taget den fra en ende af og
- 52:52sige, okay fair nok Vi har yahoo.
- 52:54De brugte bare helt dumt keyword matching.
- 52:58Nu har vi fundet 1 1 1 algoritme der har pagerank som fungerer
- 53:00rigtig godt. Den fungerer ikke perfekt, men
- 53:02den tager den er i hvert fald bedre end jo ikke og og så og så
- 53:05og så kører vi bare derfra, så finder man ud af OKOK når folk
- 53:08søger på Google Der er også nogle Der er interesseret, Det
- 53:10er tit folk interesseret i at finde noget Der er tæt lokalt
- 53:13relevant Sådan jeg bor i Roskilde eksempel vil jeg gerne
- 53:18finde ud af hvor Der er et pizzeria i Roskilde Jeg er
- 53:19ligeglad med om Det er hvad Der er i.
- 53:22II hvad hedder det Aarhus eller et eller andet ikke Sådan?
- 53:25Og så begynder man ligesom bare at tage den der proces, og så
- 53:27begynder man at tænke, okay kunne det være man skulle lave
- 53:29noget der hed Google maps og Google earth og sendte dig lidt
- 53:32op? Altså du ved så.
- 53:35Crazy. Men en brand der men, men du ved
- 53:38det giver det mening. Det er fandme evergreen
- 53:40evergreen. Eller andet der altså nu skal
- 53:43du. Nu skal det jo ikke handle om
- 53:45prompt. Ingeniør ikke, men men Jeg tror
- 53:47netop II den sammenhæng også som du siger altså at at samle det
- 53:51rigtige data op. Men Jeg vil bare lige advare om
- 53:54at at man kan. Altså man kan selv man skal man
- 53:59skal vide hvad for et problem man gerne vil løse med det data
- 54:01man samler op. Man kan ikke man kan ikke lave
- 54:04Sådan en Vi skal bare samle data op jo Det kan du godt hvis Det
- 54:08er Sådan chathash sammenhæng det det Der er med med chat
- 54:12kapacitet Det er og den måde som regel først med lancôme feedback
- 54:15er lavet med Det er den er tyveriet til.
- 54:19Trancher menneskelige præferencer hvad er det?
- 54:22Det er meget bredt. Det mest interessante der Det
- 54:25er, at et eller andet sted i menneskelige præferencer.
- 54:28Så er der nogle fællesnævner, eller Der er nogle dimensioner
- 54:32af mange, mange dimensioner af præferencer, som den kan
- 54:35indfange i den træning, og derfor er den god til at give.
- 54:39Hvad hedder det brugbare svar tilbage på alle mulige ting?
- 54:42Ikke fordi den er annoteret i mange subjektive retninger, men
- 54:45den kan godt finde ud af ligesom at forholde sig til alle dem.
- 54:48Den har ligesom lært alt dem. Og Det er jo det Der er.
- 54:52Hvad kan man sige der kan du godt samle Sådan?
- 54:56Så tag en kæmpe skovl og bare skovle præferencer ind ved Sådan
- 55:01en thumbs up og thumbs down. Men hvis du ikke skal lave
- 55:04forskellen med unik feedback, så er det data ikke sindssygt fedt
- 55:07for dig. Det er rimelig ligegyldigt og.
- 55:10Det er der ikke særlig mange der skal der ikke særlig mange, der
- 55:12skal have en forestilling med hummel feedback.
- 55:14Det er rimelig tungt, men til gengæld kunne det være nogen,
- 55:18der gerne vil fintune en model til nogle nogle enkelte taske
- 55:23måske 2 eller 3 forskellige, og der skal man i virkeligheden
- 55:26ikke bruge særlig meget data, men man skal have.
- 55:28Ekstremt præcis data, og man skal samle præcis det ind man
- 55:31skal bruge. Så nogle gange er den der
- 55:34brugergrænseflade måske ikke så nødvendigt der prompte
- 55:37engineering sammenhæng. Måske er det bare lige good old
- 55:40annotering, men hvis nu Det er at man skal samle meget data ind
- 55:45og Det er mængderne Der er vigtige og det der jamen, så kan
- 55:48det godt være at man skal bage det ind i sin brugergrænseflade.
- 55:51Så så der Der er flere varige det der synes jeg.
- 55:55Og altså det fedeste. Det er jo det der trick som du
- 55:58siger. Men Jeg tror bare i processen,
- 56:00du ved. Ja.
- 56:02Ja ja Det er jo Det har jo bygget de her ting okay fedt vi
- 56:05kan lave et produkt hvor folk de bare laver Vores data altså
- 56:09Sådan og bare gøre Vores videoer federe og federe og federe og
- 56:11federe og Det er derfor man ser den blive federe og federe og
- 56:13Det er også derfor man ser sikkert også blive federe og
- 56:15federe. Ikke fordi chatbot er begyndt at
- 56:17gøre det samme jo de er begyndt at sige nogle gange så generer
- 56:19de 2 svar jeg ved ikke om du har lagt mærke til det, så skal man
- 56:22vælge det bedste og Det er jo 1 1 1 1 meget altså du ved hvis
- 56:26man kan tænke i at alene ens egne machine learning problemer
- 56:32med brugernes ønsker. Du ved, Der er jo med Johnny
- 56:36brugerne vil have det bedste billede og chat giver til
- 56:38brugerne vil have det bedste svar ikke?
- 56:41Så så har du bare et vildt system altså og hvis du har
- 56:44volumen på så så har du ja så er det crazy.
- 56:47Jeg tror helt sikkert også de har indset at den der thumbs up
- 56:49thumbs down ikke har givet dem nok data at folk ikke bruger det
- 56:53nok altså jeg bruger nærmest. Aldrig ja, fordi folk er jo ikke
- 56:56interesseret. De får noget ud af det, vel?
- 56:57Der er ikke nogen Sådan interesse at liniment der, men
- 57:01noget folk er interesseret i at få.
- 57:03Det er det bedste svar. Det bedste svar på en eller
- 57:05anden prompt. Det er de interesserede i at få,
- 57:06ikke? Og Det er jo det.
- 57:09Det er jo i virkeligheden det der implicit eksplicit.
- 57:13Hvad skal man sige det man også bruge communication systemer
- 57:16ikke samler eller eksplicit er det noget som skal folk?
- 57:23Du ved? I eksemplet skal folk rate en
- 57:26film fra et til 5 stjerner lorte lorte data du får ikke eller
- 57:31Sådan OK men en i hvert fald ikke Sådan mega fede data.
- 57:36Jo heller ikke mere. Nej, men du ved men men men hvis
- 57:40man måler på hvad for nogle film ser folk rent faktisk altså hvad
- 57:43for nogle hvem? Hvad for nogle film sidder de
- 57:46når glor på ikke, og Det er også derfor Sådan noget jeg nogle
- 57:49gange så spørger Netflix nu snart.
- 57:50Nu er vi lidt ud af en tangent her, men men alligevel ikke
- 57:53helt, men nogle gange så spørger Netflix, har du lagt mærke til
- 57:56det om man stadig ser med ser du stadig ser du stadig gurli gris
- 58:00for eksempel ikke den har stået et par gange.
- 58:03Og det gør det jo. Det gør det jo, fordi de vil
- 58:06have folk til at de vil prøve at produkte.
- 58:09Hvornår er folk? Hvornår har vi tabt folk?
- 58:11Hvornår sidder det bare og kører uden at folk ser med og og Det
- 58:15er sjovt fordi. Fint og Det er interessant at
- 58:17løse det problem på, fordi når de så ser en film og de har en
- 58:20model der ligesom predictor høj sandsynlighed for okay, nu er
- 58:23folk ved at nu har tror Vi har folk mere.
- 58:25Vi spørger dem sgu lige så afbryder vi filmene og beder
- 58:28folk om at svare. Du ved hvis man hvis man er i
- 58:31gang med at se en film, så er det pisse irriterende og så skal
- 58:33du fandme nok lable det stykke data for dem er det ikke
- 58:36rigtigt, og hvis ikke så så bliver det, så sker der ikke
- 58:39noget som måske bare fedt at du ved du ved den stoppede ikke.
- 58:42Og du forstyrrer ikke særlig mange brugere, fordi det Det er
- 58:44kun de der outliers du er interesseret i at få ud af dit
- 58:48data. Men Det er jo en form for
- 58:49outliers. Centrering det der og det Det er
- 58:51sindssygt smart lavet, så Det er den form for UX der altså der
- 58:55skal man virkelig og og Jeg vil bare lige sige noget her, fordi
- 58:58Jeg synes Det er enormt kunne tage en helt podcast med kun det
- 59:01der, og det tror jeg Vi skal gøre.
- 59:03Men men Der er ikke særlig mange UX folk derude der forstår sig
- 59:06på dataindsamling til machine learning altså som en nul og der
- 59:10vil jeg bare lige sige Jeg er ikke UX men det der Det er eder
- 59:13buk med vigtigt når man skal lave Sådan noget.
- 59:16Og og i virkeligheden så føler jeg, Der er så mange, Der er i
- 59:19stenalderen på det her punkt, fordi Der er ikke nogen, der
- 59:20tænker. UX ind i machine learning og Det
- 59:23er bare der hvor man kan få de aller presente system.
- 59:27I skal finde en UX, Der er vant til at arbejde med
- 59:29dataindsamling til machine learning.
- 59:31Jeg kender faktisk en fra tidligere arbejde, så ikke
- 59:34afsløre noget endnu. Men men hvis i kender nogen
- 59:36derude, så vil vi. Så er vi interesseret, vil bare
- 59:39lige sige. Nu har vi fortalte hinanden op
- 59:42her. Det er fedt det her.
- 59:44Er vi helt væk fra Trump engineering?
- 59:46Det er bare et sidste eksempel på det der ikke Det er Facebook
- 59:49de er lanceret på et tidspunkt, at man ikke bare kunne like en
- 59:52kommentar eller en post, men at man kunne vælge at sige et
- 59:56hjerte på det gør LinkedIn også begyndt at gøre et hjerte på en
- 1:00:00Sådan en suree mochi eller Sådan forskellige emotions man kunne
- 1:00:03connecte til det, og Det var også bare Sådan OK, så får de
- 1:00:07bare folk til at lable alle deres kommentarer post og Sådan
- 1:00:09noget ikke altså. Ja og det der gør man da også en
- 1:00:13del af brugerne. Oplevelsen af at at lable
- 1:00:15Facebooks data på det hvis man kan lave Sådan nogle ting.
- 1:00:19Jeg har så meget altså hvis hvis hvis Der er nogle virksomheder
- 1:00:21der laver Sådan nogle ting, så ved man fuck de har styr altså
- 1:00:25de de de har styr på deres machine learning projekt proces
- 1:00:28og de tager den alvorligt ikke mindst altså og og virkelig
- 1:00:31Sådan ja nå. Jeg har.
- 1:00:34Hvad hedder det? Vi skal videre fordi Vi skal
- 1:00:35snakke lidt om de her bronzer og Vi har også snakket hvor lang
- 1:00:37tid vi snakker Jonas Jeg kan se det.
- 1:00:39Vi har snakket lige knap en time, så Det er en lang episode.
- 1:00:43Det er en lang episode, men vi prøver at runde stille og roligt
- 1:00:46af her. En kæmpe kæphest Jeg har Jonas
- 1:00:48ikke Det er med prompt være i koden.
- 1:00:52Jeg ser rigtig mange der, Det er måske også bare fordi Vi er
- 1:00:55meget i den her, folk skal lige have dyppet tæerne i det og
- 1:00:59prøve det af og Sådan noget, men jeg ser rigtig mange folk
- 1:01:01definerer prompts i dot pie filer eller notebooks og Sådan
- 1:01:06noget. Og promp time Player og så
- 1:01:09videre. Og så kører man i lang tid for
- 1:01:10eksempel eller kalde oppenheim og Sådan noget.
- 1:01:13Og jeg føler lidt jeg. Jeg føler lidt, at Det er en
- 1:01:16uskik, fordi fordi. Og og og Det er fordi at Jeg har
- 1:01:21den der jeg ser på en eller anden måde.
- 1:01:23Hvis du laver en template, så er det et stykke machine learning
- 1:01:25der løser en opgave og Jeg er ligesom opdraget til at hvis du
- 1:01:29har et stykke machine learning der løser en opgave, så skal de
- 1:01:32ikke ligge i koden. Det skal ligge som en eller
- 1:01:34anden fil gerne et eller andet centralt sted, hvor du kan
- 1:01:36versionere det, og du bliver nødt til at tracke hvordan du
- 1:01:40ændrer det og for ligesom at kunne holde styr på hvordan den
- 1:01:42performer og så videre og så på en eller anden måde ser jeg de
- 1:01:46her prompt templates er det jo i virkeligheden og proms også.
- 1:01:50På en eller anden måde ser jeg det som hvad skal man sige som
- 1:01:53som machine learning modeller? Men på den anden side, så er det
- 1:01:58jo også data. Det er på en måde data fordi du
- 1:02:00du kan have dem i en død pige fil ikke Det kan du jo aldrig
- 1:02:04Sådan med din gode vilje, copypaste eller anden pitch
- 1:02:07models vægter ind i en fil, fordi Det var nemmere end det.
- 1:02:10Ville du ikke gøre den, ville det være naturligt at have
- 1:02:13terroriseret ned i en fil ikke og have på en hop et eller andet
- 1:02:16sted for eksempel høringsfase, men med prompt templates Der er
- 1:02:20det lidt mere der kan du bare have det som Der er det jo bare
- 1:02:22en streng, så Det kan du bare have der ikke, og jeg føler jeg
- 1:02:25føler på en eller anden måde at. Fronts er lidt en blanding
- 1:02:29mellem data og machine learning modeller.
- 1:02:31Og derfor føler jeg at. At de skal væk fra koden og et
- 1:02:36eller andet de op, så de kan være doneres og være svært,
- 1:02:39fordi hvis du gerne vil ændre i dem og være skønnere dem og
- 1:02:42Sådan noget. Og så synes jeg Det er noget rod
- 1:02:44de har koden og jeg. Jeg kan ikke helt finde ud af
- 1:02:45Jonas. Jeg tror ikke helt at alle er
- 1:02:48blevet enige om det, men må må prompts og print templates må de
- 1:02:51være i koden eller? Jeg vil sige Det er.
- 1:02:53Data gør vi. Det er Det er helt klart data,
- 1:02:57og det skal holde sig langt væk fra fra Vores filer.
- 1:03:03Er det af den grund du lige har sagt?
- 1:03:05Det er så og Det er også fordi at at forestille dig du deployer
- 1:03:08en applikation, hvor du den bruger nogle nogle prompts,
- 1:03:13nogle nogle nogle templates eller et eller andet.
- 1:03:16Og så vil du gerne eksperimentere med det for
- 1:03:19eksempel. Du kunne godt tænke dig at sætte
- 1:03:21en AB test op. Du kunne godt tænke dig et eller
- 1:03:23andet. Hvad ved jeg?
- 1:03:25Det er altså lidt træls at have det liggende i sin kode, så
- 1:03:28fordi dybest set gør din applikation rent Sådan
- 1:03:31programmæssigt det samme. Men du har måske forskellige
- 1:03:34versioner af, hvad brugerne bliver bliver der bliver brugt
- 1:03:38af template til dem, når de skal interagere med den.
- 1:03:41Altså Sådan behind the scenes det.
- 1:03:43Nej Det er bare noget, Det er bare noget bøvl, det skal man
- 1:03:45ikke gøre. Man skal bare indse at Trumps af
- 1:03:47data og få de der f strings ud af af python.
- 1:03:52Det altså det jo det skal være meget, meget meget tynde strings
- 1:03:56vil jeg sige med med masser af af hvad kan man sige fyldt ud
- 1:04:01med de her parametre som kommer et andet sted fra?
- 1:04:04Det er mit bud. Ja og Jeg tror måske i
- 1:04:07virkeligheden også, at altså jeg gør det jo også.
- 1:04:10Det er fordi i ikke selv gør det og så videre.
- 1:04:11Men jeg ved godt jeg tager min nihalede og pisker og pisker mig
- 1:04:14selv på ryggen som jeg ikke vil, men du ved jeg.
- 1:04:19Jeg ved godt, at det må jeg ikke når jeg gør det, og det skal
- 1:04:21jeg. Jeg er væk med, altså det skal
- 1:04:23væk, men Det er bare convenience i gang imellem ikke men men men
- 1:04:27så så måske er det jo også man kan sige Jeg tror også Det er
- 1:04:30fordi Det er nok også et tegn på at Det er meget early days i
- 1:04:33hele det her promp ups Der er ikke rigtigt du ved nogle best
- 1:04:37practice for det endnu og Der er ikke nogen.
- 1:04:40Sådan og løsninger og go 2 standard løsninger for det og
- 1:04:43Sådan noget kommer lige så stille og roligt men men hvad
- 1:04:46hedder det? Men ja Der er Det er stadig lidt
- 1:04:48oppe i luften hvad hvad? Hvad, hvad der egentlig er okay
- 1:04:52og god praksis at gøre på det her punkt synes jeg.
- 1:04:54Ja helt klart så jeg. Jeg tror på, at Vi skal have en,
- 1:04:58ligesom Vi har en vektor database, skal vi have en prompt
- 1:05:00database. Ja ja nå jamen der kunne man
- 1:05:05også sagtens se ja den er en helt anden snak og det kunne vi
- 1:05:08fandme også snakke om. Hvad hedder det inden vi
- 1:05:15slutter? Ikke kunne du ikke tænke dig
- 1:05:17bare lige hurtigt at snakke om? Altså Sådan måske skal vi prøve
- 1:05:20at snakke lidt om. Jævnfør lidt hvad Vi har snakket
- 1:05:24om. Jeg har med brug hele processen
- 1:05:26omkring prompt engineering og hvordan?
- 1:05:28Fordi Jeg har et bud på, hvordan Jeg synes at man bør gøre i
- 1:05:32virkelig og det plejer virkelig så machine learning og så
- 1:05:35bagefter måske snakke en lille bitte smule om evaluering af
- 1:05:38prompt og hvorfor Det er vigtigt at at ligesom prøve at dykke
- 1:05:42lidt ned i det og så prøve at holde det kort er du frisk på
- 1:05:46det? Super.
- 1:05:49Bare lige for at snakke om processen, fordi jeg.
- 1:05:52Når man arbejder med. Jeg ser en en kæmpe kæmpe
- 1:05:55udfordring med det her med prompter og sprogmoduler og
- 1:05:57livslange mødes og så videre. Det er, at de output der
- 1:06:01dynamisk tekst og Det er svært at håndtere, og Det er svært
- 1:06:03ligesom at finde ud af, hvad er godt og hvad er dårligt og så
- 1:06:05videre i virkeligheden lidt. Det er Vores fælles bekendte.
- 1:06:08Lucas Nielsen har arbejdet med siden sin master.
- 1:06:11Det her med, hvordan evaluerer man har arbejdet med sunrise
- 1:06:15actions ikke, hvordan evaluerer man?
- 1:06:18Kvaliteten er en en er en er et referat af en tekst, som er
- 1:06:22genereret med channel. Det er svært fordi Det er tekst
- 1:06:25og Det er ikke Sådan du ved noget, man kan måle på metrisk
- 1:06:28niveau. Du kan ikke måle det med recall
- 1:06:29eller pression eller accuracy eller effect et eller andet, så
- 1:06:33Det er svært så på en måde så føler jeg at Der er en eller
- 1:06:36anden form for proces, som er rigtig god at holde sig til og
- 1:06:40og være disciplineret omkring, at hvis man gerne vil.
- 1:06:44Lave next level prompt engineering som jeg føler og det
- 1:06:47det første step og nu nu fremlægger jeg bare mine tanker
- 1:06:50på det her punkt. Det første step.
- 1:06:52Det er ligesom at anerkende, at man har en eller anden opgave i
- 1:06:54en anden taske, man gerne vil have løst, og Det var det, vi
- 1:06:57snakkede om før. Det er.
- 1:06:58I virkeligheden kan man godt sige, at en til en med Trump
- 1:07:01templates man har fundet ud af, at Der er en eller anden koncept
- 1:07:05om en prompt, Der er der der virker.
- 1:07:07Der er interessant, som man kunne finde brugbart, og så
- 1:07:10laver man en template til det, så man startede som en opgave,
- 1:07:13man gerne vil have løst. Så prøver man den, og den er
- 1:07:18givetvis eller næsten 100% sandsynligt ikke fejlfri.
- 1:07:21Den vil have nogle nogle Quick stemmer måske hallucinere dem
- 1:07:24måske. Nogle gange, så har du måske
- 1:07:27ikke været helt eksplicit i hvad?
- 1:07:29Hvordan den skal opføre sig i alle cases når du har skrevet
- 1:07:31din pc og så videre, så Der er en masse problemer forbundet med
- 1:07:34den her prompt og det output den giver eller måske i
- 1:07:37virkeligheden det output den giver og måske også input data,
- 1:07:40for der kan være mange forskellige ting.
- 1:07:42Så derfor så kan du. Det er vigtigt, at du ligesom er
- 1:07:45optaget af at finde de her problemer, og så skal du, når du
- 1:07:49så finder problemerne, så skal du finde lave hypoteser for
- 1:07:51hvordan du ligesom kan løse de problemer.
- 1:07:53Du kan måske sige, okay, den hallucinerer helvedes til Vi har
- 1:07:563 forskellige hypoteser eller 2 forskellige hypoteser til
- 1:07:59hvordan vi kan løse det her problem.
- 1:08:00Fedt dem lukker vi ned i sten eller skriver et andet sted, så
- 1:08:05udtænker vi nogle eksperimenter vi kan køre for at løse de
- 1:08:08problemer for ligesom at sige okay, nu har vi de her de
- 1:08:11hypoteser om hvordan vi kan løse det her problem.
- 1:08:13Hvordan kan vi køre eksperimenter for ligesom at
- 1:08:15give os noget indsigt i, om de her hypoteser er kan løse det
- 1:08:19her problem. Det kører man så på en eller
- 1:08:22anden måde der Der er flere forskellige metoder til det jeg
- 1:08:24ser. Der er selvfølgelig den gode AB
- 1:08:27testing med implicit eller eksplicit bruger altså feedback.
- 1:08:31Der er også nogle, der bruger l mig til at evaluere.
- 1:08:35Hvad prompte så deres output? Det er lidt mere tvivlsomt
- 1:08:38omkring, hvordan det helt præcist, men men Det er der også
- 1:08:42nogen der har eksperimenteret med, så kan man også have et
- 1:08:45internt annoteringer team eller et internt team som ligesom er
- 1:08:47optaget af og prøver at vurdere. Kvaliteten af det her.
- 1:08:51Nogle tilfælde kan du måske også gøre det.
- 1:08:53Faktisk kan du gøre det kvantitativt nogle gange Vi har.
- 1:08:57Vi har blandt andet et problem på co 2 DR, hvor d et
- 1:09:01irriterende problem hvor når vi beder den, når det og Det er
- 1:09:04generelt for chat, kapitel eller gt modellerne, når man beder dem
- 1:09:06om at skrive en introduktion, så siger den tit Sådan noget let
- 1:09:09sted i vinden og let explore the world of altså.
- 1:09:14Den bruger rigtig mange altså rigtig ofte de samme ord.
- 1:09:18Så ja det bliver meget Sådan homogen det bliver Sådan OK, men
- 1:09:22Det er Sådan noget, så afslører det på en anden måde.
- 1:09:24Det er skrevet af en sprogmoduler, man gør Sådan og
- 1:09:27der kan man faktisk køre de her hypoteser eksperimenter og så
- 1:09:30male det rent kvantitativt før du kan bare male om de der ord
- 1:09:33bliver nævnt ikke så Det er også en mulighed en gang imellem, men
- 1:09:36i hvert fald er du interesseret i at.
- 1:09:39Har et problem. Du laver nogle hypoteser for
- 1:09:42hvordan du kan løse det her problem.
- 1:09:43Kører eksperimenter på de hypoteser, evaluere det på en
- 1:09:46eller anden måde, og så laver du en ændring og så og så starter
- 1:09:49du for det næste problem du så har og så kører du bare det der
- 1:09:52loop indtil du du dør ikke. Så Det er jo som som vi kender
- 1:09:57fra for meget andet. Og og og og det kræver jo et
- 1:10:02setup ikke? Jo, og så er jeg udvikling
- 1:10:05generelt ikke her, men vi vi Vi skal have en eller anden form
- 1:10:07for setup og plan for, hvordan vi integrerer hen og kommer
- 1:10:10tilbage for at forbedre hele tiden, fordi.
- 1:10:13Det er ikke en vej, og så er vi færdige, og så har vi et godt
- 1:10:15produkt. Det ved vi med det her.
- 1:10:17Det kræver gentagne iterationer. Så altså, Jeg er ikke sikker på,
- 1:10:22hvad det rigtige når Det er prompt engineering.
- 1:10:24Man arbejder med hvad den rigtige model eller hvad kan man
- 1:10:27sige, hvordan den altså prompte ups eller hvad Vi skal kalde
- 1:10:31det? Altså det hed LM op, så hedder
- 1:10:33det devops, så hedder det elops og hvad for en skal Vi skal vi
- 1:10:39lave til til prompting, det ved jeg ikke endnu, Det har
- 1:10:41simpelthen ikke Det er for nyt. Så Jeg er heller ikke brugt så
- 1:10:45lang tid på at tænke det faktisk, men men jeg.
- 1:10:48Jeg tror bare jeg bliver bruger. Ja det lyder fornuftigt det du
- 1:10:51siger. Jeg bruger normalt bare min
- 1:10:53sunde fornuft for for Sådan hvad er den gode iteration?
- 1:10:58Ja lige præcis ikke og hvad? Og Jeg synes bare man skal være
- 1:11:01meget Sådan. Hvis jeg Jeg tror, Jeg tror bare
- 1:11:05det gavner rigtig meget, hvis man er rigtig systematisk
- 1:11:07omkring de her ting fordi så så så så er du så kan du ikke
- 1:11:12fejle, så synes jeg altså du kan.
- 1:11:13Du kan nærmest ikke fejle hvis du bare ligesom.
- 1:11:16Eller også så er man bare sat op til at fejle hurtigt og så.
- 1:11:21Det er Sådan de fejl hurtigere, og så ender man det afsted.
- 1:11:24Jeg tror Det er mere det. På.
- 1:11:26Noget. Jeg synes bare man man kan sgu
- 1:11:27ikke fejle hvis man har den her fordi så så enten så finder du
- 1:11:30ud af om Det er pisse fedt og Det kan vi forbedre ret meget og
- 1:11:33så videre og så ud i produktionen med det eller også
- 1:11:36finder du ud af at eller også finder du ud af at at Det var
- 1:11:41bare overhovedet ikke et løst bare et problem det her, så det
- 1:11:43må vi lige vente til til 7 kommer med et eller andet ikke
- 1:11:46så. Så ja.
- 1:11:49Nå ja, så Det var en masse random.
- 1:11:51Nu har vi også snakket længe og Sådan noget, men jeg tænker,
- 1:11:53skal vi lige prøve at tage en en eller anden form for konklusion
- 1:11:56her til sidst? Hvad?
- 1:11:57Hvad fanden? Hvad har vi snakket om Jonas og
- 1:11:59hvad vi snakket om at tage med? Hvad er problemet?
- 1:12:02Jeg tror, man skal næsten lytte til det.
- 1:12:04Vi har en gang til. Hvad var det de sagde?
- 1:12:06Jeg er ikke helt sikker på hvor hvor vi lander med det.
- 1:12:09Jeg Jeg tror min hovedkonklusion er, at pumpningen er slet slet
- 1:12:12ikke sat i sten, altså Det er så nyt men men Der er nogle Der er
- 1:12:18nogle tegn på, vil jeg vove at påstå.
- 1:12:20Hvad Det er man ligesom skal. Man skal holde øje med, altså
- 1:12:23hvor. Hvor er nogle af de ting?
- 1:12:26Der forbliver en del af prompt engineering.
- 1:12:29Og hvor er nogle af de ting der der bliver udfaset som en prompt
- 1:12:33engineering ting, fordi det kommer ind i modellen?
- 1:12:36Det tror jeg, er det vigtigste at holde øje med.
- 1:12:38Det er. Input til modellen eller som en
- 1:12:41del af modellen hvor hvor at de der snitflader og og hvad hvad?
- 1:12:46Hvad bliver modellerne i stand til?
- 1:12:48Så det gør det her de her problem.
- 1:12:51Engineering hacks obsolete. Ja.
- 1:12:54Det tror jeg det. Det er mit Sådan måde at se det
- 1:12:58på og det det tror Jeg vil fortsætte med fordi ja,
- 1:13:01maskinlæring er jo ikke godt fordi vi laver prompting så.
- 1:13:04Jeg synes også Det er interessant i Sådan det her med
- 1:13:06at. Nu åbner jeg lige en lille ny
- 1:13:10diskussion her. Det var ikke tid til, men hvad
- 1:13:14hedder det? Men bare Sådan du ved, Jeg synes
- 1:13:17på en måde Der er Sådan lidt en det her med prompting har gjort
- 1:13:21det her med at machine learning meget tilgængeligt for alle
- 1:13:23mulige typer udviklere. Altså du kan være p udvikler.
- 1:13:26Du kan være javascript udvikler, hvor før i tiden var det Sådan
- 1:13:29der var det mest python udviklere der arbejdede med det
- 1:13:31her. Så det handler man også gjort,
- 1:13:34at Der er rigtig mange, som ikke har den der.
- 1:13:36Machine learning, data science tradition i rygsækken, som
- 1:13:40begynder. Hvad skal vi sige beskæftige sig
- 1:13:43med de her ting, hvor man tænker, jamen, Det er jo bare at
- 1:13:45sende et et kald til til et PI, og så får man noget tekst
- 1:13:47tilbage og så videre og så videre.
- 1:13:49Men Jeg synes Jeg synes måske, og Det er også rigtigt.
- 1:13:51Altså man skal ikke overkomplicere det, men men
- 1:13:53Sådan hele den her proces og Sådan, machine learning,
- 1:13:57tankegang og så videre. Jeg synes mere og mere, at det
- 1:14:02det viser sig at den er sgu ret brugbar at have med de her de
- 1:14:06her test, den her nye, de her nye teknologier ikke den er
- 1:14:09stadig. Den er stadig god at have II
- 1:14:12altså den der den der det der med at kunne håndtere.
- 1:14:16Sådan nogle machine modeller som aldrig rigtig helt output og
- 1:14:20noget noget altså som kan du ved de er lidt dynamiske i deres
- 1:14:24adfærd ikke regne med. Cool ja så men.
- 1:14:32Jeg tror det meget godt Jeg kan se hvor lang tid Vi har snakket
- 1:14:34fordi at. Vi har lige en en time og et
- 1:14:38kvarter, så Det var en af de lange episoder.
- 1:14:42Ja. Nej, Vi har været.
- 1:14:43Godt grebet. Ja Jeg tror vi blev grebet lidt
- 1:14:45af stemningen her III. Ja altså, men men så tror jeg Vi
- 1:14:51skal til at runde af nu, og så vil jeg bare sige eller vi vil
- 1:14:53bare gerne sige 1000 tak fordi i lyttede med Vi er Vi er bare
- 1:14:57super glade for i lyttede med derude og vi kan se at tallene
- 1:15:00går fremad og Der er flere og flere der følger også og og Det
- 1:15:04er jo bare Jeg kan huske det altså når man laver Sådan her så
- 1:15:07er du altid meget rart Det er jo Det er jo altid hyggeligt at
- 1:15:09snakke Jonas, Det er jo slet ikke det, Det er også meget rart
- 1:15:11at vide at det kommer nogen til gavn på en eller anden måde ikke
- 1:15:14så så Vi er super glade for at i lytter med derude ja.
- 1:15:18Og men ellers er der ikke særlig meget at sige.
- 1:15:22End at vi ses igen i næste uge. Onsdag klokken.
- 1:15:27Hey hey.