Latest / Verbos: AI og Softwareudvikling / OpenAI API Opdateringer 🔥 Funktion Kald, 16K Token Kontekst og Billigere Tekst Genering og Vektorer

Transcript

OpenAI API Opdateringer 🔥 Funktion Kald, 16K Token Kontekst og Billigere Tekst Genering og Vektorer · Verbos: AI og Softwareudvikling

0:00
Hej alle sammen. Velkommen til babos podcast
0:02
afsnit nummer 14 i den her uge. Der skal vi snakke om noget der
0:06
skal i sidste uge nemlig en stor.
0:08
Hvad skal man sige opdatering af open AINSPI er nogle forskellige
0:13
forskellige af deres api'er, som de ligesom offentliggjorde i
0:16
sidste uge, og Det er faktisk nogle ret interessante app
0:20
opdateringer. Der er Sådan nogle Der er nogle
0:23
af dem Der er lidt. Der er nemmere at forstå Der er
0:25
noget med nogle prisreduktioner, Der er nogle ting Der er
0:26
billigere, man kan putte nogle flere tokens ind i nogle af
0:29
modellerne. Øh og så er der også nogle lidt
0:32
mere avancerede koncepter, som måske ikke er lige så nemme at
0:35
forstå som noget af det. Jeg, Jeg er ret sejt over,
0:38
nemlig det her funktion calling, som er en ret interessant ting i
0:44
til en hele den her p opdatering, så Det er det Vi
0:46
skal snakke om i dag, og Vi skal ligesom bare gå dem igennem den,
0:49
så Det er by step Vi skal snakke om, hvad Det er, og så skal vi
0:52
snakke om, hvad vi mener, at det ligesom betyder og hvad vi
0:56
tænker om det mig og Jonas så, og det skal være en hemmelighed
1:01
til at starte med. Man kan sige jeg.
1:03
Vi laver jo nærmest ikke andet til hverdag end at arbejde med
1:05
de her p er så jeg Jeg har Jeg har lavet en del research, men
1:10
Jeg synes Vi er efterhånden fået Sådan en rimelig god tradition
1:13
for at jeg ligesom giver en intro, og så kaster jeg ligesom
1:16
bare til Jonas for at få nogle first impressions, så det vil
1:19
jeg gøre nu. Jonas.
1:20
Opening AP opdateringer hvad tænker du om det first and
1:23
presents? Jeg tænker at slang chain de
1:30
kommer til at skulle og genoverveje om de har fat i den
1:33
rigtige abstraktion til sproglærerne.
1:37
Nu eller? Ja til åbner jeres interface i
1:40
hvert fald god plan. Øhm, fordi at nu har åbner jeg
1:46
hjemtaget en kæmpe del af det, som langt til en egentlig skulle
1:50
gøre netop at lave de her. Øh hvad kan man sige?
1:57
Tool selection tjener thotts alle de her forskellige måder at
2:01
gøre ting på. Nu kommer det til at ske Sådan
2:04
mere inde bagved III åbne ice specifikt trænede model til at
2:10
tænke i de her tools fra og så spytter den bare tilbage.
2:13
Hvad Det er den skal gøre, så kan man i prompten over flere
2:16
gange og så tænker Det er alt sammen meget spændende.
2:18
Du har jo selvfølgelig noget mere med end Jeg har læst
2:20
dokumentationen, og så tænker jeg nok jamen.
2:26
Det var næsten det, jeg forventede ville ske med med de
2:30
der modeller, fordi Det var bare så oplagt at der var nogen der
2:34
fintunede den til det der. Og Sådan noget, og det skal vi
2:38
snakke meget mere om. Hvad er her til Vi skal?
2:40
Vi glemmer det lidt til sidst i podcasten, så Det er måske, det
2:43
giver måske meget god ide eller god mening, ligesom at gå i gang
2:47
med at liste de her, hvad skal man sige p opdateringer op,
2:50
snakke lidt om den og så bare ligesom brække det ned.
2:54
Fordi og skal jeg bare gå i krig med det?
2:56
Fordi det synes jeg faktisk er. Så er det første det første AB
3:00
opdatering som er lidt lidt kedeligt måske, men Det er en en
3:03
depreciation dato. Hvad skal man sige for de
3:08
modeller, som ligesom kører nu altså giver vi til 3,5 turbo og
3:12
give til 4 de vil fra den Jeg tror Det er den 24. juli eller
3:17
27. juni tror jeg Det er jo lige ind og læse det selv, men der
3:20
vil de ligesom de der handles der bliver brugt til at kalde
3:23
kapitel 24,5 turbo. De vil ligesom bare blive
3:26
smittet ud med de nye som hedder. 0 4 0 6 13 for eksempel
3:34
og så tilsvarende med turbo 3,5 turbo modellen, så Det er
3:38
ligesom Sådan et heads up som åbning i lige giver og siger
3:40
okay guys vi de modeller som vi bruger nu dem.
3:46
Den den flipper vi den 27. Juni, og så er de simpelthen
3:52
ikke available mere fra Jeg tror det en gang i september eller
3:56
Sådan noget. Så ja.
3:59
Det er også lidt af en bombshell.
4:00
Få ikke jo, men the så hvem har? Hvem har husket at sætte et godt
4:06
evalueringskultur test setup til deres applikation på de der ting
4:10
der? Det er jo det.
4:12
Fordi Det er jo nemlig en ret interessant ting.
4:14
Ikke fordi hvad vil det helt konkret sige, når og og de gør
4:18
jo selvfølgelig. Det skal lige siges, at grunden
4:20
til de der privater de gamle modeller.
4:22
Det er fordi de er løbende laver forbedringer til til
4:24
grundmodulerne og nu mener de så ligesom at de har fået nogle
4:27
modeller som hver en bedre version af.
4:30
De de gamle modeller som nu vil de ligesom alle de andre ind og
4:34
det grunden til de er bedre. Det kan vi snakke om her senere
4:38
hen i podcasten. Men bedre hvordan?
4:44
Fordi hvordan er en tekst genererende model bedre end en
4:48
anden tekststreng model? Jamen Jeg vil gerne svare på det
4:51
der. Jeg ved ikke hvordan en en model
4:53
er bedre end anden tekst generel model det det det må de der
4:56
metrikker svare på. Men jeg ved at en anden version
5:00
af nogle vægte vil uundgåeligt betyde, at en Trump opfører sig
5:05
anderledes. Altså Der er bare Sådan Jeg tror
5:08
næppe at de der meget domænespecifikke prompt som folk
5:11
har stykket sammen derude for at få lige præcis det de gerne
5:13
ville have. De bare opfører sig fuldstændig
5:15
magen til i den der nye variant. Det tror jeg simpelthen ikke på.
5:19
Det kan det godt være at at det. At at den version at Det er
5:23
Sådan ikke er så så voldsomt, men Det kan også være at man er
5:26
nødt til at gå ind og justere sin prompt faktisk for at få det
5:28
samme ud. Så altså Det er jo her hvor Det
5:32
er virkelig interessant, ikke det her punkt engineering nu nu
5:34
begynder vi også Sådan. Hvordan laver vi så migreringer
5:38
fra den ene til den anden model har vi?
5:40
Har vi nogle testsuite, hvor vi kan teste op mod den gamle model
5:43
og Sådan nogle ting. Jeg Jeg vil æde min hat på det
5:47
der ingen, der har tænkt over åben her.
5:49
Ej de er i hvert fald meget Sådan de har lavet Sådan en
5:53
evalueringsskemaet Jeg har sagt til jer.
5:55
Vi prøv at hør her, hvad der Vi har det til at hidse bare bruge
5:57
det. Der er ikke en skid der bruger
5:59
det og og og så måske laver deres egen matrikel eller Sådan
6:03
et eller andet og Sådan nogle ting, men Der er ikke nogen der
6:05
har implementeret det der så nej.
6:08
Den der røven på komedie. Stemningen er Sådan lidt move
6:10
fast and break things vippen ikke.
6:12
Det er ligesom den Der er lige nu med at bruge de her ting, og
6:15
Der er så lige om det så bryder det hele sammen, når de kommer
6:18
med nye modeller og så laver vi bare en gang til det samme show
6:20
er Det er det robust i produktion hos cars altså så
6:23
længe. Men Det er Sådan ikke.
6:26
Altså jeg forstår hvis du har hvis du har hvis du bruger de
6:28
her sprogmoduler til at lave classification, altså
6:31
klassificere tekst på en eller anden måde og og du ligesom har
6:34
et datasæt som du kan måle op mod hvordan den performer.
6:38
Så tænker jeg Sådan at du er rimelig home safe, fordi så kan
6:41
du allerede nu begynde at bruge de nye modeller teste dem af på
6:45
på det nye eller på de datasæt og ligesom se okay er de
6:50
dårligere eller er de måske Der er bedre?
6:52
Så er det jo meget gratis nice at se.
6:54
Men hvis man har en eller anden chatbot som man har tunet til at
6:58
opføre sig pænt og holde sig holde sig du ved indenfor dydens
7:03
smalle sti og så videre. Hvordan du ved?
7:07
Hvordan fanden evaluerer man lige det?
7:09
Ikke fordi. Hvordan sikrer man sig, at det
7:13
bliver ved med at blive godt? Fordi Det er jo netop det her
7:15
med, at folk møder folk. Udvikler de der ting på i
7:18
øjeblikket? Altså, Det er jo bare trial and
7:20
error. Altså Det er jo så prøver den
7:21
sgu prøver man skulle lige lidt og ser lidt, sidder lidt
7:25
kvalitativt og tuner den lidt indtil man synes Det er
7:28
fornuftigt og så blæser man det ellers bare ud ikke til til alle
7:30
brugerne, så så det bliver spændende.
7:33
Har lavet systemer hvor de har kan man sige Sådan human lille
7:36
loop verificering af af af Sådan.
7:40
Det der kommer tilbage fra en prompt og Sådan nogle ting.
7:42
De fortsætter jo bare med at have Sådan human in the loop
7:45
ikke? Men men der vil jo være system
7:47
prompt, som så måske bare hos hos den her person, der skal
7:51
vurdere ting meget hurtigt begynder at måske se at
7:56
vurderingerne på på det der kommer tilbage bliver bare
7:58
dårligere, fordi at den her system ikke virker lige så godt.
8:04
På den nye model eller Sådan et eller andet, eller det giver
8:07
ikke lige præcis det man skulle forvente for en brugers
8:09
sindssygt punkt. Ikke så så Det er jo der hvor
8:12
der opstår nogle interessante ting.
8:14
Og for ligesom at imødekomme at man ikke kommer ud til brugerne
8:16
først som så skal sidde og være lidt småsure over at tingene
8:19
ikke virker mere. Så er det jo normalt i
8:22
softwareudvikling, at man man har nogle testsuite, som man så
8:25
sikrer sig at brugerne ikke bliver sure på den anden side.
8:30
Fordi at så er det ret hurtigt, at man bliver arbejdsløs ikke og
8:34
og og der kan man sige Det er altså Det er altså helt sikkert
8:37
den 1 store prøve derude nu på det her, fordi Der er mange der
8:41
har koblet sig op på de der beta i og tænkt ja der står beta, men
8:45
vi kører bare så det bliver virkelig spændende at høre.
8:48
Folks erfaringer er også også i community, hvis Der er nogen der
8:51
sidder og laver ting ud med de der modeller som man gerne vide
8:53
lidt mere om hvad gør i, så er der ryddet et problem eller er
8:58
det bare os der tror Det kan også være det bliver bedre, alt
9:01
bliver bedre jo Sådan hold da op.
9:03
Wow ikke, men jeg tænker der må også være nogle nye Sådan
9:07
bagdøre ind til at få dem til at opføre sig dårligt.
9:12
Og altså Sådan. Ja, det bliver spændende at se
9:15
hvad hvad det lige kommer til at have af konsekvenser.
9:18
Det er jo stadig bare tekst indtægt ud ikke, men hvad er
9:22
hvad? Hvordan?
9:23
Ja, det bliver spændende at se. Okay Det er så den 1 ting en
9:28
depilation dato på de her modeller Der er PT dem som
9:32
bliver udgivet i marts tror jeg Det var da jeg gik på hh piet
9:36
blev offentliggjort og Det har nogle det.
9:40
Det synes jeg også Det er spændende at snakke om på en
9:42
eller anden måde fordi. Det bliver spændende at se hvad
9:45
hvad Jeg tror Det var den 13. September.
9:47
De lukker helt ned for dem. Hvad Sådan er der en masse
9:50
systemer der bare begynder at opføre sig helt blæst der og den
9:55
anden ting Vi skal snakke om den anden nummer 2, hvad skal man
9:57
sige? Ændring de har lavet Det er at
9:59
de har indført en del prisreduktioner eller 2
10:02
prisreduktioner på på hvad hedder det deres egen Berlingske
10:06
epi og deres g 3,5 turbo API? Og deres embedding etape i har.
10:12
Det har simpelthen bare droppet prisen med 75%.
10:15
Altså per 1000 tokens ikke? Og Det er jo bare penge lige ned
10:22
i lommen til dem, der bruger det rigtig meget kan man sige, så
10:28
Det er jo godt spiller derude, så betyder det rigtig meget lige
10:31
præcis hvis man virkelig bruger heftige bruger det p så så
10:35
betyder det rigtig meget og bare lige for at genopfriske en
10:37
betting apiet er det LPI som opererer stiller til rådighed
10:42
hvor man kan sende noget tekst hen og så kan man få en vektor
10:46
tilbage og så så man ligesom har en vektor repræsentation af et
10:49
stykke tekst. Og så putter man det typisk ned
10:52
i en vektor database eller maler noget similarity op mod mod den
10:57
her vektor, eller Det er et stykke tekst.
11:00
Og den anden prisreduktion, Der er kommet.
11:02
Det er giver vi 3,5 turbo, hvor de har reduceret prisen med 25%.
11:09
Men kun på input tungs og det Det har det missede jeg til at
11:14
starte med der tænkte jeg bare hey 25% fedt men det Det er kun
11:18
på input toppens de gør det så det vil sige og det skal man
11:24
måske lige vide med de her piger at der skelnes mellem input
11:27
tokens altså de tokens som du sender til apiet og så output
11:32
tokens er de tokens som der så bliver genereret af os som du
11:36
får tilbage og Det er altså kun prisen på de.
11:41
Tungebånd sender til åbning af, som hvis pris bliver reduceret
11:44
med 25%. Ja så.
11:49
Ja. Så hvis jeg så samtidig med, at
11:51
de også åbner op for en større kontekst længde.
11:58
Tons jeg forstår det ikke eller det de eller.
12:02
Det var måske selv sagt flere tokens bliver kan nu sendes til
12:08
formentlig samme kontekst betting ikke altså størrelse
12:14
Sådan som jeg forstår det, men. Ja, men den er jo den er hvad
12:18
hedder det? Det er faktisk ellers bare ud
12:19
til det punkt nu her, fordi den tredje opdatering Der er kommet.
12:22
Det er nemlig at de har lavet en version af gt 3,5 turbo som er
12:29
som har en en kontekst længde på 16.000 tons.
12:33
Altså er det en innovation? Jamen, Det er en separat model,
12:37
som også er lidt dyrere end den anden at bruge, så så det.
12:42
Det er værd Sådan lige at notere sig.
12:47
Men hvad er det den gamle kunne tage 4000?
12:50
Ikke så det vil sige 4 gange så mange tunge kattene.
12:54
Jeg troede i virkeligheden, at Det var den samme model, der
12:57
kunne håndtere Simon talt i et passe sammen.
13:03
Kontekst størrelse, men at man så bare havde skruet den ned, så
13:06
brugerne ikke fik lov at bruge rulle, og man så havde åbnet op
13:12
for den nu. Altså det kunne man jo godt
13:17
forestille sig. Egentlig var tilfældet
13:19
tidligere. Der har vi vidst om okay kunne
13:20
den egentlig håndtere en større, men det det det Det er så måske
13:24
i virkeligheden bare en til en Vi har fået det, man kunne godt
13:27
forestille sig, at de bare ligesom bare havde klippet
13:29
teksten ved de 4000, ikke? Og så så ligesom bare gemt
13:34
resten af konteksten ikke. Men men det virker altså som om
13:37
at Det er 2 forskellige, altså Det er i hvert fald 2
13:39
forskellige modeller du skal kalde, hvis du vil have det en
13:43
henholdsvis den 4000 kontekst længde og 16.000 kontekst
13:47
længde. Men hvad tænker du?
13:50
Fordi Vi har jo også snakket lidt om det her med kontekst
13:52
længde. Og.
13:55
Øh. Umiddelbart tænker man jo, at
14:00
Det er fedt at den kan spise flere tokens, fordi man tit
14:04
løber ind i den her. Jeg prøver at mase wall of text
14:07
ind, men den kan ikke få den. Kan ikke gras på det hele eller
14:11
den kan ikke fange det hele. Hvad tænker, tænker du?
14:16
Tænker du Der er nogle Sådan kerne problemer der bliver løst
14:19
af, at vi lige pludselig får 16.000 tokens i stedet for 4000.
14:28
Ja det det kunne man da godt forestille sig.
14:31
Altså Det er jo ikke. Det er stadigvæk ikke særlig
14:34
meget hvis man hvis man tænker på at man gerne vil vil aldrig
14:38
nogensinde have den til at forholde sig til noget den har
14:40
inde i sin interne vægte, men man altid gerne vil have den til
14:43
at forholde sig til noget faktuelt.
14:45
Man prompter den med. Altså så er det jo dybest set
14:48
ikke særlig meget. Altså set i det perspektiv, så
14:51
er det jo. Så en million tons heller ikke
14:55
særlig meget, men men fordi at hvis man kobler det med en
15:00
vektor database, som man selvfølgelig skal gøre, så så
15:06
får man. Hvad kan man sige Sådan samspil
15:08
imellem at kunne query sin kontekst og rent faktisk
15:13
reducere den meningsfulde før man putter den ind og i den
15:16
sammenhæng betyder det måske. Nogle gange lidt, men måske ikke
15:21
altid lige så meget i virkeligheden.
15:22
Altså fordi Det er man jo også typisk gør, når man laver de der
15:25
betinges til til Sådan nogle søgedatabase.
15:28
Det er jo man tager jo ikke 20 siders pdf dokument og så
15:32
embedder alle 20 sider i en for eksempel at flytte.
15:37
Altså Det er fuldstændig åndssvagt fordi det Det er Det
15:40
er dybest set bare at prøve at crampie mere ned II
15:43
vektorbaseret på en gang frem for at splitte det op det det
15:48
det siger sig selv at Det er egentlig giver flere nuancer at
15:52
at en bette mindre stykker. Det er Sådan helt intuitivt, at
15:56
det gør det, og det ved vi jo så også, at Det er en god løsning,
15:58
fordi Vi har været igennem alt det der.
16:00
Det der turen med document embedding.
16:02
Så hvordan skulle man gøre det bedste?
16:04
Man skulle tage top og bund, og Det var i virkeligheden det, der
16:06
virkede rigtig godt, og det virkede ikke særlig godt tage
16:08
det der var inde imellem, hvor alt huset var, og til sidst
16:12
fandt jeg, men Det er faktisk bare Det er en bette så meget
16:15
som mange små stumper som muligt i virkeligheden ikke for små,
16:18
men du ved Sådan, men nogenlunde Sådan kontekst er i
16:21
virkeligheden det bedste ikke? Og så får man bare flere
16:24
embedding dokument, okay, Det kan vi også.
16:27
Så men. Ja, Det var lige en sidste
16:30
track, men men men jeg ved ikke Jeg tror Det er selvfølgelig
16:33
rigtig godt. At have muligheden at blive
16:36
stoppet af, at man har for få tunge, men Jeg tror de fleste.
16:41
Der kobler det med et eller andet en eller anden proprietær
16:45
database. De har noget vægtforskydning.
16:47
De får ikke brug for så mange tokens langt hen ad vejen.
16:49
Det tror jeg slet ikke. Det kan også godt fristes til at
16:52
sige, Det er lidt dovenskab, ikke Sådan at vi gider sgu ikke
16:55
lige at. Og gøre lige den der sidste
16:58
engineering er far til lige at få det rigtige kontekst ind, så
17:01
Det kan være i kroppen ikke. Vi vil bare gerne have at Det er
17:05
jo ekstra præcision til det du gerne vil opnå med din
17:07
applikation, fordi Det er ikke fordi den den når den jo flere
17:11
tokens din far. Det er jo ikke fordi at den er
17:14
alligevel flere tungeste får, jo mere skal den gabe over og jo
17:19
sværere bliver det for dens interne vægte at comprendente
17:22
hele det der ting på en gang. Det er der ingen tvivl om, så
17:25
Det er ikke bare fordi. At den så kan.
17:28
Overskue alt altså nej, vi beder den hvis du giver den en million
17:32
token, så beder den om at tælle et eller andet ord på.
17:35
Altså tænk lige hvor mange gange det her token opstår i de her
17:38
tunge svære givet dig, så kan den jo ikke finde ud af det vel?
17:41
Altså, Det er jo for dum til, så hvilket er ret sjovt, ikke også
17:47
fordi Det er simpelthen for meget, altså det det bliver det
17:50
bliver for upræcist at det her token er i mange forskellige
17:53
kontekster, Sådan kan ikke finde ud af ligesom at finde sammen på
17:56
en eller anden måde, så må også bare hvis man tager den der.
17:59
Til ekstremt ikke Sådan. Vi vil gerne have flere hvad vi
18:04
vil gerne have. Den kan tage flere tokens ind i.
18:07
Hvad nu hvis den kunne tage en milliard tokens ind eller en 10
18:10
milliarder, eller hvad nu den bare kunne læse hele internettet
18:13
hver gang for over et passende ting?
18:16
Og så øh, hvis altså ja det det jeg, Det er bare Sådan.
18:21
Jeg tror bare jeg Sådan skeptisk over for at Det er løsningen på
18:25
lang sigt det der med at. At at at bare at lave en større
18:29
kontekst længde, fordi Jeg tror i virkeligheden stadig ikke, at
18:32
vi kommer uden om det der med search det der med at lave en
18:36
anden form for retrieved mekanisme, som ligesom forstår
18:40
problemet og kan returnere relevant kontekst.
18:45
Det gør vi heller ikke fordi at altså Det er det skalerer ikke
18:52
lige så godt at putte det hele ind i transformeren, som det gør
18:57
at lave det der. Præst der Sådan datamæssigt og
19:01
computer mæssigt, og derfor så vil vi så vil vi altid se at at
19:06
man laver den anden løsning, før man Sådan siger okay, så tager
19:09
vi bare og giver den det hele, fordi Det kan være det hjælper
19:11
det problem vi i gang med at løse.
19:14
Det tror jeg helt sikkert så, men Jeg tror åbner Jeg er blevet
19:18
presset lidt på den her tunge længe.
19:19
Det er konkurrence der ligesom er kommet fra fra de andre
19:24
udbydere ikke og så nu er de også givet Sådan model, men Det
19:28
er sjovt fordi tungen længde. Det, Det kan jeg huske.
19:31
Det har vi jo siddet med med bord for eksempel bord
19:34
modellerne. De har jo de her 512 tons kun
19:38
det. Hvor meget engang synes jeg
19:39
ikke, men nu er det jo ingenting, men Det er sjovt det
19:43
her måde, at jeg så også Søren for AP Søren Poulsen fra APP han
19:49
delte den der artikel, hvor at der var nogen der havde skrevet
19:52
at der var nogen der har fundet ud af et eller andet med.
19:54
Hvordan kunne den million tungsind?
19:57
Ja og Det er Sådan Det er sjovt det der med at.
20:01
Det folk Det er et begreb den de her antallet af tungen der kan
20:04
være i Sådan et input som input i en model.
20:08
Det er blevet et begreb som rigtig mange.
20:10
Øh har fået et forhold til på en eller anden måde, fordi de har
20:13
siddet med g 3,1 eller andet eller chip og så har de lagt
20:17
mærke til at så stopper han lige pludselig og.
20:22
Så mangler den tokens, kan man sige.
20:25
Så det, men Det er sjovt for det for det.
20:27
Og Det er også ligesom det her med antal af modelparametre
20:30
ikke. Hvad hedder det?
20:32
3 gik vi til 3 har 175 milliarder parametre.
20:36
Og så var der nogen der så er der nogen der siger Sådan at
20:38
Vores hår 300 milliarder parametre Sådan hvor Det er også
20:43
blevet Sådan en Sådan arms race mod at have flest parametre, men
20:48
samtidig er nogen der finder ud af at Det er måske i
20:50
virkeligheden ikke så meget parameter det handler om.
20:52
Det er mere hvor lang tid du har trænet på data og kvaliteten og
20:56
Sådan nogle ting og Det er jo sjovt fordi at sam markmann og.
21:02
Hvad hedder han elian sussi? Ja eller skiver ja så skriver
21:08
han eller de går jo begge 2 ude og siger Sådan nej Vi er weboil
21:12
det der med mange billeder parameters det slet ikke det Der
21:15
er vigtigt, men meget data og længere træningstid er i
21:19
virkeligheden vigtigere, ikke? Siger de.
21:24
Og og Der er ligesom Sådan et eller andet kap.
21:27
Jeg ved ikke om det, Det er det her, men Der er i hvert fald
21:28
noget med, at det der. Det er ikke nødvendigvis er der,
21:32
hvor at guldet skal findes, at vi bare skal øge det, og så får
21:34
vi nogle stærkere modeller. Det synes jeg, egentlig er i sig
21:36
selv ret interessant, og har vi også lyst til det?
21:41
Det har vi måske ikke. Altså fordi Det er jo igen det
21:43
der med, at Vi er ved at brænde regnskoven af for at få ligesom
21:46
modeller til at køre. Ikke altså, Det er jo lidt
21:48
tragisk. Ja for sent så 16.000 kontekst
21:54
vindue er der ligesom den tredje det tredje punkt på dagsordenen
21:59
her til til åbne jeres. Hvad hedder det, kan vi sige AI
22:02
opdatering nummer 4 er Sådan lidt mere abstrakt, lidt mere og
22:06
Sådan lidt mere interessant opdatering i virkeligheden, og
22:09
Det er, at de med den nye 3,5 turbo og t 4.
22:15
Model versioner. Siger, at de er mere sterile,
22:19
altså styrbare. Hvad skal jeg sige?
22:22
Og det de mener med det, Det er at.
22:25
De er de er de modellerne i højere grad lader sig påvirke af
22:31
den her system besked, man kan give dem selvmassage, så hvis og
22:35
Det er jo typisk Sådan noget man skriver, du er chat PT en
22:39
helpful assistent, som aldrig sviner nogen til og altid siger
22:44
sandheden og Sådan noget ikke og så opfører den sig Sådan, og Der
22:47
er mange der har oplevet med. Især giver 3,5 turbo at det ikke
22:52
rigtig har haft Sådan nogen indflydelse på på på Sådan den
22:57
modellens opførsel. Når man har sat en
22:58
systemmæssige. Men det skulle efter sigende
23:02
være tilfældet med de her nye 0 0 6 13 versioner af modellerne.
23:08
Så så det bliver også spændende, kan man sige.
23:14
Det virker som om, at de har Sådan rimelig.
23:16
De bruger lidt det her, de her system beskeder i deres
23:19
forskning og i deres træning, og modellerne virker det selv.
23:24
For ligesom at. Kunne styre dem på en eller
23:27
anden måde mere. Ja, Jeg tror også Der er blevet
23:32
fodret en masse. Data ind på en eller anden måde,
23:37
som måske forbrugerne, og så har man fået.
23:41
Fået noget ekstra fintuning ind på den her instruct ting og så
23:45
taget nogle af de der trends, Der er indenfor, hvordan vi
23:48
ligesom forsøger at instruere modellerne og så sige OK men
23:51
det. Det er faktisk Sådan her, at
23:52
folk har lært ligesom at Det er Sådan, vi det føles naturligt at
23:57
prompte med de her system ting og og.
24:02
Eller og også bruger instruktioner i virkeligheden
24:05
ikke. Og så tror jeg, de er simpelthen
24:06
bare har sagt okay, nu nu giver vi dem efter det her.
24:10
Så bliver vi gode til det. Selvfølgelig ikke, altså uden at
24:14
de mister. Bredden og de ikke bliver helt
24:17
snævret ind. Men Det er ret Det er ret sjovt
24:20
at tænke på et fordi. Det der engineering, det bliver
24:23
ligesom Sådan en det der projekt.
24:24
Det bliver ligesom Sådan en her sidder vi og eksperimenterer.
24:27
Vi har Sådan det Sådan åben ende problematik forsøger at bruge
24:30
modellerne til det her og så. Kan man ligesom hvis man kigger
24:33
på det statistisk ikke så kan man se okay, men Det er i
24:36
virkeligheden den her måde. Folk tænker at use casene er.
24:41
Er er ligesom bedst, og Det er det, de bruger dem til Sådan
24:44
noget, så så kan man ligesom tage de der spikes ikke hvis man
24:47
kigger på Sådan en grad, så siger okay her, der kan vi gå
24:49
ind og tage noget og og ligesom giver den bedre ned mod det, så
24:53
er det klart, så vil man meget hurtigt opleve, at modellen
24:55
opfører sig mere efter Sådan som man forventer sjovt, men Det er
25:00
rigtigt hvad du siger, fordi det virker som om at det åbner jeg
25:02
at gøre nu her. Det er at de ligesom kaster det
25:04
ud til en masse mennesker, ser hvordan de bruger det og folk
25:07
finder på alle mulige fede ting derude og så når de ser noget
25:10
som ligesom. Fungerer godt for folk, så siger
25:14
de Det er den. Det er et fedt koncept den her
25:16
vi det prøver vi på en eller anden måde at indarbejde i selve
25:19
modellen. Fordi det det virker som om folk
25:22
de de bokser lidt med at få den til at gøre det og den er ikke
25:25
helt rigtigt altid lytte efter og Sådan noget, men det prøver
25:27
virkelig ikke for eksempel det her med at give den en besked op
25:31
øverst for at fortælle den til den i stemningen, eller man kan
25:34
sige ikke og så den bliver bedre.
25:36
Det det man prøver med systemet i pumpen kan man sige, men men
25:40
så gør de så ligger ligesom mærke til hvad folk gør eller
25:43
Sådan og så siger de så vælger de nogle ting og siger nu tager
25:46
vi og laver en eller anden form for trænings setup med den her
25:50
feature og så giver vi den et ordentligt los bagi.
25:53
Fjerde fintuning Sådan så vi ligesom alle liner den i den
25:56
retning. Og Det er jo Det er jo noget som
26:00
kun åbner. Jeg kan ikke, eller Det er jo
26:02
ikke noget som ja, ja brugerne Sådan rigtig kan nå det endnu
26:05
vel fordi Det er jo bare out of range for for rigtig mange, men
26:09
Det er jo Det er jo der hvor altså jeg reel forskel human
26:12
feedback er uden for reach for rigtig mange ikke, men men
26:16
metoden hvis metoden bliver udbredt og demokratiseret og og
26:20
håndterbar ud fra, hvad kan man sige ressourcer og alle de der
26:23
ting der, så vil det lige pludselig ikke være særlig
26:27
attraktivt at bruge. Andres instruks løsninger, så
26:32
vil det være meget mere attraktivt at bruge
26:34
domænespecifikt data, proprietært data for en
26:37
forretning. Til en at træne en instruktioner
26:42
med ja og og det vil det, vil det fordi at du du Vi har
26:48
snakket om det der med altså de der åbensindede problemer og og
26:53
agenter som kan opentele ting så de så de generalister og rigtig
26:56
dårlige til til rigtig mange ting set i forhold til hvor god
27:00
og hurtig en robot Der er til til en meget meget specifik
27:04
opgave og du ved den kan bare bomben.
27:08
Det er jo papkasser ikke, og Det er den rigtig hurtig og god til
27:11
og Sådan nogle ting og Det er det, Det er det man gerne vil
27:13
have II virksomhedssammenhæng ikke Det er man vil gerne kunne
27:17
lave. De der nedfældes punkter og
27:19
ligesom. Blive rigtig god til nogle
27:21
bestemte ting. Ikke så så på et eller andet
27:25
tidspunkt så min. Tese men forudsigelse, Det er ja
27:31
åben og jeg viser os at at de hjemtager mere og mere af det
27:34
der, så der ikke bliver så meget prompte engineering.
27:36
Det kommer ind i modellen, men samtidig så bliver det også på
27:40
et andet tidspunkt billigere Sådan så andre virksomheder kan
27:42
lave de her deres egne instruct løsninger, men det skal blive
27:47
væsentligt billigere og jeg. Jeg tror ikke på de går ud og
27:50
køber en masse ideer og så løser de problemet på den måde for det
27:54
det. Det er stadig ikke alt for
27:56
bøvlet ja, men men til gengæld så så tror jeg på at Der er
28:01
nogen der kommer med nogle gennembrud.
28:03
På de her modeller og måske også Der er nogle små modeller, som
28:06
kan køres og og og ideres henover og prøves af og Sådan
28:09
nogle ting, så så går det bare amok derude lige pludselig.
28:13
Det er mega god service, så har det alle steder med og det
28:20
koster ingenting at køre og Sådan noget der ikke.
28:23
Ja, Det er jo det man gerne vil hen er det det ja så er det
28:27
nummer 4 Sådan mere spirituelle som de kalder det modeller altså
28:31
modeller der simpelthen bare lytter mere til systemet
28:33
prompten i virkeligheden. Så er der den femte og sidste.
28:38
Hvad skal man sige? Opdatering til open air SP som
28:40
nok ligesom ja og så har været Sådan lidt overskriften for det
28:43
hele og den der ligesom er mest Sådan.
28:46
Wow Det er Sådan et Det er et statement eller Det er Sådan Det
28:49
er Sådan et okay, Det er den vej Vi skal åbne eje statement vil
28:54
jeg sige og det og det her de kalder for funktion calling.
28:59
Og og Det er lidt et spacy begreb.
29:02
Det er Sådan lidt en space ting i virkeligheden, men Det er jo.
29:06
Helt klart noget som som er blevet taget.
29:12
Altså Det er helt klart noget der kommer af at bruge de.
29:15
Her skal man sige sprog modeller man ser derude med at folk
29:20
bruger de her sprog modeller som agenter som bruger redskaber,
29:23
hvor redskaber eller tools skal ses som funktioner.
29:29
Basically hvor modellen bliver ligesom briefet om at de har.
29:34
De her og de her funktioner, som de kan bruge, som kan det og det
29:39
og de modtager inputs i det her det her format.
29:43
Og den kan modellerne ligesom vælge at kalde få noget tilbage
29:47
ind i pumpen og tage en beslutning eller rasende videre
29:52
på baggrund af det. Og hidtil.
29:56
Har fremgangsmåden ligesom været Sådan noget Manuel promt.
30:03
Frederi, hvor man har, eller folk får det til at virke
30:06
imponerende godt, kan man sige. Men men hvor man ligesom har.
30:11
Ja, hvad har man man har i starten?
30:14
Lidt ligesom Sådan et system besked har man ligesom briefet
30:16
modellerne om, at de har de her funktioner.
30:19
De tager det her som input, de kan det her det her.
30:21
Dem kan du vælge at bruge i hver reasoning step du har så go nuts
30:26
agtig. Og Det har man Sådan set fået
30:31
til at fungere meget godt, men Det har også været meget Sådan
30:38
Sådan lidt ikke så robust, fordi der har været nogle gange hvor
30:42
at modellerne ikke helt kunne finde ud af, hvad for noget data
30:45
de skulle input i de her modeller, hvis de har skulle
30:47
levere noget struktureret data tilbage i form af Jason for
30:51
eksempel, så er det Sådan, så er det nogle gange altså ikke helt
30:56
lykkedes med det og ikke helt fattet Sådan.
30:59
Pointen II. Det kan man sige.
31:03
Ja men men men så så der har været nogle nogle ting der
31:08
ligesom har været lidt bøvlet ved at bruge de her tools, som
31:10
man kalder det, som især er kendt for for lang tjene og og
31:15
der kan man sige at at men men men Det er jo egentlig lidt
31:17
ærgerligt at Det er lidt bøvlet at arbejde med, fordi Det er et
31:20
ret vildt promis. Det giver de her tools.
31:24
Fordi, at det netop modarbejder mange af de her problemer, Vi
31:28
har med med. Hvad hedder det language models?
31:30
Det her med, at de hallucinerer det her med, at de ikke de er
31:33
ikke trænet op til en vis dato, så de ved ikke om noget om, hvad
31:36
Der er sket i dag, for eksempel. Og en masse andre bøvlede ting,
31:42
som er her ved. De er ikke særlig akkurat de er
31:43
ikke så gode til at lave. Hvad hedder det regn, matematik
31:46
ud og alle mulige forskellige ting og sager?
31:50
Så det det det her med at bruge funktioner taler rigtig godt ind
31:53
i den hersens store vision. Mange har fra før for store
31:57
sprog modeller. Det som Open i så har gjort Det
32:01
er at de har. Byggede det det her med, at nu
32:07
Jeg har været vant til at kalde det for tools i lang tid, fordi
32:11
Det er ligesom ordlyden II lange chain, men de de kalder det så
32:14
for functions, altså det her med at man kan.
32:18
Definere funktioner til modellen, når man kalder den.
32:23
På og, og det gør man basically ved hjælp af, at man definerer
32:27
et jasons. Man giver jo funktionen et navn.
32:30
Og så beskriver man hvad den kan gøre.
32:33
Så giver man også et tilhørende Jason skema, som ligesom viser
32:36
hvad for nogle inputs modellen tager.
32:40
Og var den den ligesom skal? Ja, Det er i virkeligheden jo.
32:44
Det er jo i virkeligheden den. Den viser skemaet øh.
32:49
For et json objekt, som er ligesom forventer, at modellen
32:53
skal returnere i forbindelse med at bruge den her funktion.
32:59
Og det og og der det man så også gør Det er at man ligesom
33:01
beskriver hvad funktionen kan. Så beskriver man hvad hvis ens
33:05
funktion at den skal returneres, ligesom har mange forskellige
33:09
argumenter. Det kan være den returnerende
33:11
liste af strings sammen med en float og en liste af integos for
33:17
eksempel, så skal man ligesom forklare modellen, hvad de
33:21
forskellige. En det, hvad den returnerer,
33:24
ligesom betyder. Og og og det det en en Sådan
33:30
tydelig fordel ved det. Det er at den den gør det Sådan
33:32
meget. Hvad skal man sige?
33:35
Den gør det Sådan meget reliable altså den den returnerer.
33:38
Den er meget Sådan. Hvad skal man sige?
33:40
Hvad hvad reliable? Hvad er det man kalder det på
33:42
dansk? Den er meget.
33:44
Den er meget pålidelig i at returnere Jason i det rigtige
33:47
format. Noget noget der giver mening i
33:49
de felter man ligesom har defineret og Det er det tror
33:53
jeg. Der er rigtig mange Der er glade
33:54
for. Ja lige præcis, og så kan man så
33:58
når man sender de her, når man ligesom definerer Sådan en eller
34:02
flere funktioner til modellen. Så kan man sige, man kan enten
34:06
sige, at den eksplicit skal sige, at den skal bruge.
34:10
Ikke skal bruge nogle af de her funktioner i den svar, man kan
34:14
sige, at den skal bruge for eksempel en af funktionerne i
34:17
den svar. Eller man kan også sige, at den
34:19
selv må bestemme, om den har lyst til at bruge funktionerne i
34:25
den svar, altså om den ligesom finder det brugbart at tage en
34:29
eller anden funktion frem og så returnere.
34:33
Jason. Som som som input argumenter til
34:37
en funktion, eller det kunne også være PI for eksempel.
34:40
Ja. Og det Der er lidt sjovt ved det
34:43
her. Det er, at Der er flere, Der er
34:46
nogen, Der er flere use cases for det her.
34:47
Nemlig fordi. Det kunne godt være de har vist
34:51
givet et eksempel i open air i præsentationen af det tror jeg
34:54
Det er hvor at man beder den om, at man giver den en funktion der
34:58
hedder get current weather for eksempel.
35:01
Og så fortæller man at hvad der ligesom skal returnere for at
35:05
for at kunne få vejret. Og i det tilfælde, Der er det
35:10
Der er det den returnerer. Det er noget strukturelt Jason,
35:12
hvor den giver. Jeg tror, Det er bare lokation
35:15
for eksempel. Og i det tilfælde, Der er det
35:18
rent faktisk, der kunne det være noget Jason du kunne få tilbage
35:21
på modellen og så rent faktisk sende til et rigtigt API, som så
35:25
ligesom ville give dig vejret. Og så kunne det det.
35:29
Så kunne du injecte det tilbage i sproget modellen.
35:33
Så det vil sige, du kan bruge den til som at kalde rigtig API
35:35
og mad. Men altså Det er det en ting.
35:38
Det er Sådan den oplagte. Hvad skal man sige anvendelse af
35:40
det? Og Det er vigtigt at
35:42
understrege, at Det er ikke selve modellen, som kalder af
35:44
det. Det er ligesom bare den, der
35:45
returnerer. Det man ligesom sender tabet.
35:49
Ja den den returnerer jo en en instruktion tilbage til dig.
35:54
Altså Det er jo i virkeligheden det så den siger.
35:58
Jeg tror jeg skal bruge det det her den her funktion til at
36:03
svare på det og det og det og det vil jeg gøre på den og den
36:06
måde altså med de her parametre de her værdier og som man på
36:10
forhånd er defineret som som som du har givet mig 10
36:15
valgmuligheder for at ting Jeg kan vælge imellem.
36:18
Der er en beskrivelse af, hvad de hvad de gør, så Jeg kan finde
36:20
ud af, om jeg skal bruge det eller tredje ikke, så får man
36:24
jo. Svaret tilbage.
36:25
Hey jeg Jeg tror jeg skal bruge den her funktion til at svare på
36:29
det her spørgsmål. Og så har man jo inde under selv
36:34
defineret den her funktion, som tager de her input med de her
36:37
typer og kommer og spytter et eller andet tilbage, for
36:41
eksempel et eller p eller noget andet data.
36:44
Og så er meningen jo, hvis man fortsætter den måde at arbejde
36:47
på, at man så spytter lidt tilbage ind i.
36:52
Er man rent faktisk kalder man rent faktisk kalder apiet og
36:55
spytter det man har tilbage tilbage ind i pumpen og beder
36:58
den om. Nu har jeg sagde jeg skulle gøre
37:01
det her. Nu har jeg gjort det her og ved
37:04
du hvad? Jeg ved og og opsummere, hvad
37:06
svaret så er på det her. Givet den information Jeg har
37:09
fået tilbage, og så får man jo et fint opsummering af det svar.
37:13
Selvfølgelig gør man det, så Det er jo Det er jo Det er jo super
37:15
smart og Det er jo så bare lige præcis det som lang ting ville
37:19
gøre i deres tools, og Det er den abstraktion de har tænkt i
37:23
de der tools. Bare på en lidt mere Sådan lidt
37:26
mere dirty måde, ikke? Ja lidt mindre hjemmestrikket
37:31
måde passers og alle mulige ting, for ligesom at sikre at
37:35
det her produkt der kommer tilbage rent faktisk er i et
37:38
format, man så kan bruge til netop at putte ind nogle
37:41
funktioner og så tilbage og Sådan nogle ting jeg nu siger
37:44
jeg åbner jeg hvad hedder det? Det er en rigtig god
37:47
abstraktion. Vi kalder det funktioner, Det er
37:48
endnu mere abstrakt, fordi det her funktioner, Det er noget,
37:50
Der er i Sådan computerens. Det sker over det hele.
37:53
Funktionerne kan gøre alt i på en computer, så Det er bare det
37:56
den øverste computer science abstraktion der findes.
38:00
Eller nederste, det ved jeg ikke.
38:01
Det kommer an an på, om man er til Sådan noget lambda show men.
38:07
Så funktioner det, det giver vi jo bare tilbage, og så kan i
38:10
gøre alt hvad i vil med den her. I kan få den til at instruere,
38:13
instruere dem i alt og give den alle de typer af tools som i
38:16
måtte. Vi måtte tænke over i
38:18
overhovedet ikke begrænset bare beskrive det naturlige sprog,
38:21
hvad Det er for en tue, skulle man altså lange, men ikke
38:23
begrænset af noget. I kan bare lave jeres egen
38:25
funktion direkte ind og så så kalder jeg det bare smukt, men
38:31
men men men det, Det er Sådan ene, og fordi Det er Sådan den
38:34
ene meget Sådan du ved oplagte måde at bruge de her ting på at
38:37
få den til at returnere. Data eller argumenter til et
38:41
rent faktisk api, som man så kalder for noget tilbage og så
38:44
ind i proppen igen. Men den men men det Der er med
38:47
det og Det er det ligesom det sjove twist ved det, kan man
38:49
sige Det er at. Det fungerer den funktion man
38:52
definerer. Behøver jo ikke at være et
38:56
rigtigt, en rigtig funktion, som rent faktisk bliver eksekveret,
38:59
eller som rent faktisk bliver et api.
39:00
Men rent faktisk kalder. Det kan også bare være en
39:03
fantasy funktion, som man finder på.
39:07
For eksempel var der en så jeg på på hacker news, som havde.
39:12
Defineret en en opskrift opskrift funktion, som ligesom
39:16
tog en så og der var formatet, ligesom at den skulle.
39:20
Den skulle outputte tid, hvor lang tid det tog at lave en
39:23
opskrift. En en liste af strings, som så
39:26
var en liste af ingredienser og så en anden liste af strings,
39:29
som så var en liste af steps man skulle bruge for at.
39:34
Ligesom at komme komme. Hvad hedder det for for ligesom
39:36
at lave opskriften og og så skriver han til så skrev han i
39:40
det Det var så ligesom 1 1 1 1 tool eller en funktion har
39:43
defineret til apiet og så sagde han så du skal bruge den her når
39:49
jeg kalder dig sagde han så og. Og så skrev han Sådan lav en
39:56
lasagne til mig på lasagne. Lav en opskrift på lasagne til
39:59
mig. Og så den returnerer jeg en
40:02
opskrift på lasagne i strukturerede Jason.
40:05
Altså Sådan og du ved, Det er jo ikke Det er jo ikke nogen
40:08
rigtige funktion der skal kaldes.
40:09
Det er bare en måde ligesom at tage den viden der ligesom er
40:14
internt i sproget modellen og så.
40:17
Banke ned ind og struktureret Jason.
40:20
Ja, men jeg går ud fra at han havde.
40:22
Han havde specifik. Med det der skema til den
40:25
funktion, som opskrifterne og og beskrevet hvad den her liste
40:30
var, og Det var ingredienserne, hvad den her liste var.
40:34
Det var ja så er den jo trænet til at fordi den tænker jeg skal
40:39
putte det her ind i den her funktion, som han jo godt kunne
40:42
have til så at anvende det her. Jamen, det kunne for eksempel
40:44
være, at han så ville render det som noget, Der er smukkere uden
40:47
Jason. Ikke så putter han det ind i den
40:49
her funktion, så er det jo klart, så bygger den jo alle de
40:51
her argumenter, den skal bruge til.
40:54
Til til det, og Det er det den er trænet til, så du.
40:58
Du får jo noget struktureret Jason ud som svar, fordi det
41:02
skal være input til den funktion der hedder opskriften, men Der
41:05
er jo ingen der siger du skal kalde funktionen, så du kan jo
41:07
gøre hvad det vil, men men sjovt nok er det jo så altså også
41:14
rigtig fornuftigt så have en funktion der matcher i sine
41:17
systemer på en eller anden måde så man ligesom kan altså så Der
41:19
er en sammenhæng imellem de der prompts og hvad man får tilbage
41:22
af Jason fordi så ved man jo så også at man er garanteret.
41:25
Måske lidt forhåbentlig garanteret det der Jason format
41:28
passer, og at man så kan køre det igennem den der funktion
41:31
der. Det vil for eksempel være at
41:33
gemme opskriften i en database, ikke for eksempel nice plug and
41:37
play nede i databasen og det her.
41:39
Det er jo så et eksempel på, at man tager du ved bare en eller
41:42
anden rømt giver mig en opskrift på lasagne, og så får man det.
41:45
Du ved, så hiver modellen ligesom op af hatten, og så får
41:48
man en opskrift på lasagne, men man kan også forestille sig, at
41:51
man ligesom har bedre end sprogkoden om at exacte bestemte
41:55
data fra en tekst det kunne. Nu har vi jo begge 2.
41:58
Jeg har arbejdet på ekstra Bladet.
41:59
Du har også arbejdet ekstra Bladet, så den er gratis den
42:02
her. Hvad hedder det ekstra Bladet?
42:04
Ja nu gør jeg men hvad hedder det?
42:07
Det kunne for eksempel være extract alle topics ned
42:11
initieres. Whatever.
42:15
Det kunne være politiske overbevisninger.
42:19
Boy's whatever et eller andet. Fra den her nyhedsartikel i det
42:24
her strukturerede, Det er Jason format.
42:26
Lige præcis bum hiv hiv lige alle de her ting ud.
42:33
Jeg skal. Jeg skal hente de her ting ud
42:35
fra artiklen til den her funktion her, så kan man ja ja
42:40
det det det almost 2 easy og der var også en jeg så også lige sex
42:45
hvis du kender ham. Han har en youtube kanal som
42:47
også er rimelig stor og han har også ret offside over hele det
42:50
her generative r som mange andre selvfølgelig også er, men han
42:54
har lavet Sådan en der hedder Jeg tror han har lavet en en
42:56
applikation der hedder tern GPT altså Sådan en gt model som
43:00
ligesom som hjælper en i terminalen.
43:04
Og Der er ideen, så er man ligesom beskriver i naturlig
43:07
tekst, hvad for et problem man gerne vil have løst.
43:09
Og så returnerer den en serie af kommandoer.
43:13
Man ligesom gerne vil tilbage for at løse det problem, og Det
43:17
er jo også super oplagt at bruge funktion calls af det her, fordi
43:21
der beskriver du ligesom funktionen get commence.
43:24
Du skal få kommandoer til hende linux terminal på ubuntu og du
43:30
skal returnere et array af strings af tilfældig længde,
43:33
fordi hvor mange kommandoer ind kræver ligesom at løse det
43:37
problem. Jeg vil gerne gøre et eller
43:40
andet og så returnerer du bare ligesom kommandoer til at gøre
43:42
det. Men Jeg tror at altså der hvor
43:46
det Sådan er er lidt mere åben intet som jeg forestiller mig,
43:50
hvor man ligesom Sådan kan jeg prompter med noget jeg kunne
43:54
godt tænke mig, at du genererede noget, noget noget sekul eller
43:57
noget python eller noget noget eller et eller andet til at løse
44:01
et problem for mig. Der tror ikke man behøver de der
44:04
funktionscookies særligt meget der der gør vi jo ligesom lidt
44:06
som vi gør i dag i virkeligheden, og vi bruger det
44:08
ikke. Så så jeg ser mere de der.
44:14
Øh jeg ser de der den der måde at strukturere det der Jason og
44:18
de der funktioner og ligesom give GBT modellen et space hvor
44:24
den kan vælge imellem altså den kan mappe på turene til det du
44:27
giver. Ja ja alt det der ikke det det
44:29
ser jeg som et. Et en måde, hvorpå den ligesom
44:33
kan komme ud af sin lille boks og bruge omverdenen på en
44:38
struktureret måde og relativt nem måde for udviklere.
44:41
Altså Det er jo det der med at gøre det nemt for udviklere.
44:43
Vi elsker at bruge tools Der er nemme at bruge for at løse
44:45
problemer og. Og her der Der er det bare back
44:51
ind i modellen whats not 2 like og der kommer mere af det der
44:56
altså Det er bare det lige om lidt så overtager hele verden og
44:59
udsletter menneskeheden. Man kan jo altså man kan man
45:03
sidder derinde i høje Borgen og man har ressourcerne til at at
45:07
at lave et datasæt. Der kan fintune en en model til
45:13
til bestemte instruktioner og sikre et bestemt output, og man
45:17
kan måle og veje på, om man formår at sikre det her output i
45:21
de her. For en tuning processor, og.
45:24
Så har man bare the power fordi du kan du kan gå ud og få
45:29
genereret data, der sikrer at du har det træningsdata der skal
45:33
til for at lave den type outputs.
45:36
Du skal bare finde de gode cases, du skal bare finde de
45:38
gode use cases og når man har først har sluppet r.
45:42
Bæstet løs derude, men så skal man bare åbne øjnene, og så skal
45:45
man ud og kigge på landingsbanen og hvem der ellers står og laver
45:47
alt muligt. Og så får man alle de gode use
45:49
cases og gode ideer til, hvordan man kan strukturere sit
45:52
træningsdata til at lave den her fine tunnel.
45:54
Og så går man tilbage og så fintuner man og så bum nu ligger
45:57
det i modellen, når vi løst problemet for jer.
46:00
Det er fint og alt det der kode i fandt på og den der pakke
46:03
pakke den har rigtig mange stjerner.
46:04
Det er supergodt, men nu er der også 1 1 1 1 model som kan det
46:09
her med med de her vægte og så er det bare meget nemmere at
46:12
arbejde med. Til gengæld så brænder vi lige
46:15
lidt ekstra brænde af for at få det til at virke.
46:16
Men hallo det det spiller. Og så kommer mere og mere af det
46:21
der. Det fortsætter bare så Jeg har.
46:24
Jeg har altid let. Jeg kunne aldrig finde på at
46:28
hoppe alt respekt for lang tid, men jeg kunne aldrig finde på at
46:30
hoppe på Sådan et projekt og bidrage med mit open source
46:33
fordi jeg data scientist Jeg kan se hvad hvad trenden er for de
46:38
der modeller Det er det lyder totalt højrød, men Det er altså
46:43
Det er bare Sådan ja lange ting i kommer med nogle gode idéer,
46:47
men de bliver spist af de her modeller og det bliver de bliver
46:50
ved med at spise mere og mere af det dér domæne der.
46:52
Der hedder programmering. Altså Jensen der fra en vilje
46:56
han han han havde Sådan nogle crazy.
46:57
Han kan godt lide at hype alle ting, så går de ud og køber hans
47:00
produkter og Sådan nogle ting. Men, men han havde faktisk en
47:04
rigtig god pointe. Altså det almindelige mennesker,
47:06
der kommer til at programmere maskiner med natural language.
47:10
Det gør det igennem de her modeller, så det kommer til at
47:13
programmere dem, når vi kommer længere frem.
47:15
Det er der ingen tvivl om, så Det er Sådan en masse instruct
47:18
ting, og Jeg tror de der instruks kommer helt ned på at
47:22
se på ugen, og så bliver den bare et bedst til at lave en
47:27
instruktioner til at løse problemer, og det bliver det
47:30
bliver en compiler også. Den kommer også til at kompilere
47:33
ting for dig og Sådan noget der. Det går helt banalt at sige, Vi
47:37
er der ikke endnu, men Det har ingen tvivl om det, fordi Det
47:40
er, Det er bevist nu, at at man kan det altså der det.
47:45
Det er jo muligt at stoppe nu faktisk altså.
47:48
Hej pige, men men Det er der ikke endnu vil jeg bare lige
47:51
sige, men men man kan se det bliver hjemtaget mere og mere i
47:55
de der modeller der de de bliver bedre og bedre til de der ting
47:58
der så Jeg tror Vi skal passe sindssygt meget på med at gå ud
48:03
og sige Vi skal bare implementere alle de her ting
48:06
som er der fordi det i morgen så er de væk mand så er det lige
48:08
uddateret bare lige Sådan så og der bliver bare postet penge i
48:13
det der var sjovt fordi jeg sad nemlig på hos kvinder der sad
48:17
jeg og så et problem der. Dagen før det kom det der hvor
48:21
jeg Sådan prøvede at få Sådan et okay komplekst.
48:23
Jason studerede Jason komma et ud.
48:29
Og Det er bare Sådan åh Det er noget lort det her og fuck altså
48:32
Det er bare noget hejs ikke og Det er jo ikke og så kom det der
48:36
og så er det bare Sådan yes så er der en åben og jeg mega fedt
48:40
ikke bare alle de pæne ja så Det er Sådan Det er Sådan.
48:45
Ja det det det man man skal fandme passe på det der med at
48:49
satse alle sine penge på et eller andet ikke?
48:51
Og Jeg tror rigtig meget Det kan betale sig at tænke over.
48:55
Hvad er alle de her kreative ting som som.
48:59
Man ligesom finder på i selve prompte ingeniøren delen, altså
49:04
hvor meget af det kommer op, når jeg ikke til bare at tage
49:07
ligesom alene i de her modeller til ligesom indbygget i dem.
49:10
Ikke fordi de har den helt store hammer og den hedder fintuning
49:15
og og de har data til at gøre det og så videre så det og altså
49:21
noget af det vi ved, som som ikke bare løst med den her
49:24
kontekst længde. Det er en Vi er jo tilbage til
49:26
de her vektor databaser. Det er noget Der er relativt
49:28
statisk og har været det i noget tid.
49:30
Folk har bare først opdaget, at Det er en vigtig ting nu, og Det
49:34
er jo Det er jo den her søgefunktionalitet, ikke?
49:37
Altså embedding er stadigvæk en ting, ikke vi repræsenterer
49:42
tekst med med vektorer, og Vi skal kunne.
49:45
Vi skal jo have nogle kapabilitet med de her vektorer
49:47
her. Det er afsindigt vigtigt.
49:49
Det er hvis Det er Der er en single ting som folk skal høre
49:53
derude i virksomhederne. Det Det var mig der sagde det
49:56
først, men Det er gå ud og få jeres vektor databaser få styr
50:01
på dem, fordi så ikke klar til når når alting det bevæger sig
50:06
hen over det der med de der vægt til databaser og så kan i så kan
50:10
i oppe det ind og ud af alle de der ting der flyver rundt, men
50:13
Det kan i ikke hvis i ikke har vektor databaserne på plads, så
50:16
kommer jeg til at flyve i det må jeg så lige tilføje en ting her,
50:20
fordi Jeg tror også at man skal Der er mange der kommer til at
50:23
fordi du har helt ret. Du har helt ret det der det det
50:25
search er mere relevant end nogensinde har været, og vi
50:30
kommer ikke til at løse de der problemer med en kontekst længde
50:33
på en milliard trilliard et eller andet over det fordi det
50:38
det virker bare ikke som løsningen.
50:39
For mig synes jeg også fordi det hvis man skal tænke på det
50:42
skulle fungere som menneskelig intelligens, ikke?
50:45
Mennesker de læser jo heller ikke en bog, du ved parallelt.
50:49
Sådan på den måde altså Sådan. Det gør man jo ikke dem.
50:51
Man har jo ligesom Sådan en form for.
50:53
Span man ligesom kan rasende på eller skal jeg sige ikke og så
50:57
kan man. Ja retrieve information fra
51:00
hjernen eller memory eller whatever så på en eller anden
51:03
måde så så så siger det mig også at det bliver søgning bliver
51:07
vigtigt til at bruge de her language models.
51:11
Men Jeg tror også, at folk finder ud af, at vektor
51:13
databaser ikke nødvendigvis i sig selv er nok.
51:19
I hvert fald ikke Sådan ofte shelf Victor emballerings, som
51:22
man bare lige henter på ugerninger eller go hero eller
51:26
altså jo, Det kan jeg sikkert godt tage dig noget af vejen,
51:31
men Jeg tror også folk vil eller opleve det her med, at hvis du
51:35
virkelig gerne vil have det skal spille rigtig godt på din data.
51:38
Så kræver det også, at du ligesom at det mere tilpasser
51:41
dit data og ikke bare generelt super generelt ikke igen den her
51:46
generalisering. Hvad hedder det specifikt
51:50
performance trade off ting ikke. Og Det er også nok også det her
51:54
med, at der også flere ting. I search.
51:58
En. Bare væk fra databaser tror jeg
52:02
altså Sådan det det. Det er i hvert fald hvis man nu
52:04
sidder vi jo på co dot r og en af Vores største.
52:08
Missioner eller Sådan North stars eller man kan sige er jo
52:13
at reverse engineer Google basically.
52:16
Og der kan man godt se, at hvis man tror at Google bare er en
52:20
vektor database. En stor fed vektor database.
52:25
Det er de ikke, for Det kan de ikke være meget data, men Der er
52:29
også meget data, men Der er også meget mere Sådan Der er meget
52:31
mere i det på en eller anden måde, at Der er meget mere
52:33
Sådan. Ja også det der med jamen Der er
52:38
så Det er så meget. Det er så meget sværere problem.
52:40
Det er ikke bare vektor similarity der kan løse det
52:43
problem. Det er alle mulige.
52:45
Det umiddelbart virker det i hvert fald så meget på mig på at
52:48
Det er Sådan. Der er mange det det et svært
52:52
problem med mange. 1 1 1 1 1 bunke af løsninger som skal
52:57
spille sammen til Det er aldrig ligetil, nej heller ikke selvom
53:01
man har en lektor database. Men Det er både sætning for
53:06
rigtig mange ting i den her tid, så.
53:11
Yes men hvad hedder det? Nu har vi Sådan set været
53:13
igennem alle 5 af de Sådan vigtigste eller alle 5 tror jeg
53:18
Det er at opdateringer til at åbne i nye api eller gamle api
53:24
som nu er nyt. Og altså hvad siger du?
53:29
Er det stadig beta Der er nogen af modellerne Der er beta ikke?
53:32
Jeg tror Sådan noget som west børn og Sådan noget og de er
53:34
stadig i beta og Der er nogle af dem hvor der står beta.
53:38
Det er bare en disclaimer for at vi kan ikke garantere noget som
53:41
helst. Men det, vi kan tage ansvar for,
53:46
om det virker. Ja så men der hedder det ja så
53:50
Jeg synes egentlig Det var. Det var meget fedt at snakke dem
53:52
igennem og brækkede dem ned og. Igen, Jeg tror ikke den sidste
53:57
opdatering, som vi også har snakket om.
53:59
Jeg tror ikke den sidste opdatering vi kommer til at se
54:01
for at åbne, og de kommer til at ligne de her modeller endnu mere
54:05
til til de ting. De ser derud, at folk bruger dem
54:09
til at de fede ting, folk bruger dem til.
54:12
Ja som de også selv ved internt, at der ved ting Odense så.
54:16
Helt sikkert. Så hvis ikke du har med at se
54:19
Jonas, så tænker jeg, at vi vi afslutter ugens episode.
54:23
Ja ja, det synes jeg Det var. Det var en god snak og til alle
54:27
lytterne derude, så vil jeg bare sige, at hvis man godt kunne
54:31
tænke sig at støtte Vores podcast, hvis man er kommet
54:33
hertil, så om en true fan vil jeg sige, fordi Det er lang tid
54:37
at sidde og lytte ned til 2 1. 2 nørder her ikke og hvis man er
54:42
nået hertil, så synes jeg fandme man skal gøre sig selv og også
54:44
den tjeneste at gå ind og like os eller synes godt om hvad det
54:48
hedder på LinkedIn på subscribe til til os på youtube på Apple
54:52
podcast, Spotify og eller mere. Det er der ikke.
54:57
Nej Det er der ikke, så kan man også følge Jonas og og mig
55:00
Kasper på på LinkedIn fordi Det er en fest.
55:06
Ellers må jeg bare have det rigtig godt til.
55:07
Vi ses igen i næste uge. Vi ses vi ses.