Grunden til, at mange går så meget op i længden af LLM'ers kontekstvindue, er fordi det er nemt at forstå, og fordi det er et tal, som er nemt at sammenligne på tværs af modeller.

I virkeligheden tror jeg ikke, at vi burde være så optagede af, hvor lange tekster sprogmodeller kan læse ad gangen.

Problemet er bare at det tal som vi burde være optaget af, ikke kan måles direkte.

På mange måder er det beslægtet med det samme problem, vi støder ind i, når vi forsøger at måle menneskelig intelligens.

Jeg tror, i langt højere grad, vi bør være interesserede i modelarkitekturer og metoder til produktion af træningsdata, som kan få modellerne til at øge det tal, vi ikke kan måle direkte, i forhold til modellens størrelse.

På samme måde, som konsekvenserne af Moores lov skabte uforudsigelig innovation indenfor computerteknologien, kun fordi computere blev hurtigere, billigere og mindre, så tror jeg, at noget lignende kan ske, hvis der arbejdes på at gøre generative modeller mere effektive.

Jeg synes at Martin Thorborg, på det her tidspunkt i Mark Tanges podcast sætter ord på et emne, som jeg ofte går og spekulerer over.

Jeg har ikke talt om det med særlig mange eller skrevet om det i nogen offentlig sammenhæng.

Måske fordi kønsdebatten generelt bare er lidt skræmmende at blande sig i.

Men når man ikke selv er modig nok til det, så er det rart at se, at der er andre, der tør.

For jeg har nemlig kendt langt flere jævnaldrende utilpassede mænd end kvinder i mit liv, som enten er gået totalt i hundene, permanent skadede grundet en hård livsstil eller døde af unaturlige årsager.

Det gør nok at jeg i kønsdebatten også føler en vis omsorg for mit eget køn og føler en trang til at give det mandlige køn en krammer og sige, at vi er gode nok og det hele nok skal gå 🤗

Og det føler jeg nok lidt det er, når jeg hører Martin og andre sætte ord på det i podcasts, tv, etc. For det er vi måske ikke så gode til os mænd, hvis man skal generalisere lidt.

Bare det at jeg synes det er lidt scary at dele den her post vidner på en eller anden måde om at det nok er meget godt at gøre.

Derudover er den en fed podcast Mark Tange har lavet her, som jeg kan anbefale at give et lyt.

Det kræver måske også lidt at man lytter fra mit timestamp for at fatte konteksten til indlægget, så det er måske en meget god teaser 😅

Jeg tror, mange af os ML-nørder undervurderer, hvor meget indsigt vi har i den udvikling, der sker inden for generativ AI lige nu.

Som jeg ser det er 2024 en fantastisk mulighed for at øge vores indsigt yderligere og på den måde gøre vores viden endnu mere værdifuld i 2025 💎

Jeg tror jeg at vi som ML-nørder i 2024 bør fokusere på følgende:

1. Vær hands-on. Ha’ fingrene i bolledejen og nyd at være i bygge processen. Ha’ fingrene i bolledejen og nyd at være i bygge processen. Engineering er en blanding af håndværk og teori, men det står sparsomt til med teorien inden for det her felt, så som jeg ser det er hands-on den eneste vej. Så skriver vi teorien bagefter.
2. Fokuser på ægte anvendelighed. Løser det du laver et reelt problem? Eller er det et problem som du tror nogen har, men som ingen i virkeligeheden har? Optimer for virklige problemer.
3. Hold dig orienteret om, hvad der sker i feltet, og hold dig opdateret på den seneste viden og de nyeste open source-projekter.
4. Dan din egen unikke mening om hvordan man bygger med generativ AI. Del den med andre. Få deres input. Bliv klogere. Gentag.
5. Vær opmærksom på “fascinations bias”. Nogle gange bliver en teknologi/metode hypet, fordi man kan lave en fascinerende demo med den. Forsøg at se igennem fascinationen. Der kan være aspekter af metoden, som er brugbare, men det er meget muligt, at selve fascinationen orienterer folk i en forkert retning. Zoom ud, vær kritisk, og skær fascinationen fra.
6. Slå koldt vand i blodet. Giv en kæmpe f***-finger til FOMO. Du kan ikke vide det hele, og det skal nok gå alligevel. Glem det der unicorn start-up som alle siger der er kæmpe mulighed for at start lige nu (med mindre du er i gang med at lave sådan et start-up selvfølgelige 😅). Bare gør hvad du kan for at sikre, at du opfylder punkt 2, så skal du nok bevæge dig i den rigtige retning.
7. Husk at det er mega svært det her, og der er ikke nødvendigvis nogle best practices og rigtige svar for det du sidder og laver. Det er det vi skal opfinde sammen i 2024!

Ting som jeg har læst, tænkt, noteret, spekuleret over etc. i 2023 som her er serveret som et råt brain-dump. Da det er rimelig råt, så kan redundans forekomme 🙃

1. Meget tyder på, at deep learning-modeller lærer det, der er at lære i de data, de trænes med. Hvis de ikke lærer det, skyldes det enten uklarheder i data eller at der ikke er tilstrækkelig information i data til at løse opgaven (se Universal Approximation Theorem). Fremtidige fremskridt i AI vil derfor sandsynligvis i højere grad blive gjort mulige ved at udvikle metoder til at tilvejebringe data af højere kvalitet end ved at udvikle nye modelarkitekturer.
2. Alle undervurderer evaluering af sprogmodeller. Det er ærgerligt, da evaluering kommer til at blive noget af det vigtigste at tage seriøst, hvis man vil lave imponerende og værdifulde ting med LLM'er. Derfor, væn dig til at tænke i evaluering af AI-systemer, og gå aldrig i gang med et AI-projekt uden at have en strategi for evalueringen af det. Evalueringen behøver ikke at være perfekt fra starten, og man skal regne med at udvikle evalueringen af systemet løbende.
   
3. Når du arbejder med teknologi, bør brugernes behov altid komme før teknologien. En "bruger-først"-tankegang er afgørende for succes, i modsætning til en "teknologi-først"-tankegang. Det lyder virkelig som en floskel, men det er seriøst vigtigt, og det kræver disciplin at praktisere.
   
4. Mennesker har en forenklet forståelse af, hvordan verden faktisk er. Det kan være meget uproduktivt at bilde sig selv ind, at ens forståelse af verden er perfekt. Hvis man gør det, ender man med at sidde med sine peers i et mødelokale og bilde sig selv ind, at man kan diskutere sig frem til, hvad ens brugere vil have. Det er i høj grad nemmere sagt end gjort og kræver disciplin konstant at udfordre sit syn på verden.
   
5. Den generelle sprogforståelse i store sprogmodeller (LLM'er) er totalt undervurderet. Med LLM'er er det blevet mange tusinde gange billigere og hurtigere at lave et proof of concept på skræddersyede NLP-klassificeringsmodeller end tidligere – det kan nu praktisk talt gøres gratis. Det giver et kæmpe potientiale for at udvikle "oldschool" NLP, som rigtig mange overser, fordi det generative aspekt af LLM'er er så fascinerende.
   
6. En brugbar måde at tænke på store sprogmodeller (LLM'er) er som et nyt interface, på linje med smartphonen, der hjælper brugere med at interagere med software. Smartphonen gjorde interaktionen med software mere mobil. LLM'er gør interaktion med software mere naturlig og kan håndtere en hel masse kompleksitet for brugeren. Gode eksempler er virksomheder, der har et komplekst produkt, som er svært for brugerne at betjene, navigere og forstå selv, fx et regnskabsprogram eller en bank. På nuværende tidspunkt er brugerens interface til de komplekse produkter ofte kundeservice. Det kommer LLM'er til at kunne hjælpe kundeservicemedarbejdere med og på sigt overtage helt. Rent engineeringmæssigt tænk:
   1. Input: Brugerintention formuleret i naturligt sprog.
   2. Mellemliggende output/input: Opfølgende spørgsmål og svar.
   3. Endelig output: Sekvens af funktionskald i det relevante software.
7. Hvis store sprogmodeller (LLM'er) fortsætter med at blive mindre, hurtigere og billigere med samme hastighed, som de har gjort i 2023, så kan de skabe muligheder som at svære at forestille sig på nuværende tidspunkt på samme måde, som fremskridt i computerkraft har gjort det ifølge Moores lov.
   
8. Udviklingen inden for 7B LLM-modeller går så stærkt, fordi de er tilgængelige at køre, træne og eksperimentere med for open source-entusiaster.
   
9. Teknologifascination skygger ofte for virkelige forretningsproblemer.
   
10. Hvis man bruger meget tid på at tale om AI use-cases frem for forretningsproblemer, er det enten fordi man er i gang med at lære at forstå, hvad AI grundlæggende kan, eller også er man som ekspert i gang med at formidle/sælge AI-løsninger til nogen, som ikke forstår det.
    
11. Hvorvidt en teknologi er en succes, er 100% korreleret med hvor meget den bliver brugt. Biler er en succesfuld teknologi, fordi de bliver brugt. ChatGPT er en succes, fordi den bliver brugt. Tandbørster er en succes, fordi de bliver brugt. Så hvis du gerne vil lave teknologi, som bliver en succes, så handler det om at få nogen til at bruge din teknologi.

Forslag til folketingsbeslutning

om at skabe højkvalitets datasets til træning og evaluering af danske sprogmodeller

Folketinget pålægger regeringen i indeværende folketingssamling at igangsætte arbejdet med at udvikle omfattende og højkvalitets datasets til træning og evaluering af sprogmodeller, herunder at indsamle og organisere data fra Det Kgl. Bibliotek og andre store vidensdatabaser.

Bemærkninger til forslaget

Forslagsstillerne ønsker, at Danmark skal bidrage til udviklingen af avancerede sprogmodeller ved at skabe omfattende, kvalitetsrig og diversificeret trænings- og evalueringsdata. Dette kan sikre, at danske værdier, kultur og sprog nuanceret og korrekt repræsenteres i fremtidige sprogmodeller.

Med baggrund i EU og Danmarks unikke værdier og regelsæt, som amerikanske og andre udenlandske sprogmodeller ofte overser, understreger forslagsstillerne vigtigheden af at udvikle datasets, der afspejler dansk kultur, normer, love og sprog.

Andre lande, herunder de skandinaviske naboer, har allerede anerkendt vigtigheden af at bidrage til træningsdata for sprogmodeller. Dette ses i Sveriges indsats for at udvikle svenske træningsdata til sprogmodeller.

For at undgå fejl og misforståelser i anvendelsen af kunstig intelligens i en dansk kontekst, er det afgørende at have trænings- og evalueringsdata, der fuldt ud forstår og integrerer danske kulturelle aspekter og juridiske rammer. En sådan indsats er ikke kun nødvendig for at bevare det danske sprog og kultur, men også for at sikre præcis og relevant anvendelse af AI-teknologi i Danmark.

Forslagsstillerne fremhæver, at generativ AI og tilhørende teknologier bør ses som en del af kritisk infrastruktur, sammenlignelig med veje og elnettet. Derfor bør udviklingen og vedligeholdelsen af disse datasæt være under offentlig kontrol eller et offentlig-privat partnerskab.

Forslagsstillerne betoner også, at det er essentielt at sikre, at træningsdata er transparente, så offentligheden kan forstå grundlaget og indholdet af dataene. Dette gælder også for de algoritmer, der anvender disse datasæt.

Økonomi og finansiering

Udvikling af højkvalitets trænings- og evalueringsdata kræver betydelige ressourcer. Anslået vil omkostningerne være omkring 40 millioner danske kroner, baseret på sammenlignelige projekter. Disse omkostninger dækker indsamling, organisering og vedligeholdelse af datasæt samt eventuelle rettighedsmæssige afklaringer.

Forslagsstillerne foreslår, at projektet finansieres gennem det offentlige økonomiske råderum, men er åbne for at diskutere alternative finansieringsmuligheder.