Danske Mediers Unødvendige AI Pessimisme

Jeg oplever, at medierne bruger for meget tid på aktivt at lede efter hullerne i osten, når det kommer til AI.

Som en, der selv bruger en hel del energi på at være optimistisk og tænke i de mange muligheder, der er opstået med AI, ærgrer det mig.

Det ærgrer mig, at der ikke bliver brugt mere spalteplads (især i Ingeniøren) på at dyrke den kolossale optimisme og begejstring, jeg føler, at mange burde have omkring AI og alle de nye muligheder, som bare ligger og venter på at blive høstet i det danske samfund.

Og ja, jeg er optimist og er derfor nok også biased imod alt det positive.

Men når jeg ser, hvordan medierne dækker AI, oplever jeg, at de ofte er unødvendigt biased imod alt det negative.

Det er tydeligt at mærke, at det smitter af på den store del af den danske befolkning, der kun hører om AI igennem medierne.

Når jeg taler med folk, som ikke bruger en stor del af deres tid på at forstå og se muligheder i AI, så oplever jeg den selv samme bias imod pessimisme, som man også oplever i medierne.

Jeg synes, det er pisse ærgerligt.

Dette er en tid for optimisme.

For den nuværende teknologiske udvikling inden for AI indeholder langt større upside end downside.

Det synes jeg burde være afspejlet i den måde, vi taler om AI på.

Et Langt Kontekstvindue is Not All You Need

Grunden til, at mange går så meget op i længden af LLM'ers kontekstvindue, er fordi det er nemt at forstå, og fordi det er et tal, som er nemt at sammenligne på tværs af modeller.

I virkeligheden tror jeg ikke, at vi burde være så optagede af, hvor lange tekster sprogmodeller kan læse ad gangen.

Problemet er bare at det tal som vi burde være optaget af, ikke kan måles direkte.

På mange måder er det beslægtet med det samme problem, vi støder ind i, når vi forsøger at måle menneskelig intelligens.

Jeg tror, i langt højere grad, vi bør være interesserede i modelarkitekturer og metoder til produktion af træningsdata, som kan få modellerne til at øge det tal, vi ikke kan måle direkte, i forhold til modellens størrelse.

På samme måde, som konsekvenserne af Moores lov skabte uforudsigelig innovation indenfor computerteknologien, kun fordi computere blev hurtigere, billigere og mindre, så tror jeg, at noget lignende kan ske, hvis der arbejdes på at gøre generative modeller mere effektive.


En Krammer til det Mandlige Køn

Jeg synes at Martin Thorborg, på det her tidspunkt i Mark Tanges podcast sætter ord på et emne, som jeg ofte går og spekulerer over.

Jeg har ikke talt om det med særlig mange eller skrevet om det i nogen offentlig sammenhæng.

Måske fordi kønsdebatten generelt bare er lidt skræmmende at blande sig i.

Men når man ikke selv er modig nok til det, så er det rart at se, at der er andre, der tør.

For jeg har nemlig kendt langt flere jævnaldrende utilpassede mænd end kvinder i mit liv, som enten er gået totalt i hundene, permanent skadede grundet en hård livsstil eller døde af unaturlige årsager.

Det gør nok at jeg i kønsdebatten også føler en vis omsorg for mit eget køn og føler en trang til at give det mandlige køn en krammer og sige, at vi er gode nok og det hele nok skal gå 🤗

Og det føler jeg nok lidt det er, når jeg hører Martin og andre sætte ord på det i podcasts, tv, etc. For det er vi måske ikke så gode til os mænd, hvis man skal generalisere lidt.

Bare det at jeg synes det er lidt scary at dele den her post vidner på en eller anden måde om at det nok er meget godt at gøre.

Derudover er den en fed podcast Mark Tange har lavet her, som jeg kan anbefale at give et lyt.

Det kræver måske også lidt at man lytter fra mit timestamp for at fatte konteksten til indlægget, så det er måske en meget god teaser 😅

7 Ting at Fokusere på som ML-Nørd i 2024

Jeg tror, mange af os ML-nørder undervurderer, hvor meget indsigt vi har i den udvikling, der sker inden for generativ AI lige nu.

Som jeg ser det er 2024 en fantastisk mulighed for at øge vores indsigt yderligere og på den måde gøre vores viden endnu mere værdifuld i 2025 💎

Jeg tror jeg at vi som ML-nørder i 2024 bør fokusere på følgende:

  1. Vær hands-on. Ha’ fingrene i bolledejen og nyd at være i bygge processen. Ha’ fingrene i bolledejen og nyd at være i bygge processen. Engineering er en blanding af håndværk og teori, men det står sparsomt til med teorien inden for det her felt, så som jeg ser det er hands-on den eneste vej. Så skriver vi teorien bagefter.
  2. Fokuser på ægte anvendelighed. Løser det du laver et reelt problem? Eller er det et problem som du tror nogen har, men som ingen i virkeligeheden har? Optimer for virklige problemer.
  3. Hold dig orienteret om, hvad der sker i feltet, og hold dig opdateret på den seneste viden og de nyeste open source-projekter.
  4. Dan din egen unikke mening om hvordan man bygger med generativ AI. Del den med andre. Få deres input. Bliv klogere. Gentag.
  5. Vær opmærksom på “fascinations bias”. Nogle gange bliver en teknologi/metode hypet, fordi man kan lave en fascinerende demo med den. Forsøg at se igennem fascinationen. Der kan være aspekter af metoden, som er brugbare, men det er meget muligt, at selve fascinationen orienterer folk i en forkert retning. Zoom ud, vær kritisk, og skær fascinationen fra.
  6. Slå koldt vand i blodet. Giv en kæmpe f***-finger til FOMO. Du kan ikke vide det hele, og det skal nok gå alligevel. Glem det der unicorn start-up som alle siger der er kæmpe mulighed for at start lige nu (med mindre du er i gang med at lave sådan et start-up selvfølgelige 😅). Bare gør hvad du kan for at sikre, at du opfylder punkt 2, så skal du nok bevæge dig i den rigtige retning.
  7. Husk at det er mega svært det her, og der er ikke nødvendigvis nogle best practices og rigtige svar for det du sidder og laver. Det er det vi skal opfinde sammen i 2024!


2023: Tanker om AI, Software og Teknologi

Ting som jeg har læst, tænkt, noteret, spekuleret over etc. i 2023 som her er serveret som et råt brain-dump. Da det er rimelig råt, så kan redundans forekomme 🙃

  1. Meget tyder på, at deep learning-modeller lærer det, der er at lære i de data, de trænes med. Hvis de ikke lærer det, skyldes det enten uklarheder i data eller at der ikke er tilstrækkelig information i data til at løse opgaven (se Universal Approximation Theorem). Fremtidige fremskridt i AI vil derfor sandsynligvis i højere grad blive gjort mulige ved at udvikle metoder til at tilvejebringe data af højere kvalitet end ved at udvikle nye modelarkitekturer.
  2. Alle undervurderer evaluering af sprogmodeller. Det er ærgerligt, da evaluering kommer til at blive noget af det vigtigste at tage seriøst, hvis man vil lave imponerende og værdifulde ting med LLM'er. Derfor, væn dig til at tænke i evaluering af AI-systemer, og gå aldrig i gang med et AI-projekt uden at have en strategi for evalueringen af det. Evalueringen behøver ikke at være perfekt fra starten, og man skal regne med at udvikle evalueringen af systemet løbende.
  3. Når du arbejder med teknologi, bør brugernes behov altid komme før teknologien. En "bruger-først"-tankegang er afgørende for succes, i modsætning til en "teknologi-først"-tankegang. Det lyder virkelig som en floskel, men det er seriøst vigtigt, og det kræver disciplin at praktisere.
  4. Mennesker har en forenklet forståelse af, hvordan verden faktisk er. Det kan være meget uproduktivt at bilde sig selv ind, at ens forståelse af verden er perfekt. Hvis man gør det, ender man med at sidde med sine peers i et mødelokale og bilde sig selv ind, at man kan diskutere sig frem til, hvad ens brugere vil have. Det er i høj grad nemmere sagt end gjort og kræver disciplin konstant at udfordre sit syn på verden.
  5. Den generelle sprogforståelse i store sprogmodeller (LLM'er) er totalt undervurderet. Med LLM'er er det blevet mange tusinde gange billigere og hurtigere at lave et proof of concept på skræddersyede NLP-klassificeringsmodeller end tidligere – det kan nu praktisk talt gøres gratis. Det giver et kæmpe potientiale for at udvikle "oldschool" NLP, som rigtig mange overser, fordi det generative aspekt af LLM'er er så fascinerende.
  6. En brugbar måde at tænke på store sprogmodeller (LLM'er) er som et nyt interface, på linje med smartphonen, der hjælper brugere med at interagere med software. Smartphonen gjorde interaktionen med software mere mobil. LLM'er gør interaktion med software mere naturlig og kan håndtere en hel masse kompleksitet for brugeren. Gode eksempler er virksomheder, der har et komplekst produkt, som er svært for brugerne at betjene, navigere og forstå selv, fx et regnskabsprogram eller en bank. På nuværende tidspunkt er brugerens interface til de komplekse produkter ofte kundeservice. Det kommer LLM'er til at kunne hjælpe kundeservicemedarbejdere med og på sigt overtage helt. Rent engineeringmæssigt tænk:
    1. Input: Brugerintention formuleret i naturligt sprog.
    2. Mellemliggende output/input: Opfølgende spørgsmål og svar.
    3. Endelig output: Sekvens af funktionskald i det relevante software.
  7. Hvis store sprogmodeller (LLM'er) fortsætter med at blive mindre, hurtigere og billigere med samme hastighed, som de har gjort i 2023, så kan de skabe muligheder som at svære at forestille sig på nuværende tidspunkt på samme måde, som fremskridt i computerkraft har gjort det ifølge Moores lov.
  8. Udviklingen inden for 7B LLM-modeller går så stærkt, fordi de er tilgængelige at køre, træne og eksperimentere med for open source-entusiaster.
  9. Teknologifascination skygger ofte for virkelige forretningsproblemer.
  10. Hvis man bruger meget tid på at tale om AI use-cases frem for forretningsproblemer, er det enten fordi man er i gang med at lære at forstå, hvad AI grundlæggende kan, eller også er man som ekspert i gang med at formidle/sælge AI-løsninger til nogen, som ikke forstår det.
  11. Hvorvidt en teknologi er en succes, er 100% korreleret med hvor meget den bliver brugt. Biler er en succesfuld teknologi, fordi de bliver brugt. ChatGPT er en succes, fordi den bliver brugt. Tandbørster er en succes, fordi de bliver brugt. Så hvis du gerne vil lave teknologi, som bliver en succes, så handler det om at få nogen til at bruge din teknologi.