Kasper Junge

For nylig havde jeg en samtale med en ven, som mente, at OpenAI var priviligeret og kun havde alt den succes og kunne lave alt den fede forskning, fordi de havde så mange penge. Men er mange penge virkelig lig succes? Eller kræver det flere ingredienser for at opnå succes?

Man har mange gange set, at virksomheder har haft masser af penge, men stadig har valgt at bruge dem på en mildt sagt ugunstig måde. Så den med at penge bare er lig succes, den køber jeg ikke 🙃

Jeg mener personligt, at OpenAIs succes skyldes tre ting:

• De er dygtige til at rejse penge.
• De er dygtige til at vælge de rigtige projekter at arbejde på og bruger dermed deres penge optimalt.
• De er dygtige til at promovere deres forskning og få det ud til brugerne.

OpenAI har truffet mange valg undervejs.

For eksempel har de valgt at udgive ChatGPT gratis, selvom det har kostet dem mange penge, som kunne være brugt på forskning.

Mange ville måske ikke have valgt at give en så stor model ud gratis og bruge penge på noget, der ikke giver umiddelbar profit.

Men fordi OpenAI forstår værdien af PR, har de is i maven til at træffe en sådan beslutning.

Og det hjalp dem med at få rejst endnu en milliardinvestering fra Microsoft og muligvis sætte gang i en disruption af internetsøgning 😅

OpenAI er ikke den overnight success, som mange opfatter dem som. De har ufortrødent forsket i generel kunstig intelligens siden 2015 og har offentliggjort mange vigtige forskningsresultater og open source-projekter undervejs.

Og ikke mindst så har de formået at formidle den forskning på en måde, som ingen andre er i stand til. Derfor vil jeg sige:

OpenAI er privilegerede, fordi de er dygtige.

Der findes mange fantastiske open source-værktøjer man kan bruge som softwareingeniør. Fælles for dem alle er, at man interagerer med dem gennem terminalen. Selvom mange programmører er glade for terminalen, sætter de fleste mennesker pris på et lækkert grafisk interface.

Og faktisk findes der grafiske interfaces til overraskende mange open source-værktøjer. To eksempler er Docker Desktop til Docker og Attu til vektordatabasen Milvus! Og helt seriøst. Min livskvalitet steg, da jeg begyndte at bruge netop disse to værktøjer. Så slipper jeg for at rode rundt i terminalen og huske på alle mulige kryptiske kommandoer, som de færreste alligevel kan uden ad.

Min pointe er simpel, men desværre ikke åbenlys for alle. Du bør gøre livet som ingeniør så nemt for dig selv som muligt. På den måde får du mest muligt for hånden. Og bare rolig, du er stadig cool, selvom du bruger et GUI-værktøj i stedet for terminalen. Hvis nogen siger noget andet, er det dem, der er nogle spader. 🙃

Open source community'et kæmper virkelig for at gøre LLM'er (Large Language Models) tilgængelige for så mange som muligt! Det er inspirerende at se, hvordan nørder spredt ud over hele verden kan samarbejde om et fælles kode projekt. Et eksempel på dette er petals.ml.

Petals.ml er et open source projekt, der arbejder på at udvikle en decentraliseret løsning til at køre den store åbne sprogmodel Bloom. Sådan lidt blockchain møder large-scale deep learning agtigt 😂. Det er sjovt at tænke på, at udviklingen af LLM'er går både mod flere proprietære modeller og hosting, men det er som om, at "The Open Source Army" ikke finder sig i det og er super hurtige til at samles om at lave løsninger, som har potentiale til at øge den åbne tilgængelighed af denne teknologi markant 👨‍💻.

Vi lever i en spændende tid, hvor de digitale tektoniske plader er i bevægelse, og det ser ud til, at dette kan tippe i alle mulige retninger 🙈. Vi kan kun vente og se, hvad fremtiden vil bringe, men én ting er sikkert, det er fascinerende at se, hvad der kan opnås, når mennesker samarbejder og tænker i fællesskab.

Check petals.ml ud projektet på deres hjemmeside: https://petals.ml.

Som ingeniør bokser man ofte med tekniske barrierer, og nogle gange kan de paralysere mig. De kan føre til at jeg udskyder eller helt undgår ting, og at jeg mister momentum og modet.

For nylig er jeg blevet opmærksom på en inspirerende type af ingeniør, som tackler denne udfordring på en anderledes måde - ingeniører jeg selv har stødt på og har hørt om, og som jeg vil beskrive som ukuelige og frygtløse.

Uanset en opgaves tekniske kompleksitet og deres manglende viden, trækker de frygtløst i arbejdstøjet og går i gang hver gang. De har en dyb tro på deres evne til at tilegne sig viden og at hacke sig igennem vilkårligt komplicerede problemer. De kan abstrahere fra enorme tekniske udfordringer, tage det første skridt og langsomt arbejde sig igennem opgaven.

Den ukuelige og frygtløse ingeniør, som gør hvad der er nødvendigt for at nå målet, uanset om det er at bygge en Android-app eller sende en rumraket til månen.

Sådan en slags ingeniør vil jeg være!

Og jeg tror ikke det er noget man er eller ikke er. Jeg tror, det er et mindset. Jeg tror, det kræver, at man overbeviser sig selv om at man kan løse alle tænkelige problemer, hvis bare man bryder dem op og arbejder metodisk og fokuseret.

Sig det til dig selv hver morgen, når du står op. Faktisk, uanset om du er ingeniør eller ej: "Der er ikke noget problem, jeg ikke kan løse"

Engang var det nødvendigt at kunne svær kode og matematik for at udvikle applikationer med avancerede Deep Learning-baserede sprogmodeller. Men nu kan man komme utrolig langt - endda længere - ved blot at kalde et API og manipulere med strings.

De store sprogmodeller, bedre kendt som Large Language Models (LLM's), har nemlig et super simpelt interface: 

Tekst ind, tekst ud.

Og med dette interface er der begyndt at opstå en ny form for AI-udvikling, en profession kaldet "Prompt Engineering".

Man har nemlig fundet ud af, at hvis man bruger tid på at skrive de rigtige prompts til LLM'erne, kan man øge deres performance til at løse en række forskellige opgaver drastisk! 

Og det er faktisk ikke noget nyt. Det har nemlig været en ting siden OpenAI åbnede API'et til GPT-3 i 2020. Jeg vil dog mene, at mange, inklusiv mig selv, har sovet i timen, når det gælder om at sætte sig ind i, hvad der rent faktisk er muligt med LLM'er.

Jeg har i hvert fald selv undervurderet Prompt Engineering som fænomen, indtil fornyligt, da jeg hørte en tale med en af ingeniørerne bag GitHub Copilot, som fortalte om deres arbejde med at udvikle en vaskeægte AI pair programmer.

ChatGPT har virkelig øget fokus på dette område, og der er virkelig mange, som har fået øjnene op for potentialet i denne teknologi. Flere og flere får også øjnene op for, at det bekvemme "Tekst Ind, Tekst Ud"-interface betyder, at man ikke længere behøver at være en datalog for at udvikle applikationer med avancerede NLP-teknikker.

Det er en spændende tid vi lever i, og jeg kan ikke vente med at se, hvad der bliver muligt med software i den nærmeste fremtid!

Jeg har indrømmet det over for mig selv. Jeg syntes det er mega fedt at høre corny elevator musik. Så jeg er begyndt at lave en playliste på Spotify, der hedder "Elevator Life". Indtil videre indeholder den følgende sange:

• Walter Wanderley - Call Me
• Walter Wanderley - One Note Samba
• Sven Libaek - Bikini Girls
• Walter Wanderley - Crickets Sing For Ana Maria
• Walter Wanderley - Summer Samba (So Nice)

Walter Wanderley dominerer listen rimelig hårdt på grund af hans utemmelige orgelspil. Walters musik er meget tæt på at være uacceptabelt corny, men alligevel er det også lidt fedt. Det er svært at forklare 😅

Efter jeg har lavet spillelisten har jeg fundet ud af, at "elevator musik" faktisk er et rimelig vidt begreb. Det, som binder genren sammen, er, at musikken kunne køre som baggrundsmusik i et shoppingcenter, en butik eller, ja, en elevator.

Men når jeg siger, at jeg er blevet lidt vild med elevator musik, så er det en bestemt slags. Det skal helst have orgel, være lidt latin inspireret og så helst ikke for pjattet, men gerne lidt pjattet. Jeg tror, i virkeligheden, at Walter Wanderley indtil videre må være guldstandarden for netop min elevator musik smag.

Jeg ved virkelig ikke, hvad der er med mig, siden jeg synes det er fedt. Jeg tror det er en skade fra alle de virkelig dårlige og corny vinylplader, jeg har hørt som cratedigger, da jeg producerede mange hiphop beats.

Men nu er jeg endelig kommet ud af skabet. Latin, orgel og ikke for pjattet elevator musik er mega fedt 🙏

Anyways, du kan følge playlisten her 👇

Husk at holde den elevator, peace out 🛗

Jeg oplever tit at forventningerne til udvikleres forretningsforståelse er meget lav. Der er en opfattelse af at udviklere bare gerne vil programmere og snakke om tekniske ting, og så kan forretningen ellers rende dem. Det forventes at udviklere er analfabeter når det kommer til forretning.

Min titel er Data Scientist, altså en form for udvikler. Og ja, jeg kan da godt lide alle mulig tech ting og er da også fast lytter af podcasts som The Changelog, Lex Fridman Podcast og Data Engineering Podcast. Men jeg er i ligeså høj grad optaget af forretning, ledelse og strategi, og lytter med lige så stor interesse til podcasts som Inside The Strategy Room, Topchefernes Strategi og Nordea Market Insights. Men som udvikler er det som om at jeg nogen gange skal kæmpe lidt for at blive taget alvorligt når der tales forretning. For det er jo ikke er min opgave at bekymre mig om den slags.

Dertil kommer fordommen om at udviklere er introverte og har svært ved at begå sig socialt. Gad vide hvor den forestilling kommer fra? Og er der hold i den? Er jeg bare en en outlier 😅 

I min optik skal man kæmpe lidt ekstra som udvikler for at blive opfattet som en der har forstand på forretning. Måske på samme måde som kvinder skal kæmpe lidt ekstra for at blive opfattet som ledere?

Og det er sjovt, fordi hvis der er et område hvor der gang på gang bliver taget forretningsmæssige katastrofale beslutninger, så er det IT. Beslutninger, hvor nogen bilder sig ind at de ved hvilken teknisk løsning forretningen har brug for, og er totalt ignorante overfor problemets kompleksitet og hvad det kræver at lave IT-systemer som resonerer med brugere. 

Tag for eksempel et koncept som teknisk gæld. Et begreb som jeg vil våge at påstå at man har svært ved at forstå og lave en strategi for at håndtere, hvis man ikke har erfaring som udvikler.

Den 6. februar udfordrede jeg mig selv til at skrive et blog post på 10 minutter. I den satte jeg mig spontant for at skrive et blog post hver dag i en måned, inspireret af YouTube vlogging konceptet "daily vlogging".

Nu er det 7 dage siden og det er tid til at gøre status.

1. Er der nogen som læser bloggen?
Her kan du se et overblik fra posthaven.com dashboard over de 6 sidste dages blog posts 👇

Hvis man skulle tænke på menneskets evolution som et reinforcement learning system, kunne dette være en måde at gøre det på:

• agent = mennesket
• policy = menneskets hjerne
• state = fysisk tilstand
• environment = den fysiske verden og andre mennesker
• reward function = overlevelse og reproduktion

Hvis man skulle kode sådan et system ville man skulle implementere to typer af agenter, mandlige og kvindelige. 

I forhold til at reproduktion er et centralt mål for en agents reward og dermed succes, er en interessant observation at reglerne for hvordan de to typer af agenter reproducere sig selv er forskellige. 

Den mandlige agent har evnen til at befrugte og den kvindelige til at blive befrugtet. Når en kvindelig agent bliver befrugtet vil den overgå til en reproduktions-mæssig stand-by tilstand i 9 måneder. Den mandlige agent vil efter at have befrugtet derimod være klar til at gøre det igen umiddelbart efter.

Hvis man ser sådan lidt forsimplet på det, kan man forestille sig at mandlige agenter i sin livstid har potentiale til at formere sig langt mere end kvindelige agenter. 

Jeg kan ikke overskue hvad effekten af denne forskel på mænd og kvinder mon har haft på den menneskelige evolution, men jeg synes den virker så signifikant at jeg ikke kan forestille mig andet end at den må have haft en ikke uvæsentlig betydning på den ene eller den anden måde.