Kasper Junge

For nylig havde jeg en samtale med en ven, som mente, at OpenAI var priviligeret og kun havde alt den succes og kunne lave alt den fede forskning, fordi de havde så mange penge. Men er mange penge virkelig lig succes? Eller kræver det flere ingredienser for at opnå succes?

Man har mange gange set, at virksomheder har haft masser af penge, men stadig har valgt at bruge dem på en mildt sagt ugunstig måde. Så den med at penge bare er lig succes, den køber jeg ikke 🙃

Jeg mener personligt, at OpenAIs succes skyldes tre ting:

• De er dygtige til at rejse penge.
• De er dygtige til at vælge de rigtige projekter at arbejde på og bruger dermed deres penge optimalt.
• De er dygtige til at promovere deres forskning og få det ud til brugerne.

OpenAI har truffet mange valg undervejs.

For eksempel har de valgt at udgive ChatGPT gratis, selvom det har kostet dem mange penge, som kunne være brugt på forskning.

Mange ville måske ikke have valgt at give en så stor model ud gratis og bruge penge på noget, der ikke giver umiddelbar profit.

Men fordi OpenAI forstår værdien af PR, har de is i maven til at træffe en sådan beslutning.

Og det hjalp dem med at få rejst endnu en milliardinvestering fra Microsoft og muligvis sætte gang i en disruption af internetsøgning 😅

OpenAI er ikke den overnight success, som mange opfatter dem som. De har ufortrødent forsket i generel kunstig intelligens siden 2015 og har offentliggjort mange vigtige forskningsresultater og open source-projekter undervejs.

Og ikke mindst så har de formået at formidle den forskning på en måde, som ingen andre er i stand til. Derfor vil jeg sige:

OpenAI er privilegerede, fordi de er dygtige.

Der findes mange fantastiske open source-værktøjer man kan bruge som softwareingeniør. Fælles for dem alle er, at man interagerer med dem gennem terminalen. Selvom mange programmører er glade for terminalen, sætter de fleste mennesker pris på et lækkert grafisk interface.

Og faktisk findes der grafiske interfaces til overraskende mange open source-værktøjer. To eksempler er Docker Desktop til Docker og Attu til vektordatabasen Milvus! Og helt seriøst. Min livskvalitet steg, da jeg begyndte at bruge netop disse to værktøjer. Så slipper jeg for at rode rundt i terminalen og huske på alle mulige kryptiske kommandoer, som de færreste alligevel kan uden ad.

Min pointe er simpel, men desværre ikke åbenlys for alle. Du bør gøre livet som ingeniør så nemt for dig selv som muligt. På den måde får du mest muligt for hånden. Og bare rolig, du er stadig cool, selvom du bruger et GUI-værktøj i stedet for terminalen. Hvis nogen siger noget andet, er det dem, der er nogle spader. 🙃

Open source community'et kæmper virkelig for at gøre LLM'er (Large Language Models) tilgængelige for så mange som muligt! Det er inspirerende at se, hvordan nørder spredt ud over hele verden kan samarbejde om et fælles kode projekt. Et eksempel på dette er petals.ml.

Petals.ml er et open source projekt, der arbejder på at udvikle en decentraliseret løsning til at køre den store åbne sprogmodel Bloom. Sådan lidt blockchain møder large-scale deep learning agtigt 😂. Det er sjovt at tænke på, at udviklingen af LLM'er går både mod flere proprietære modeller og hosting, men det er som om, at "The Open Source Army" ikke finder sig i det og er super hurtige til at samles om at lave løsninger, som har potentiale til at øge den åbne tilgængelighed af denne teknologi markant 👨‍💻.

Vi lever i en spændende tid, hvor de digitale tektoniske plader er i bevægelse, og det ser ud til, at dette kan tippe i alle mulige retninger 🙈. Vi kan kun vente og se, hvad fremtiden vil bringe, men én ting er sikkert, det er fascinerende at se, hvad der kan opnås, når mennesker samarbejder og tænker i fællesskab.

Check petals.ml ud projektet på deres hjemmeside: https://petals.ml.

Som ingeniør bokser man ofte med tekniske barrierer, og nogle gange kan de paralysere mig. De kan føre til at jeg udskyder eller helt undgår ting, og at jeg mister momentum og modet.

For nylig er jeg blevet opmærksom på en inspirerende type af ingeniør, som tackler denne udfordring på en anderledes måde - ingeniører jeg selv har stødt på og har hørt om, og som jeg vil beskrive som ukuelige og frygtløse.

Uanset en opgaves tekniske kompleksitet og deres manglende viden, trækker de frygtløst i arbejdstøjet og går i gang hver gang. De har en dyb tro på deres evne til at tilegne sig viden og at hacke sig igennem vilkårligt komplicerede problemer. De kan abstrahere fra enorme tekniske udfordringer, tage det første skridt og langsomt arbejde sig igennem opgaven.

Den ukuelige og frygtløse ingeniør, som gør hvad der er nødvendigt for at nå målet, uanset om det er at bygge en Android-app eller sende en rumraket til månen.

Sådan en slags ingeniør vil jeg være!

Og jeg tror ikke det er noget man er eller ikke er. Jeg tror, det er et mindset. Jeg tror, det kræver, at man overbeviser sig selv om at man kan løse alle tænkelige problemer, hvis bare man bryder dem op og arbejder metodisk og fokuseret.

Sig det til dig selv hver morgen, når du står op. Faktisk, uanset om du er ingeniør eller ej: "Der er ikke noget problem, jeg ikke kan løse"

Engang var det nødvendigt at kunne svær kode og matematik for at udvikle applikationer med avancerede Deep Learning-baserede sprogmodeller. Men nu kan man komme utrolig langt - endda længere - ved blot at kalde et API og manipulere med strings.

De store sprogmodeller, bedre kendt som Large Language Models (LLM's), har nemlig et super simpelt interface: 

Tekst ind, tekst ud.

Og med dette interface er der begyndt at opstå en ny form for AI-udvikling, en profession kaldet "Prompt Engineering".

Man har nemlig fundet ud af, at hvis man bruger tid på at skrive de rigtige prompts til LLM'erne, kan man øge deres performance til at løse en række forskellige opgaver drastisk! 

Og det er faktisk ikke noget nyt. Det har nemlig været en ting siden OpenAI åbnede API'et til GPT-3 i 2020. Jeg vil dog mene, at mange, inklusiv mig selv, har sovet i timen, når det gælder om at sætte sig ind i, hvad der rent faktisk er muligt med LLM'er.

Jeg har i hvert fald selv undervurderet Prompt Engineering som fænomen, indtil fornyligt, da jeg hørte en tale med en af ingeniørerne bag GitHub Copilot, som fortalte om deres arbejde med at udvikle en vaskeægte AI pair programmer.

ChatGPT har virkelig øget fokus på dette område, og der er virkelig mange, som har fået øjnene op for potentialet i denne teknologi. Flere og flere får også øjnene op for, at det bekvemme "Tekst Ind, Tekst Ud"-interface betyder, at man ikke længere behøver at være en datalog for at udvikle applikationer med avancerede NLP-teknikker.

Det er en spændende tid vi lever i, og jeg kan ikke vente med at se, hvad der bliver muligt med software i den nærmeste fremtid!