Kasper Junge

Vi mennesker processere tekst visuelt. Sprogmodeller processere tekst som tokens. 

Hvis vi mennesker skulle processere tekst på samme måde som sprogmodeller skulle der være hardwiret ledninger ind i vores hjerne, som sendte token signaler til en bestemt del af hjernen som var gearet til at forstå signalet.

Gad vide om der kunne komme nogle interessante resultater ud af at forske i visuel sprogmodellering? Altså sprogmodeller som sanser tekst gennem billeder?

Man kunne godt implementere self-supervised læringsproblemer, fx masked og casual language modelling, som et billede problem. Det ville kræve at man renderede input og output tekst som billeder og så trænede en model til at løse problemet.

Så ville man også komme uden om bøvl med tokenization af tekst!

Gad vide om der er nogen som har eksperimenteret med det før? 🙃

Der er ting jeg gør, som jeg godt selv ved at jeg kunne gøre bedre. Men her på det sidste er jeg begyndt at blive mere bevidst om de ting jeg gør, som jeg ikke selv er klar over jeg kunne gøre bedre. Handlinger, vaner, faconer som er så indgroet at jeg ikke selv tænker over dem. 

Det er som om de her ting lever lidt i et parallelunivers til ens eget univers, indtil man opdager dem. Det kan derfor være svært at erkende dem, og man kan med fordel overveje sin strategi for at opdage dem, hvis man gerne vil blive bedre. Personligt har jeg fundet to som fungerer for mig.

Den første er feedback. Jeg er begyndt aktivt at opsøge andres feedback. Feedback som kan informere mig om hvordan andre oplever de ting jeg gør og mig som person. Og der er det vigtigt at være totalt åben og ikke være nærtagende. Jeg oplever at feedback godt kan gøre ondt, når det nærmer sig nogle af de ting man ikke selv ved man kunne gøre bedre.

Jeg tror det er fordi det fucker med ens opfattelse af sig selv, og det er ikke altid rart. Men i virkeligheden er det først der det begynder at blive interessant. For det er netop der man bevæger sig ud i paralleluniverset og begynder at forstå hvordan andre opfatter det man gør.

Den anden ting er at lægge mærke til hvordan folk omkring dig reagerer på de ting du gør. Hvis jeg gentagne gange oplever at jeg får nogle uventede reaktioner i bestemte situationer og jeg ikke ved hvorfor, så er det ifølge min erfaring et stærkt signal til at der er en forbedring jeg kan lave ved mig selv, som jeg ikke selv er klar over.

Et interessant fænomen ved sprogmodeller beskrives i artiklen Emergent Abilities of Large Language Models. Hvis en sprogmodel ikke er i stand til at udfører en opgave indtil den når en bestemt størrelse og nøjagtigheden så pludselig øges drastisk, så kalder forfatterne af artiklen det for en "Emergent Ability".

Altså evner som pludseligt opstår, når sprogmodellerne når en vis størrelse. Disse emergente evner ser ud til at opstå omkring de 10 milliarder parametre og derfra stiger evnernes nøjagtighed drastisk! Der er efter min mening to interessante spørgsmål som det her mønster rejser, når sprogmodellers størrelse øges yderligere:

1. Fortsætter de emergente evners nøjagtighed med at stige? 

2. Vil flere emergente evner opstå?

I 2020 da GPT-3 paperet udkom var der mange som mente at det var uinteressant forskning, da OpenAI blot havde taget en kendt model arkitektur og opskaleret antallet af parametre. Men set i lyset af de her fænomener vi ser opstå på forskellige størrelsesordner af sprogmodeller, så skal det her efter min mening ikke ses som forskning i model arkitekturer, men en slags opdagelsesrejse i hvad der sker når vi begiver os ud i at træne større og større sprogmodeller.

Det er som om der findes to slags ting man kan arbejde på. Rigtige og forkerte ting. Rigtige ting bringer en tættere på ens mål, forkerte ting bringer en længere væk fra ens mål eller ingen steder. Det er min overbevisning at det i høj grad er ens evne til at vælge rigtige ting at arbejde på, som bestemmer ens succes.

Rigtige og forkerte ting at arbejde på, skal dog altid ses relativt til et mål. Den ene ting kan være en rigtig ting at arbejde på i forhold til at opnå mål A, men den forkerte hvis man vil opnå mål B.

Som person er jeg meget begejstret og iderig. Det lyder umiddelbart som to positive egenskaber, men kombinationen kan ofte føre til mangel på fokus. For der findes mange gode ideer, men det er bare ikke dem alle som fører en mod det samme mål. Hvis man for let lader sig forfører af sin iderigdom ender man med at blive ufokuseret og det bringer en meget ineffektivt hen imod ens mål. 

Det er efter min mening derfor det er vigtigt at bruge tid på at finde ud af hvad ens mål er. Det lyder simpelt, men personligt finder jeg det meget lettere sagt end gjort! For hvad er egentlig drømmescenariet hvis du skal tænke 5-10 år ud i fremtiden? Det spørgsmål fortjener at man gør sig umage med at besvare det og at man jævnligt genbesøger det for at se om ens handlinger stemmer overens med ens langsigtede mål.

Jo mere klar på ens mål man er, jo bedre bliver man til at afgøre hvad der er de rigtige og forkerte ting at arbejde på i forhold til at nå ens mål.

Jeg har givet mig selv en udfordring. Reglerne er simple. Jeg har 10 minutter til at skrive et blog post, og når tiden er gået trykker jeg "Save and Publish" 🚀 Jeg kan nu se at der er 8:40 minutter tilbage, så lad os se at komme i gang.

Før havde jeg en gratis blog på kasperjunge.github.io, men har nu skiftet til en betalt blog på posthaven.com. Derudover så har jeg købt domænet kasperjunge.com så bloggen nu har sit helt eget domæne 🥳

Jeg vil gerne blive bedre til at skrive og har nu denne blog som min kanal til at øve mig på at skrive og få mine tanker ud til verden. En ting som jeg hurtigt har opdaget er det berømte fænomen "writer's block". Hvis man vil lave en blog ser jeg det som en af de vigtigste ting at overkomme netop det, og derfor giver jeg mig selv den her 10-minutters-blog udfordring (ok stress 😅).

For at få drejet nakken 100% om på "writer's block" vil jeg fra i morgen af og frem til den 7. marts, lave "Daily Blogging", inspireret af "Daily Vlogging"-fænomenet fra YouTube. Aner ikke om Daily Blogging er en ting, men nu gør vi det altså, og der er kun 30 sekunder tilbage så vi ses i morgen 😂👋

Forleden gik min kaffemaskine i stykker. Det var en billig en jeg havde købt for 1 år siden. Så var det jeg kom til at tænke på en ting. Hvis jeg nu havde købt en kaffemaskine som var dobbelt så dyr, ville den så have holdt i dobbelt så lang tid? Hvis det er tilfældet, så kunne jeg jo lige så godt have købt den dyre. Det ville både have sparet mig for besværet ved at købe en ny og have sparet de ressourcer det kræver at fabrikere en ny.

Tænk hvis der nede i Elgiganten havde stået kaffemaskinens pris relativt til dens forventede levetid? Så havde jeg muligvis truffet et andet valg da jeg skulle købe min kaffemaskine. Det kunne være en fed metric at have tilgængelig som forbruger!

pris / produkt levetid

Tænk hvis lige netop det tal var tilgængeligt for forbrugere. Det ene tal ville sandsynligvis spare verden for virkelig meget ressourcespild. Samtidigt ville det give kaffemaskine producenterne incitament til at producere mere solide kaffemaskiner af højere kvalitet.

Det eneste problem er bare at jeg ikke ved om den dyre kaffemaskine holder tilsvarende længere. Produktets forventede levetid er ikke en oplysning som kaffemaskine-producenten angiver nogle steder. Hvis man havde adgang til det tal og produktets totale CO2-aftryk kunne man lave en interessant Pricerunner ækvivalent specifikt for bæredygtighed. Et website hvor forbrugere kunne træffe mere bæredygtige købsbeslutninger på et oplyst grundlag. En ultra MVP på Pricerunner for bæredygtighed kunne se sådan ud 👇

+------------------------+------+---------+--------------+
| Produkt                | Pris | Levetid | Pris/Levetid |
+------------------------+------+---------+--------------+
| Nespresso Vertuo Plus  | 549  | 2       | 274,5        |
+------------------------+------+---------+--------------+
| Moccamaster Manual     | 1379 | 5       | 275,8        |
+------------------------+------+---------+--------------+
| Senseo Original HD6553 | 299  | 1       | 299          |
+------------------------+------+---------+--------------+
| Philips HD 7546        | 599  | 2       | 299,5        | 
+------------------------+------+---------+--------------+

Jeg er ingeniør og arbejder med machine learning til dagligt. Jeg er nysgerrig. Kan man sige noget om produkters levetid med machine learning? Hvis man indsamlede al den data man kunne få fat i for et udvalg af produkter og på en eller anden måde fandt ud af levetiden på dem, ville det så være muligt at modellere det med machine learning? 🤷‍♀️ Måske en genial start-up ide eller måske slet ikke 😅

Uanset hvad er det interessant at forestille sig hvordan et bestemt tal præsenteret sammen med et produkt potentielt kunne ændre forbrugeradfærd.