03. August 2026
Det åpne kildekodeprosjektet AirLLM har demonstrert kjøring av store språkmodeller med 70 milliarder parametere (som Llama-3 70B) på en enkel grafikkprosessor (GPU) med kun 4 GB videominne (VRAM). Vanligvis krever modeller i denne størrelsesordenen massive mengder VRAM fordelt på flere kostbare datasenter-skjermkort for i det hele tatt å kunne starte opp.
Teknikken bak kalles lagvis inferens (layer-by-layer inference). I stedet for å laste hele den gigantiske AI-modellen inn i minnet samtidig, laster AirLLM inn ett og ett lag fra harddisken sekvensielt, utfører beregningen for det spesifikke laget, og frigjør minnet før neste lag tas inn. Prosessen gjør kjøringen betraktelig tregere enn på dedikert maskinvare, men det fjerner barrieren for hva som fysisk er mulig å kjøre lokalt. For selskaper som ønsker å eksperimentere med avanserte modeller på standard kontor-PC-er eller edge-enheter (lokale maskiner med begrenset regnekraft), er dette et viktig skritt mot mer tilgjengelig AI uten astronomiske sky-kostnader.
Norge risikerer å sløse bort sine unike energiressurser på grunn av en svak og lite proaktiv datasenter-politikk, advares det om i en kommentar i Teknisk Ukeblad. Mens andre nasjoner stiller strenge krav til hva slags verdi datasentre faktisk skal skape før de tildeles strøm, fremstår den norske regjeringen mer som en passiv heiagjeng som lar først-til-mølla-prinsippet råde. Å ukritisk koble til datasentre som kun driver med Bitcoin-utvinning eller passiv lagring, i stedet for å prioritere regnekraft til samfunnskritisk AI og nasjonal verdiskaping, er en grov forsømmelse av det som kunne vært et strategisk konkurransefortrinn for norsk industri.
Det nyoppstartede selskapet June har hentet 20 millioner dollar i en tidlig finansieringsrunde (pre-seed) støttet av blant andre Salesforce-gründer Marc Benioff, som rapportert av TechCrunch. Selskapets mål er å løse det som i dag er en stor flaskehals for mange bedrifter: den kompliserte og ressurskrevende prosessen med å rulle ut, overvåke og vedlikeholde AI-modeller i produksjon, et fagfelt kjent som LLMOps.
I stedet for å basere seg på manuelle konfigurasjoner og komplekse rørledninger av data, bruker June spesialiserte AI-agenter (autonome AI-systemer som kan utføre oppgaver på egen hånd) til å automatisere infrastrukturen. Dette betyr at systemet selv kan oppdage når en modell underperformer, rulle tilbake oppdateringer som feiler, og optimalisere ressursbruken i skyen uten at utviklere må gripe inn manuelt. Hvis selskapet lykkes, kan dette senke terskelen betydelig for tradisjonelle bedrifter som ønsker å integrere AI i eksisterende kjernesystemer uten å måtte bygge opp massive, spesialiserte plattform-team.