Kunstig Intelligens

Smarte mini-PC-er utfordrer Nvidia: Kjører gigantiske AI-modeller på lavbudsjett

Tenk om du kunne kjøre de mest avanserte, åpne kunstig intelligens-modellene – de med 70 milliarder parametere – direkte på kontoret, uten en eneste sky-tilkobling eller en strømregning som tar knekken på budsjettet. Takket være det tekniske konseptet "delt minne" (unified memory), kan kompakte mini-PC-er nå gjøre akkurat dette. De utfordrer dermed de tradisjonelle, rådyre grafikkortene (GPU-ene) som lenge har hatt monopol på tyngre AI-oppgaver.

Tradisjonelt har AI-verdenen vært låst til ekstremt kostbar maskinvare. Skal du kjøre en stor språkmodell lokalt, må hele modellen få plass i grafikkortets eget hurtigminne (VRAM). Er modellen for stor, vil den rett og slett ikke kjøre. Men med delt minnearkitektur – slik vi blant annet ser i Apples M-brikker og nyere kompakte PC-er – deler prosessoren og grafikksystemet på det samme, store systemminnet. Dermed kan en boks til under 20 000 kroner plutselig romme og kjøre modeller som tidligere krevde dedikerte serverkort til tigangeren av prisen. Det går noe tregere under selve genereringen, men det fungerer overraskende smertefritt.

For IT-avdelinger og virksomheter som håndterer sensitive opplysninger – som juridiske rådgivere, helseforetak eller finansinstitusjoner – fjerner dette en stor barriere. Man trenger ikke lenger å sende sensitive kundedata opp i skyen til eksterne leverandører for å få tilgang til de virkelig smarte modellene. Det blir nå økonomisk overkommelig å sette opp egne, fysisk isolerte AI-stasjoner lokalt på kontoret. For mellomstore bedrifter betyr dette en unik mulighet til å eksperimentere fritt med avansert AI på egne premisser, uten løpende lisenskostnader eller risiko for datalekkasjer.

Les mer om teknologien bak på Vetted Consumer.