Kunstig Intelligens

Effektiv AI på egne servere: Unsloth gjør GLM-5.2 tilgjengelig lokalt

Unsloth har lansert en ny integrasjon og dokumentasjon som gjør det mulig å kjøre den kraftfulle språkmodellen GLM-5.2 lokalt på standard maskinvare. Ved hjelp av deres optimeringsteknologi kan bedrifter nå kjøre og finjustere denne avanserte modellen med bare en brøkdel av det minnebehovet (VRAM) som vanligvis kreves. Dette gjør det langt enklere å ta i bruk toppmoderne AI uten å måtte investere i dyre datasentre eller binde seg til kostbare skytjenester.

Tenk på Unsloth-utviklerne som mekanikere som trimmer en motor for å få maksimal ytelse ut av minst mulig drivstoff. GLM-serien har markert seg som en av de mest kapable åpne modellene på markedet, men den har hittil krevd massiv regnekraft for å kjøre effektivt. Med denne oppdateringen kan man nå kjøre avanserte AI-oppgaver på langt rimeligere maskinvare, noe som demokratiserer tilgangen til den nyeste teknologien.

For IT-avdelinger i sterkt regulerte sektorer som finans, helse og offentlig forvaltning, fjerner denne utviklingen et enormt regulatorisk hinder. Siden modellen kan kjøres lokalt, kan sensitive personopplysninger og forretningshemmeligheter analyseres og behandles uten at et eneste datapunkt noen gang forlater selskapets eget lukkede nettverk. Man slipper dermed kompliserte risikovurderinger knyttet til skyoverføringer og personvernlovgivning.

Dette gir også en helt ny og mer forutsigbar kostnadsstruktur for programvarehus og tech-startups. I stedet for løpende og potensielt uforutsigbare API-kostnader til eksterne leverandører som OpenAI eller Anthropic, tillater denne teknologien at man bygger skalerbare tjenester på egen infrastruktur med faste, kontrollerbare maskinvarekostnader. Du kan lese mer om de tekniske detaljene og dokumentasjonen hos Unsloth.