Kunstig Intelligens

Kostnadssmellen: Hvorfor dagens AI-modeller spiser opp IT-budsjettet

Tenk deg at du har installert en fantastisk ny motor i firmabilene, bare for å oppdage at den bruker ti ganger mer drivstoff enn planlagt. Det er omtrent der mange virksomheter befinner seg akkurat nå med sine KI-satsinger. En fersk analyse peker på at de løpende sky- og API-kostnadene ved bruk av store språkmodeller (LLM) er i ferd med å bli økonomisk uholdbare for mange. Det å trene en modell er én ting – en enorm engangskostnad – men det er den daglige driften og forespørslene (inferens) som nå i stillhet spiser opp marginene til selskaper som har rullet ut KI i stor skala.

Da KI-feberen herjet som verst, kastet mange beslutningstakere seg over de råeste og mest kapable modellene for å løse alt fra enkle kundeservicespørsmål til tunge dataanalyser. Men å bruke en gigantisk språkmodell til å sortere enkle e-poster blir som å bruke en romrakett til å hente posten. Hvert eneste ord som sendes frem og tilbake koster penger, og når brukermassen vokser, skyter skyregningen i været uten at de kommersielle resultatene nødvendigvis følger etter i samme tempo.

For teknologiledere og økonomidirektører som skal forsvare KI-budsjettene fremover, tvinger dette frem en dreining fra "størst mulig modell" til "akkurat passe stor". I stedet for å sende alle forespørsler ut av huset til dyre, eksterne API-er, går trenden nå mot hybride arkitekturer. Smarte utviklerteam tar i bruk mindre, spesialiserte åpen kildekode-modeller som kjøres på rimeligere infrastruktur for de enkle, repeterende oppgavene, og sparer de kostbare flaggskip-modellene til oppgavene som faktisk krever dyp resonnering.

For innkjøpsansvarlige i vekstbedrifter gir denne utviklingen et viktig forhandlingskort: Tiden der man blindt aksepterte uforutsigbar betaling per tegn (tokens) bør være over. Det må stilles strengere krav til skyleverandører om forutsigbare prismodeller, samtidig som interne utviklingsteam må måles på kostnadseffektivitet per KI-svar, ikke bare på hvor "magisk" teknologien virker i pilotfasen. Les hele analysen på Aditya Patadia.