Kunstig Intelligens

ZML kutter AI-regningen: Gratis programvare gjør modellkjøring lynrask

Har du merket det på IT-budsjettene i det siste? Å drifte AI-modeller i produksjon er ekstremt kostbart, mye på grunn av mangelen på brikker. Nå har den franske oppstarten ZML lansert et gratis verktøy kalt ZML/LLMD som optimaliserer kjøring av store språkmodeller (såkalt *inference*) på tvers av ulike typer maskinvare. Verktøyet, som støttes av AI-legenden Yann LeCun, lover å tyne langt mer ytelse ut av brikkene du allerede har tilgang til.

Bakgrunnen for lanseringen er den intense flaskehalsen i brikkemarkedet. Bedrifter har lenge vært låst til Nvidias økosystem fordi det har vært for komplisert å fordele AI-oppgaver på tvers av andre brikketyper. ZML løser dette ved å gjøre det enkelt å kjøre tunge modeller på en miks av billigere eller mer tilgjengelige brikker fra ulike leverandører, uten at det går ut over hastigheten.

For selskaper som utvikler egne AI-tjenester eller kjører store modeller internt, gir dette et etterlengtet pusterom i driftsbudsjettene. Ved å frigjøre seg fra den såkalte «Nvidia-skatten» og utnytte rimeligere maskinvare, kan IT-avdelinger skalere AI-prosjekter uten at driftskostnadene kveler lønnsomheten. Dette gir spesielt mindre teknologibedrifter og SaaS-leverandører en etterlengtet mulighet til å konkurrere på pris mot de globale gigantene. Les mer hos TechCrunch.

Sikkerhetsalarm: Hackere utnytter AI-«hallusinasjoner» til å spre skadevare

Det har dukket opp en ny, utspekulert metode der hackere utnytter AI-modellers iboende svakhet til å dikte opp fakta. Ved å manipulere populære AI-verktøy til å foreslå programvarepakker som faktisk ikke eksisterer, kan angripere registrere disse merkelige navnene i offentlige registre og fylle dem med skadelig kode. Denne teknikken har fått navnet «HalluSquatting», og forskere advarer nå om at ni av de mest populære AI-assistentene på markedet er sårbare.

Når utviklere bruker AI-assistenter som Copilot eller ChatGPT til å skrive kode, hender det ofte at modellen foreslår eksterne kodebiblioteker for å løse en oppgave. Hvis AI-en foreslår et bibliotek som ikke finnes (en hallusinasjon), kan en hacker kjapt opprette dette biblioteket på nett. Neste gang en utvikler ukritisk kopierer koden fra AI-en, laster de i praksis ned hackerens skadevare rett inn i bedriftens systemer.

For teknologidirektører og selskaper med egne utviklerteam betyr dette at rutinene for kodesikkerhet må strammes inn umiddelbart. Man kan ikke lenger stole blindt på koden AI-en spytter ut. Utviklere må pålegges strenge manuelle kontroller og automatiserte skannere som verifiserer at alle eksterne programvarepakker faktisk er legitime før de rulles ut i produksjon. En svikt her kan i verste fall føre til at bedriftens egne produkter blir infisert og sprer skadevare videre til kundene. Detaljene om sårbarheten finner du hos Ars Technica.

Internasjonale Trender

SambaNova henter 10 milliarder kroner – utfordrer Nvidias chip-monopol

Husker du da Intel angivelig prøvde å kjøpe AI-brikkeprodusenten SambaNova for rundt 1,6 milliarder dollar? Vel, de tider er definitivt forbi. SambaNova har nettopp hentet hele 1 milliard dollar (omtrent 10,6 milliarder kroner) i sin nyeste finansieringsrunde, noe som verdsetter selskapet til svimlende 11 milliarder dollar. Dette viser at investorene har enorm tro på at det finnes alternativer til Nvidias dominerende posisjon.

SambaNova skiller seg ut ved å tilby en helt egen brikkearkitektur og programvare som er skreddersydd for å kjøre ekstremt komplekse AI-modeller mer effektivt enn tradisjonelle grafikkkort (GPU-er). Kapitalinnsprøytningen skal brukes til å akselerere produksjonen og gjøre teknologien mer tilgjengelig for virksomheter som krever tung regnekraft.

For selskaper som planlegger store investeringer i egen AI-infrastruktur eller datasentre, er SambaNovas suksess et tegn på at markedet er i ferd med å modnes. Mer kapital til utfordrerne betyr reell konkurranse, noe som på sikt vil presse prisene ned og øke tilgjengeligheten på nødvendig maskinvare. Dette er spesielt gode nyheter for aktører innen finans, helse og industri som ønsker å kjøre sensitive AI-modeller på egne servere («on-premise») fremfor i den offentlige skyen. Hele saken kan leses hos TechCrunch.