Kunstig Intelligens

"HalluSquatting": Slik utnytter hackere KI-ens største svakhet

Sikkerhetsforskere har avdekket en ny, utspekulert sårbarhet som berører ni av de mest populære KI-verktøyene på markedet. Metoden, som har fått navnet "HalluSquatting", utnytter KI-modellenes tendens til å "hallusinere" – det vil si å dikte opp informasjon når de ikke vet svaret. Hackere kan bruke denne svakheten til å lure utviklere til å laste ned skadelig programvare, og i verste fall infisere bedrifter med massive botnet.

Når utviklere ber en KI-tjeneste om hjelp til å skrive kode, foreslår modellen ofte eksterne programvarepakker (biblioteker) for å løse oppgaven. Problemet oppstår når KI-en foreslår pakker som faktisk ikke eksisterer, men som høres logiske ut. Hackere overvåker disse forespørslene, registrerer de fiktive pakkenavnene i offentlige registre, og legger inn skadelig kode. Når en intetanende utvikler kopierer KI-ens svar og installerer pakken, åpnes døren på vidt gap for angriperne.

For teknologiledere og sikkerhetsansvarlige betyr dette at den tradisjonelle sårbarhetskontrollen må utvides. Det holder ikke lenger å skanne kildekoden etter kjente feil; man må også verifisere at bibliotekene KI-en foreslår faktisk er legitime før de tas i bruk. Virksomheter med egne utviklerteam bør umiddelbart innføre strenge retningslinjer for godkjenning av eksterne pakker og vurdere automatiserte verktøy som blokkerer uregistrerte eller nyopprettede biblioteker i utviklingsmiljøet. Les mer hos Ars Technica.

Databricks setter standarden: Hvor gode er autonome kodere på gigantiske systemer?

Programvarehuset Databricks har gjennomført en omfattende test av autonome KI-kodeagenter på sin egen proprietære kodebase, som består av flere millioner linjer med kompleks kode. Formålet var å finne ut om dagens KI-agenter faktisk er i stand til å løse reelle, sammensatte oppgaver i et modent og intrikat utviklingsmiljø, i stedet for bare å skrive enkle kodesnutter i et vakuum.

Resultatene viser at mens KI-verktøyene er svært effektive til punktvise utbedringer, sliter de vesentlig mer når de må navigere i store, sammenhengende systemer med eldre kode (legacy-systemer) og komplekse avhengigheter. Testen gir et realistisk bilde av hvor teknologien står i dag: KI-en er en fantastisk assistent, men den krever fortsatt betydelig menneskelig styring og arkitektonisk forståelse for ikke å skape uforutsette feil andre steder i systemet.

For selskaper som vurderer å effektivisere egne IT-avdelinger med autonome agenter, gir denne testen viktig innsikt. Investeringer i KI-koding bør ikke handle om å erstatte seniorkompetanse, men om å frigjøre tid. Seniorutviklerne vil i økende grad gå over i en rolle som "redaktører" og arkitekter som kvalitetssikrer KI-ens arbeid. I tillegg viser testen at verdien av ryddig og godt dokumentert internkode blir kritisk; jo mer uoversiktlig koden din er i dag, desto dårligere vil KI-agentene klare å hjelpe deg i morgen. Les hele analysen hos Databricks.

Andre Nyheter