Kunstig Intelligens

Språkmodellenes logiske blindsone: Hvorfor AI-en din ikke klarer å tenke baklengs

Tenk deg at du ansetter en høyt utdannet konsulent som vet alt om norsk næringsliv. Du spør vedkommende: «Hvem grunnla Ikea?» Svaret kommer kontant: «Ingvar Kamprad». Men når du umiddelbart følger opp med «Hvem var Ingvar Kamprad?», blir konsulenten plutselig svar skyldig og stirrer tomt på deg. Dette høres ut som en absurd situasjon, men det er faktisk den nøyaktige logiske blindsonen som preger dagens store språkmodeller (LLM-er), et fenomen kjent som «The Reversal Curse» (vendingsforbannelsen).

Bakgrunnen for denne svakheten ligger i selve arkitekturen til algoritmene. Modellene lærer å forutsi neste ord i en sekvens fra venstre til høyre basert på statistiske mønstre. Hvis treningsdataene slår fast at «A er B», har ikke modellen noen automatisk evne til å snu logikken og forstå at «B er A». Den mangler ekte, menneskelig resonneringsevne og opererer i en enveiskjørt gate. Dette skaper en asymmetri i kunnskapen som kan føre til uventede og kritiske feil når teknologien tas i bruk i bedrifter.

For selskaper som nå investerer betydelige ressurser i å bygge interne kunnskapsdatabaser eller kundeservice-roboter, er dette en skjult minefelle. Hvis bedriftens interne dokumenter fastslår at «Geir er leder for HR-avdelingen», er det høyst usikkert om AI-en klarer å svare korrekt på spørsmålet «Hvem leder HR?». Modellen kan fort ende opp med å feile eller dikte opp et navn fordi koblingen ikke er trent inn den andre veien. Man kan med andre ord ikke bare dytte ustrukturerte PDF-er inn i en språkmodell og forvente feilfrie, logiske slutninger.

For IT-avdelinger og prosjektledere som utvikler AI-løsninger, betyr dette at dataforberedelse og systemarkitektur blir viktigere enn før. For å unngå pinlige feil i møte med kunder eller ansatte, må dataene som mates inn i søkesystemene (ofte kalt RAG-systemer) struktureres symmetrisk og belyses fra flere vinkler. Logikk og sammenheng er ikke noe AI-en forstår av seg selv – det må bygges inn i måten vi presenterer informasjonen på.

Les mer om studiet på ArXiv / Hacker News.