14. June 2026
Det har pågått et intenst kappløp blant de største AI-leverandørene om å tilby størst mulig «kontekstvindu» – altså hvor mye tekst du kan mate inn i modellen på én gang. Men ferske analyser advarer nå beslutningstakere mot å stole blindt på disse gigantiske vinduene. Selv om en modell teknisk sett kan ta imot hele bedriftens fellesområde i én enkelt ledetekst (prompt), viser det seg at evnen til å faktisk hente ut og forstå informasjonen som ligger gjemt i midten av dokumentene, faller dramatisk.
For å forstå problemet kan vi se på AI-en som en travel saksbehandler. Hvis du gir saksbehandleren et dokument på tre sider, vil hun huske alt. Gir du henne en perm på tusen sider, vil hun huske starten og slutten godt, men detaljene i midten blir fort tåkete. Dette kalles gjerne «nåla i høystakken»-problemet. AI-modellene har en tendens til å lide av oppmerksomhetssvikt når datamengden blir for stor, og de kan i verste fall dikte opp svar basert på fragmenter de har misforstått.
For advokatfirmaer som bruker AI til å skanne tusenvis av kontraktsider, eller finansforetak som analyserer komplekse årsrapporter, utgjør dette en kritisk sårbarhet. Hvis en virksomhet baserer sine risikovurderinger på at AI-en har "lest" hele dokumenthaugen og konkludert med at alt er i orden, risikerer man å overse dyre feil eller skjulte klausuler. For IT-avdelinger og systemarkitekter betyr dette at man ikke bør skrote eldre, presise søketeknologier. I stedet bør man satse på hybride løsninger (som RAG – Retrieval-Augmented Generation) som filtrerer ut og serverer kun de mest relevante avsnittene til AI-en, fremfor å dytte alt råmaterialet inn i én gigantisk og upålitelig prompt. Du kan lese mer om de tekniske detaljene bak denne problemstillingen på Garrit's Tech Blog.