03. July 2026
Manticore Search har nylig bygget om måten de håndterer ONNX-modeller på, noe som har resultert i at generering av AI-embeddings nå kjører opptil 14 ganger raskere enn tidligere. ONNX (Open Neural Network Exchange) er en åpen standard som gjør det mulig å kjøre AI-modeller effektivt på tvers av ulike systemer. Ved å eliminere unødvendig tidsbruk i programvarearkitekturen har utviklerne fjernet en av de mest seiglivede flaskehalsene i moderne søke- og AI-infrastruktur.
For å forstå hvorfor dette er en gladnyhet du bør ta med deg til neste strategimøte, må vi se på hvordan moderne AI-systemer fungerer bak kulissene. Når man skal bygge en løsning basert på RAG (Retrieval-Augmented Generation) – altså der en språkmodell henter informasjon fra selskapets egne databaser for å gi presise svar – må all tekst først oversettes til tallvektorer, såkalte «embeddings». Denne prosessen krever vanligvis voldsomme mengder maskinkraft, og har til nå vært både treg og kostbar, særlig når store datamengder skal holdes kontinuerlig oppdatert.
For IT-avdelinger som forsøker å tøyle økende skykostnader på AWS eller Azure, fjerner denne oppdateringen et stort økonomisk og teknologisk hinder. Utviklingsteam kan nå kjøre tunge søkemodeller på langt billigere standard-prosessorer (CPU) i stedet for å leie svindyre og vanskelig tilgjengelige grafikkort (GPU) fra skyleverandørene. For e-handelsplattformer med hyppige produkt- og prisendringer betyr dette at nye varer kan indekseres og gjøres søkbare via smart AI-søk på millisekunder, noe som sikrer en sømløs brukeropplevelse uten at driftsbudsjettet løper løpsk.
Les mer om de tekniske detaljene hos Manticore Search.