16. September 2026
Cloudflare har lansert en løsning som gjør det mulig for nettstedeiere å forbli synlige i tradisjonelle søkemotorer, samtidig som de blokkerer de samme aktørene fra å bruke innholdet til opplæring av AI-modeller. Dette løser et økende dilemma der virksomheter tidligere har måttet velge mellom å miste verdifull søketrafikk eller å la egne data høstes fritt. Ved å skille mellom søkeindeksering og AI-trening gir verktøyet mer finmasket kontroll over oppførselen til såkalte "mixed-use crawlers" (søkeprogrammer som brukes til både indeksering og datainnsamling).
[Kilde: Hacker News]