Cloudflare skærper sin kurs mod uautoriseret adgang fra AI-crawlere. Fremover vil kendte bots, der samler indhold fra hjemmesider til træningsformål, automatisk blive blokeret. Nye kunder vil blive spurgt aktivt, om de overhovedet vil tillade sådan adgang. Målet er at lægge kontrollen over digitalt indhold tilbage i hænderne på skaberne – og samtidig skabe muligheder for indtægtsgenerering.
Med den nyintroducerede model "Pay Per Crawl" kan udvalgte udgivere fremover selv fastsætte priser for AI-systemers adgang. AI-udbydere har mulighed for at se disse priser, registrere sig for en betalingsbrug eller undlade at få adgang. Tilbuddet henvender sig i første omgang kun til en eksklusiv kreds af førende mediehuse og indholdsskabere.
Cloudflare reagerer dermed på den voksende betydning af generative AI-applikationer og Large Language Models, der i stigende grad automatisk udlæser indhold på nettet. Allerede i 2023 havde virksomheden indført de første blokkeringsmuligheder, der var baseret på de frivillige retningslinjer i robots.txt. Senere blev funktionen udvidet til at blokere alle kendte AI-bots, uafhængigt af deres overholdelse. Nyt er, at disse blokeringer nu er aktive som standard for alle nye domæner hos Cloudflare.
Zusätzlich bietet Cloudflare seit marts en teknisk barriere kaldet "AI Labyrinth", der bevidst fører uønskede crawlers ind i endeløse loops for at besværliggøre scraping-aktiviteter.
Zu de nye retningslinjers tilhængere hører store udgivere som The Associated Press, The Atlantic, Fortune, Stack Overflow og Quora. De er alle bekymrede over, at generative AI-modeller i stigende grad bruger originalt indhold uden at få de nødvendige rettigheder eller yde betaling. "Folk stoler nu mere på AI-systemer end på søgemaskiner. Dette fører til, at de læser færre originale kilder," forklarede Cloudflare-CEO Matthew Prince.
Derudover arbejder Cloudflare på en verifikationsmodel for AI-crawlere. Disse skal fremover angive gennemsigtigt, om indhold bruges til træning, inferens eller søgning. Webstedsejere kan derefter individuelt beslutte, hvilken adgang de tillader. "Originalindhold gør internettet til en af de største opfindelser i det sidste århundrede," fortsætter Prince. "Vores mål er at beskytte skabernes rettigheder, uden at hæmme innovation.
