Kako na Cloudflare-u blokirati AI botove

AI alati danas sve češće koriste sadržaje sa Interneta kako bi trenirali svoje modele: tekstove, slike, kod, članke, blogove. Ono što većina vlasnika sajtova ne zna jeste da se ti sadržaji često prikupljaju automatski, bez ikakvog pitanja, upozorenja ili dozvole. Oni koji ih prikupljaju su takozvani AI botovi.

Zamislite da neko neopaženo uđe na vaš sajt, prekopira sve što ste napisali, snimi dizajn, prikupi podatke i ode. Vi to ni ne primetite, a vaš sadržaj završi u bazama podataka velikih AI sistema. Bez vašeg znanja, bez dozvole i bez naknade.

E pa, tome je, bar delimično, došao kraj. Cloudflare je odlučio da automatski blokira pristup AI botovima na svim novoregistrovanim sajtovima, osim ako vi izričito ne odlučite da im dozvolite pristup. Ukratko: kontrola nad sadržajem vašeg sajta i dalje ostaje u vašim rukama.

Šta je zapravo Cloudflare?

Cloudflare je servis koji stoji između vašeg sajta i njegovih posetilaca. Na taj način istovremeno štiti vaš sajt od napada, ubrzava učitavanje stranica i optimizuje protok podataka. Milioni sajtova širom sveta, od malih blogova do velikih korporacija i državnih institucija, koriste Cloudflare da bi se zaštitili od DDoS napada, spam botova i drugih pretnji.

Pored zaštite, Cloudflare ima i moćnu mrežu servera širom sveta, što znači da vaš sajt može da se učitava brže, bez obzira na to gde se korisnik nalazi.

Ukratko, Cloudflare vam pomaže da vaš sajt bude bezbedniji, brži i dostupniji.

Ono što Cloudflare sada dodatno izdvaja jeste upravo odluka da stane na stranu kreatora sadržaja i uvede jasna pravila kada je reč o AI botovima.

Kako je Internet do sada funkcionisao?

Internet je decenijama radio po jednostavnom principu: vi napišete tekst, Google ga indeksira i kada neko traži tu temu, vaš sajt se pojavljuje. Ako je tekst dobar, ljudi kliknu, dođu na vaš sajt, čitaju i možda kupe nešto ili kliknu na oglas. Vi time dobijate posete i potencijalnu zaradu.

Tako su i nastali mnogi kvalitetni blogovi, vesti, vodiči i tutorijali.

Ali onda su došli AI alati. Oni ne šalju korisnike na vaš sajt. Oni pokupe sadržaj, nauče iz njega i onda odgovaraju na pitanja umesto vas, bez da iko ikada poseti vašu stranicu. I bez da vi dobijete bilo kakvu nadoknadu za trud.

Šta je Cloudflare uradio?

Cloudflare je uveo novu podrazumevanu postavku: svaki novi sajt registrovan na njihovoj platformi automatski blokira AI botove koji pokušavaju da preuzmu sadržaj bez dozvole.

To znači sledeće:

• AI botovi više ne mogu da pristupe sadržaju bez vaše izričite saglasnosti
• Vlasnici sajtova sami odlučuju da li žele da dozvole pristup i u koje svrhe (obuka modela, pretraga, zaključivanje)
• Nema više potrebe da ručno podešavate zaštitu – sve je uključeno automatski već pri kreiranju sajta

U suštini, Cloudflare je vratio kontrolu nad sadržajem onima koji su ga stvorili.

Da li to znači da AI više neće učiti iz sadržaja sa Interneta?

Ne nužno. AI i dalje može da koristi javno dostupne informacije, ali sada mora da pita i poštuje pravila. Kreatori sada dobijaju priliku da zaštite svoj rad od prostog kopiranja od strane AI bota, odnosno da eventualno ispregovaraju određenu naknadu za svoj sadržaj.

Na taj način se štite svi koji nešto stvaraju, od malih blogova i lokalnih sajtova, do velikih medijskih kuća poput USA Today, Condé Nast, Reddit-a i Pinterest-a, koji su već podržali ovu inicijativu.

Kako će to izgledati u praksi?

Da biste koristili ovaj servis, potrebno je pre svega da se registrujete na Cloudflare i prijavite svoj web sajt. Kada registrujete novi domen preko Cloudflare-a, sistem će vas odmah pitati da li želite da dozvolite pristup AI botovima. Imate praktično tri opcije na rasploaganju.

1. Block on all pages (blokiraj na svim stranama)
   Ovo je najstroža opcija. Svi poznati AI botovi će biti potpuno blokirani i neće moći da pristupe nijednom delu vašeg sajta.
2. Block only on hostnames with ads (blokiraj samo na domenima sa oglasima)
   AI botovi će biti blokirani samo na poddomenima koji prikazuju oglase, dok će na ostalim delovima sajta imati pristup.
3. Do not block (off) – ne blokiraj
   Ova opcija dozvoljava svim AI botovima da pristupaju vašem sadržaju i koriste ga za obuku, pretragu ili druge svrhe.

Dodatno, postoji opcija:
Manage AI bot traffic with robots.txt
Kada je ova opcija uključena (kao što je prikazano na slici), Cloudflare će automatski dodati pravila u vaš robots.txt fajl da ograniči pristup AI botovima u skladu sa izabranim podešavanjem.

Ako odlučite da im date pristup, to radite svesno, po vašim pravilima.

Već više od milion sajtova je aktiviralo ovu opciju. S obzirom da se ispostavilo da najveći broj vlasnika sajtova želi da AI botovi budu blokirani, Cloudflare je rešio da to bude podrazumevana postavka za sve nove korisnike.

Zašto je važno da AI botovi budu blokirani?

Zato što se danas suočavamo sa novim oblikom nevidljivog kopiranja. AI alati više ne funkcionišu kao klasični pretraživači. Oni više ne traže samo da vas prikažu korisnicima, već i da praktično iskoriste podatke sa vašeg sajta i ponude ih korisnicima direktno. Na taj način vaš trud postaje deo nečijeg modela, bez linka ka vašem sajtu, bez posete, bez zarade. I bez vašeg znanja.

Ako ovakva praksa postane norma, mnogi sajtovi će prestati da ulažu u kvalitetan sadržaj. Zašto biste trošili sate ili dane pišući tekst, snimajući video, kreirajući vodič, ako će neko samo da ga uzme i koristi za svoje algoritme?

Cloudflare ovde pravi važan presedan. Pokazuje da je moguće zaštititi sadržaj, čak i pored agresivnih AI botova.

Zato, ako već koristite Cloudflare, proverite u podešavanjima da li je zaštita od AI botova aktivna.

Zaključak

U eri u kojoj veštačka inteligencija sve češće koristi tuđi sadržaj bez dozvole, Cloudflare pravi značajan iskorak u zaštiti digitalne svojine. Pomenuta opcija koja automatski blokira AI botove na novim sajtovima vraća kontrolu kreatorima – onima koji zapravo stvaraju vrednost na Internetu.

Ova promena ne samo da podiže svest o zloupotrebama sadržaja, već postavlja nove standarde u digitalnoj etici. Ako želite da sačuvate svoj trud, zadržite kontrolu nad svojim sadržajem i doprinesete pravednijem Internetu, proverite svoja Cloudflare podešavanja i budite korak ispred AI botova.

Nenad Mihajlović