AI crawleri i robots.txt: šta vaš sajt treba da dozvoli

3. novembar 2026. · Lizzard Solutions

AI crawlerirobots.txtAI pretragaAEOTehnički SEOMala preduzeća

Želite da vas ChatGPT, Perplexity ili Gemini preporuče kada neko traži firmu kao što je vaša. Ali ako vaš robots.txt ili firewall tiho blokira botove koje ti alati šalju, vaše stranice nikad ne stignu do njihovih odgovora. Ovaj vodič objašnjava kako AI crawleri i robots.txt rade zajedno i šta tačno malo preduzeće treba da dozvoli, a šta da blokira.

Dobićete jasan pregled glavnih AI botova, robots.txt šablon spreman za kopiranje i proveru od pet minuta koja pokazuje šta vaš sajt danas poručuje botovima.

---

Šta su AI crawleri i kako ih robots.txt kontroliše?

AI crawleri su automatizovani botovi koje AI kompanije šalju da čitaju veb-stranice: da bi napravili indeks za AI pretragu, da bi otvorili stranicu kada je korisnik pita o njoj, ili da bi prikupili podatke za treniranje. robots.txt je običan tekstualni fajl u korenu sajta koji svakom botu, po imenu (user-agent), kaže koje putanje sme da poseti.

Format robots.txt je internet standard RFC 9309. Svaka grupa počinje redom User-agent, a zatim slede pravila Allow ili Disallow. Bot prati najprecizniju grupu koja odgovara njegovom imenu, pa grupa za GPTBot za tog bota zamenjuje opštu grupu User-agent: *.

Akcija za danas: otvorite vasdomen.rs/robots.txt u pregledaču i zapišite koje botove pominje.

---

Glavni AI botovi: pretraga, zahtevi korisnika i treniranje

Velike AI kompanije danas dokumentuju odvojene user-agente za različite poslove. Tabela sažima šta piše u njihovoj zvaničnoj dokumentaciji:

Izvori: OpenAI dokumentacija o crawlerima, Anthropic članak o crawlerima i Google spisak uobičajenih crawlera. OpenAI navodi da su podešavanja nezavisna, pa možete da dozvolite OAI-SearchBot da biste se pojavili u rezultatima pretrage, a da zabranite GPTBot. Perplexity na svojoj stranici o botovima kaže isto za svoja dva agenta.

Google je poseban slučaj. Google-Extended nema sopstveni user-agent, a Google navodi da ne utiče na prisustvo ni rangiranje u Google pretrazi. Blokiranje Googlebota, s druge strane, potpuno vas izbacuje iz Google pretrage, pa to nikad ne radite slučajno.

Akcija za danas: uporedite botove iz svog robots.txt sa ovom tabelom i označite svaki bot za pretragu ili korisnički bot koji je blokiran.

---

Šta malo preduzeće treba da dozvoli?

Krenite od cilja. Ako prodajete usluge i želite da vas AI asistenti preporučuju, važni su botovi za pretragu i korisnički botovi, jer oni odlučuju da li vaše stranice mogu da se pronađu i citiraju u odgovorima.

Uzmimo malu knjigovodstvenu agenciju iz Novog Sada. Njene stranice sa uslugama, cenama i čestim pitanjima su marketinški materijal, pa ima sve razloge da pusti OAI-SearchBot, PerplexityBot i Claude-SearchBot da ih čitaju. Portal na koji klijenti šalju dokumenta treba zabraniti svim botovima i zaštititi lozinkom, jer robots.txt sam ništa ne krije.

Akcija za danas: napišite jednu rečenicu sa svojim pravilom: koje botove puštate, koje blokirate i zašto.

---

robots.txt šablon za AI crawlere, spreman za kopiranje

Ovaj šablon pušta AI botove za pretragu i korisničke botove na javne stranice, sve drži dalje od privatnih putanja i ostavlja jedno jasno mesto za odluku o botovima za treniranje. Zamenite primere putanja svojim:

User-agent: *
Allow: /
Disallow: /admin/
Disallow: /portal/

# AI pretraga i posete na zahtev korisnika
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: Claude-SearchBot
User-agent: Claude-User
Allow: /
Disallow: /admin/
Disallow: /portal/

# Treniranje: promenite Allow u Disallow ako se isključujete
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
Allow: /
Disallow: /admin/
Disallow: /portal/

Sitemap: https://www.primer.rs/sitemap.xml

Dve sitnice često zbune ljude. Prvo, bot koji odgovara imenovanoj grupi ignoriše grupu *, pa pravila za privatne putanje ponovite u svakoj grupi. Drugo, više redova User-agent zaredom deli pravila ispod njih, što fajl drži kratkim.

Kao stvaran primer, naš robots.txt na lizzardsolutions.com imenuje GPTBot, OAI-SearchBot, ChatGPT-User, PerplexityBot, ClaudeBot i Google-Extended i dozvoljava ih, jer želimo da AI alati čitaju naše stranice sa uslugama.

Akcija za danas: prilagodite šablon, objavite ga i ponovo otvorite fajl u pregledaču da potvrdite da je živa verzija promenjena.

---

Da li vam treba i llms.txt?

llms.txt je predloženi fajl, opisan na llmstxt.org, koji AI agentima daje kratak Markdown opis sajta sa linkovima ka najkorisnijim stranicama. Za razliku od robots.txt, ništa ne dozvoljava niti blokira. Samo pomaže botu da brže shvati čime se bavite.

To je i dalje predlog, a ne zvaničan standard, i AI kompanije ne obećavaju da ga koriste za rangiranje ili citiranje. Ipak, dodaje se lako: jedan fajl sa opisom firme, uslugama, gradom i ključnim linkovima. Neka bude usklađen sa stranicom O nama i profilima u direktorijumima, da bi svi izvori o vama govorili isto.

Akcija za danas: napišite pet redova koji opisuju vašu firmu, usluge, grad i glavnu kontakt stranicu. To je srž jednog llms.txt fajla.

---

Proverite šta vaš sajt poručuje AI crawlerima za 5 minuta

robots.txt je samo jedan sloj. Prođite ovu kratku proveru da biste bili sigurni da AI botove ništa drugo ne blokira:

1. Pročitajte robots.txt. Tražite Disallow: / pod * ili pod bilo kojim AI botom koji želite da pustite.
2. Proverite firewall ili CDN. Zaštita od botova u hosting panelima i CDN servisima može da blokira AI crawlere čak i kada ih robots.txt dozvoljava. Potražite podešavanja za AI botove ili crawlere.
3. Proverite oznake na stranicama. Robots meta oznaka ili zaglavlje noindex drži stranice van indeksa pretrage, uključujući i one na kojima se gradi AI pretraga.
4. Neka sadržaj bude čitljiv bez JavaScripta. Ako se ključni tekst pojavljuje tek kada se skripte izvrše, neki crawleri mogu da vide praznu stranicu.
5. Potvrdite sitemap. Navedite ga na dnu robots.txt fajla, da bi crawleri pronašli svaku javnu stranicu.

Ove provere se preklapaju sa klasičnim tehničkim SEO-om. Naš vodič za SEO proveru sajta detaljnije pokriva indeksiranje, sitemap i oznake na stranicama, a vodič za proveru sajta za AI objašnjava stranu sadržaja: jasne odgovore, strukturirane podatke i dosledne podatke o firmi.

Ako vas zanima kako crawling izgleda sa druge strane, naš vodič o web scrapingu za biznis objašnjava zašto odgovorni botovi poštuju robots.txt i ograničenja brzine.

Akcija za danas: prođite pet provera iznad i zapišite sve što blokira bota kog želite da pustite.

---

AI crawleri i robots.txt: česta pitanja

Da li treba da blokiram GPTBot na sajtu?

Samo ako ne želite da se vaš sadržaj koristi za treniranje OpenAI modela. Blokiranje GPTBot-a ne zaustavlja OAI-SearchBot, koji OpenAI koristi za rezultate ChatGPT pretrage. Većina uslužnih firmi koje žele vidljivost u AI pretrazi pušta oba, dok izdavači često blokiraju GPTBot, a OAI-SearchBot puštaju.

Da li blokiranje Google-Extended izbacuje sajt iz Google pretrage?

Ne. Google navodi da Google-Extended ne utiče na prisustvo u Google pretrazi i nije signal za rangiranje. On samo određuje da li sme da se koristi vaš sadržaj za Gemini treniranje i grounding. Sam Googlebot nikad ne blokirajte, osim ako želite da nestanete iz Google pretrage.

Da li AI crawleri moraju da poštuju robots.txt?

robots.txt je dobrovoljni standard. Velike AI kompanije dokumentuju svoje botove i navode da ga poštuju, ali on nije kontrola pristupa. Privatne stranice zaštitite lozinkom, a pravila u firewall-u ili CDN-u koristite ako treba da zaustavite botove koji ignorišu fajl.

Za koliko vremena izmene u robots.txt važe za AI pretragu?

Zavisi od kompanije. OpenAI navodi da je za rezultate pretrage potrebno oko 24 sata da sistemi prihvate izmenu robots.txt, a Perplexity navodi do 24 sata. Ostali crawleri ponovo čitaju fajl po svom rasporedu, pa sačekajte nekoliko dana pre nego što procenite rezultat.

---

Pravilno podešeni AI crawleri i robots.txt su jedan od najjeftinijih koraka do toga da vas citiraju ChatGPT, Perplexity i Gemini: pustite botove za pretragu i korisničke botove na javne stranice, svesno odlučite o pristupu za treniranje i proverite da firewall ne poništava vaš izbor. Ako želite da to neko pogleda umesto vas, naša besplatna provera sajta za AI proverava pristup crawlera, llms.txt, strukturirane podatke i sadržaj.