S pomočjo tega vodnika preprečite, da bi vaše spletno mesto postrgali pajki OpenAI.

Čeprav imajo uporabniki radi ChatGPT zaradi ogromne količine informacij, ki jih trenutno hrani, tega ne moremo reči za lastnike spletnih mest.

ChatGPT OpenAI uporablja pajke za strganje spletnih mest, toda če ste lastnik spletnega mesta in ne želite, da pajek OpenAI dostopa do vašega spletnega mesta, je tukaj nekaj stvari, ki jih lahko storite, da to preprečite.

Kako deluje iskanje po OpenAI?

A spletni pajek (znan tudi kot pajek ali bot iskalnika) je avtomatiziran program, ki skenira internet za informacije. Te podatke nato zbere na način, da vaš iskalnik zlahka dostopa do njih.

Spletni pajki indeksirajo vsako stran vsakega ustreznega URL-ja, običajno se osredotočajo na spletna mesta, ki so ustreznejša za vaše iskalne poizvedbe. Na primer, predpostavimo, da googlate določeno napako sistema Windows. Spletni pajek v vašem iskalniku bo pregledal vse URL-je s spletnih mest, za katere meni, da so bolj verodostojna na temo napak sistema Windows.

instagram viewer

Spletni pajek OpenAI se imenuje GPTBot in glede na Dokumentacija OpenAI, omogočanje GPTBotu dostopa do vašega spletnega mesta lahko pomaga usposobiti model AI, da postane varnejši in natančnejši, in lahko celo pomaga razširiti zmogljivosti modela AI.

Kako preprečiti, da bi OpenAI preiskal vaše spletno mesto

Tako kot večini drugih spletnih pajkov lahko tudi GPTBotu preprečite dostop do vašega spletnega mesta tako, da spremenite robots.txt protokol (znan tudi kot protokol za izključitev robotov). Ta datoteka .txt gostuje na strežniku spletnega mesta in nadzoruje, kako se spletni pajki in drugi avtomatizirani programi obnašajo na vašem spletnem mestu.

Tukaj je kratek seznam tega, kar robot.txt datoteka lahko naredi:

  • GPTBotu lahko popolnoma prepreči dostop do spletnega mesta.
  • GPTBot lahko blokira samo določene strani iz URL-ja.
  • GPTBotu lahko pove, katerim povezavam lahko sledi in katerim ne.

Tukaj je opisano, kako nadzorujete, kaj lahko GPTBot počne na vašem spletnem mestu:

Popolnoma preprečite GPTBotu dostop do vašega spletnega mesta

  1. Nastavite datoteko robot.txtin ga nato uredite s poljubnim orodjem za urejanje besedila.
  2. Dodajte GPTBot na svoje spletno mesto robots.txt kot sledi: 
User-agent: GPTBot
Disallow: /

GPTBotu preprečite dostop samo do določenih strani

  1. Nastavite robot.txt datoteko in jo nato uredite z želenim orodjem za urejanje besedila.
  2. Dodajte GPTBot na svoje spletno mesto robots.txt kot sledi: 
User-agent: GPTBot
Allow: /directory-1/
Disallow: /directory-2/

Vendar ne pozabite, da spreminjanje robot.txt datoteka ni retroaktivna rešitev in nobenih informacij, ki jih je GPTBot morda že zbral z vašega spletnega mesta, ne bo mogoče obnoviti.

OpenAI lastnikom spletnih mest omogoča, da onemogočijo iskanje po vsebini

Odkar se pajki uporabljajo za usposabljanje modelov AI, lastniki spletnih mest iščejo načine, kako ohraniti zasebnost svojih podatkov.

Nekateri se bojijo, da modeli umetne inteligence v bistvu kradejo njihovo delo, celo pripisujejo manj obiskov spletnih strani dejstvu, da zdaj uporabniki dobijo svoje podatke, ne da bi jim bilo treba obiskati njihova spletna mesta.

Skratka, ali želite klepetalnim robotom z umetno inteligenco popolnoma preprečiti skeniranje vaših spletnih mest, je popolnoma vaša izbira.