Robots.txt: Internetstandardi
Robots.txt on WWW-palvelimen juurihakemistoon sijoitettava tiedosto, jolla voidaan antaa tietoja ja rajoituksia hakuroboteille ja muille verkkosivuja tutkiville boteille.
Sillä voidaan esimerkiksi kieltää kaikkia robotteja tai vain yksittäisiä hakukoneita tutkimasta joitakin verkkosivuston kansioita tai tiedostoja.
robots.txt-standardi sai alkunsa sähköpostilistalla www-talk käydyistä keskusteluista vuonna 1994, eikä sitä valvo tai kehitä mikään virallinen elin. Alkuperäiseen standardiin kuuluu vain kaksi ilmaustyyppiä: Disallow kertoo mitä botilta kielletään ja User-agent mitä bottia kielto koskee. Sittemmin suosituimmat hakukoneet ovat alkaneet huomioida uusia komentoja, joita kaikki botit eivät kuitenkaan tunnista. Google kirjoitti olemassa olevat käytänteet ylös, ja ne julkaistiin Internet-standardina RFC 9309 syyskuussa 2022.
Esimerkki
User-agent: Fasterfox Disallow: / # kielletään koko sivusto # kielletään hakemisto, sen sisältämät tiedostot ja alihakemistot User-agent: Googlebot User-agent: MSNBot Disallow: /hakemisto/ # sallitaan kaikki muille boteille User-agent: * Disallow:
Esimerkin robots.txt-tiedostossa kielletään yhdeltä botilta koko sivuston käyttö, kahdelta botilta hakemisto ja sallitaan koko sivusto kaikille muille boteille. Tiedostoon voi merkitä kommentteja, jotka alkavat #-merkillä.
Aiheesta muualla
- A Standard for Robot Exclusion - alkuperäinen robots.txt-standardi vuodelta 1994
- Robots.txt ja hakukoneet - robots.txt:n vaikutus hakukoneisiin ja vaihtoehtoiset menetelmät
- http://fi.wikipedia.org/robots.txt - esimerkki robots.txt-tiedostosta
This article uses material from the Wikipedia Suomi article Robots.txt, which is released under the Creative Commons Attribution-ShareAlike 3.0 license ("CC BY-SA 3.0"); additional terms may apply (view authors). Sisältö on käytettävissä lisenssillä CC BY-SA 4.0, ellei toisin mainita. Images, videos and audio are available under their respective licenses.
®Wikipedia is a registered trademark of the Wiki Foundation, Inc. Wiki Suomi (DUHOCTRUNGQUOC.VN) is an independent company and has no affiliation with Wiki Foundation.