Testaa Robots.txt-tiedostosi
Testitulokset
Testaa Robots.txt ennen käyttöönottoa
Varmista, että indeksointisäännöt toimivat oikein estääksesi tärkeiden sivujen tahattoman estämisen hakukoneilta
Ennen robots.txt-tiedoston lataamista on tärkeää testata, että säännöt toimivat odotetulla tavalla. Yksi virhe voi estää Googlea pääsemästä koko sivustollesi tai tärkeisiin osioihin. Tämä työkalu antaa sinun liittää robots.txt-sisällön ja testata useita URL-osoitteita sitä vastaan.
Miksi testata Robots.txt?
robots.txt-tiedosto käyttää erityistä syntaksia jokerimerkeillä ja kuvioilla, joita voi olla vaikea asettaa oikein. Testaaminen varmistaa, että Allow- ja Disallow-säännöt toimivat oikein eri käyttäjäagenteille. Tämä estää yleiset virheet, kuten CSS/JS-tiedostojen, kokonaisten hakemistojen tai sivukartan tahattoman estämisen.
Ominaisuudet
Usean URL:n testaus
Testaa useita URL-osoitteita kerralla robots.txt-sääntöjäsi vastaan.
User-Agent-valinta
Testaa sääntöjä tietyille boteille, kuten Googlebot, Bingbot tai kaikille boteille (*).
Välittömät tulokset
Saat välitöntä palautetta siitä, onko URL sallittu vai estetty.
Asiakaspuolella
Kaikki testaus tapahtuu selaimessasi. robots.txt-sisältöäsi ei lähetetä minnekään.
Testausvinkit
- Testaa aina tietyllä käyttäjäagentilla, johon kohdistat (esim. Googlebot, Bingbot).
- Testaa rajatapauksia, kuten URL-osoitteita kyselyparametreilla (?page=2) ja loppuvinoviivalla.
- Varmista, etteivät CSS-, JS- ja kuvatiedostot ole vahingossa estetty.
- Testaa sivukartan URL varmistaaksesi, että se on saavutettavissa.
- Tarkista, että ylläpito-, kirjautumis- ja yksityiset sivut on estetty oikein.
- Muista, että robots.txt-säännöt erottavat isot ja pienet kirjaimet polun osalta.
Usein kysytyt kysymykset
Miten robots.txt-vastaavuus toimii?
Robots.txt käyttää polkupohjaista vastaavuutta. Disallow: /private/ estää kaikki /private/-alkuiset URL-osoitteet. Jokerimerkki * vastaa mitä tahansa merkkijonoa, ja $ ankkuroi vastaavuuden URL:n loppuun.
Onko Allow-säännöllä etusija Disallow-sääntöön nähden?
Googlen toteutus antaa etusijan tarkemmalle säännölle. Jos sekä Allow että Disallow vastaavat, pidempi (tarkempi) kuvio voittaa. Jos ne ovat samanpituiset, Allow saa etusijan.
Onko robots.txt kirjainkokoherkkä?
User-agent-kenttä ei ole kirjainkokoherkkä, mutta polkuvastaavuus (Allow/Disallow) on. Disallow: /Private/ ei estä /private/-polkua.