Miten muokkaan robots.txt ja sitemap.xml -tiedostoja

Hakukoneiden yleinen käytäntö on, että ne yrittävät ladata kaikilta palvelimilta robots.txt-tiedoston ennen kuin ne ryhtyvät varsinaisesti selaamaan palvelinta, eli indeksoimaan sivustoa hakukoneen tietokantaan. Tämän tiedoston sisällöllä voi esimerkiksi kieltää hakukoneita "näkemästä" sivustoa, tai sivuston indeksointitiheyttä voi rajoittaa jne.

Toinen samantyyppinen tiedosto on sitemap.xml, josta hakukoneet voivat saada luettelon kaikista sivuston sivuista, joita halutaan hakukoneen huomioivan.

Älä luo palvelimelle robots.txt tai sitemap.xml -tiedostoa itse, anna WordPressin tuottaa ne


Monet ihmiset vanhasta tottumuksesta menevät palvelimelle SSH/SFTP-yhteydellä ja luovat tällaisia robots.txt tai sitemap.xml-tiedostoja. WordPressin tapauksessa tämä on väärin. Oikea tapa on antaa WordPressin luoda nämä tiedostot "lennosta", eli kun Google tai Bing kysyy sivua /robots.txt, antaa WordPress siitä vastauksen ilman että palvelimella olisi varsinaista robots.txt-tiedostoa.

Jos haluat räätälöidä robots.txt-tiedostoa, voi sen tehdä esim lisäämällä teeman functions.php-tiedostoon oman funktion, joka rekisteröidään do_robotstxt -tapahtumaan.

Esimerkki:

function example_disallow_directory() {
echo "User-agent: *" . PHP_EOL;
echo "Disallow: /kielletty/hakemisto/" . PHP_EOL;
}
add_action( 'do_robotstxt', 'example_disallow_directory' );


Sama koskee myös sitemap.xml-tiedostoa. WordPressin ydin ei tee sitä itse, mutta edelleen oikea tapa tehdä se on asentamalla WordPressiin SEO-lisäosa, joka tuottaa sen. Seravo suosittelee SEO Framework -lisäosaa, koska se on uudempi ja kevyempi kuin tunnetumpi kilpailija Yoast SEO.

Lisätietoja aiheesta löytyy alla olevasta esityksestä:


Ratkaisiko tämä ongelman?