Robots en sitemap multistore

Bij een multistore omgeving heb je al snel te maken met meerdere sitemaps en robots.txt bestanden. Uiteraard wil je dat deze afzonderlijk en op een unieke URL zijn te crawlen.

In dit artikel leggen we je uit welke configuratie je hiervoor kunt toevoegen.

We gaan er vanuit dat je bekend bent met de hier beschreven locatie en mappenstructuur van de Nginx configuraties.

Instellen meerdere robots.txt bestanden

Voor het instellen van meerdere robots.txt bestanden, maak je voor iedere storeview een afzonderlijke robots.txt aan. Zorg ervoor dat de robots.txt bestanden in een submap komen te staan, waarbij de submap de naam van de storeview heeft.

In ons voorbeeld hebben we 3 storeviews met de storecodes:

• nl
• de
• fr

In de shop komen bovenstaande mappen te staan, met in iedere map een eigen robots.txt bestand.

Vervolgens plaatsen we in de /home/<gebruikersnaam>/domains/<domein>/var/etc/map de volgende Nginx configuratie:

location /robots.txt {
    rewrite ^/robots\.txt$ /$mage_run_code/robots.txt;
}

Vergeet na het plaatsen niet het commando nginx-reload uit te voeren.

Instellen meerdere sitemaps

De sitemaps kunnen we bij een multistore omgeving op een vergelijkbare manier instellen als de robots. Maak ook hiervoor in de sitemaps directory van de shop per storecode een submap aan. In iedere submap kan een identieke sitemap.xml worden geplaatst.

We plaatsen de volgende Nginx configuratie in de /home/<gebruikersnaam>/domains/<domein>/var/etc/ map:

location /sitemap.xml {
    rewrite ^/sitemap\.xml$ /sitemaps/$mage_run_code/sitemap.xml;
}