Robots.txt voor Shopware

Een goed ingerichte Robots.txt is van grote waarde voor je Shopware webshop. Het voorkomt dat teveel pagina’s door Google geïndexeerd en gecrawled worden, wat goed is voor je SEO en het verlaagt in veel gevallen bovendien de serverbelasting.

Binnen een robots.txt bestand configureer je welke pagina’s geïndexeerd mogen worden, en minstens zo belangrijk: welke pagina’s mogen niet geïndexeerd worden.

Zo voorkom je duplicated content en bespaar je crawl budget. De Google bot komt immers niet onbeperkt langs om je website te crawlen voor mogelijke updates. Hoe minder niet relevante pagina’s je laat indexeren, des te groter de kans dat de Google Bot je belangrijkste pagina’s wel crawlt.

Robots.txt voor Shopware 5 & 6

Standaard heeft Shopware geen mogelijkheid om direct je Robots.txt aan te passen. Je kunt dit direct in de code doen (/public/robots.txt) waarbij je eventueel hulp van je developer kunt inschakelen. Of installeer een plugin waarmee je dit kunt doen.

Standaard ziet de Robots.txt van Shopware er zo uit:

User-agent: *

Disallow: /compare
Disallow: /checkout
Disallow: /register
Disallow: /account
Disallow: /note
Disallow: /widgets
Disallow: /wishlist
Disallow: /search
Disallow: /listing
Disallow: /ticket

Sitemap: https://www.website.nl/sitemap.xml

Om niet teveel pagina’s te crawlen, raden wij aan om ook de volgende regels toe te voegen:

Disallow: /search
Disallow: /*?sInquiry=

Heeft je webshop 10.000+ producten, dan kan het in sommige gevallen nuttig zijn om meer pagina’s/parameters uit te sluiten. Mocht je hier advies over willen, neem dan contact met ons op.