User-agent: *
# srsltid-kliktags (Google Shopping/Merchant auto-tag) op product- en categorie-
# URL's blijven crawlbaar: Google's advies is niet-blokkeren + canonical, en het
# volume is tientallen URL's (geen crawlbudget-probleem). Bewust langer/specifieker
# dan de facet-Disallows hieronder, zodat de Allow op hetzelfde pad wint.
Allow: /winkel/*?srsltid=
Allow: /categorie/*?srsltid=
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-admin/
Disallow: /afrekenen/
Disallow: /checkout/
Disallow: /cart/
Disallow: /winkelwagen/
Disallow: /my-account/
Disallow: /mijn-account/
# Facet-/filtercombinaties niet crawlen: ze canonicaliseren al naar de basis-
# categorie en de commerciele facetten hebben een eigen /categorie/.../<term>/-pad.
# De vier filterbare ruimtes (/categorie/, het parallelle /winkel/, /collectie/
# en de shoppagina /shop/, die ?breedte= enz. met 200 + canonical beantwoordt)
# plus de offerte-prefill-parameter en de oude add-to-cart-parameter.
# /collectie/-pagina's staan al op noindex, maar Google moet ze crawlen om die
# noindex te zien; alleen de query-varianten dicht, de schone collectiepaden
# blijven interne linkwaarde doorgeven. Producten leven op /winkel/... zonder
# query en blijven volledig crawlbaar; paginering is pad-gebaseerd (/page/2/).
Disallow: /categorie/*?
Disallow: /winkel/*?
Disallow: /collectie/*?
Disallow: /shop/*?
Disallow: /*?vs_product=
Disallow: /*?add-to-cart=

# AI-crawlers liepen op 31 jul 2026 in 14 uur 610k filter-URL's af (ClaudeBot,
# meta-externalagent, GPTBot, Amazonbot). Geen zoekmachineverkeer, wel de oorzaak
# van load 5+ op 4 vCPU. Gewone pagina's mogen ze lezen, facetten niet.
# 2 sep 2026: de crawlers kwamen terug onder NIEUWE namen en vielen buiten de
# lijst hieronder. meta-webindexer legde de site plat met ~330 req/s. Nieuwe
# namen toegevoegd; nginx weert ze nu ook op querystring, want robots.txt
# werkt alleen als een crawler hem leest en respecteert.
User-agent: ClaudeBot
User-agent: Claude-SearchBot
User-agent: meta-externalagent
User-agent: meta-webindexer
User-agent: GPTBot
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Amazonbot
User-agent: Amzn-SearchBot
User-agent: Bytespider
User-agent: PetalBot
User-agent: SERankingBacklinksBot
User-agent: SemrushBot
User-agent: AhrefsBot
User-agent: DataForSeoBot
Disallow: /*?
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /afrekenen/
Disallow: /checkout/
Disallow: /cart/
Disallow: /winkelwagen/
Disallow: /my-account/
Disallow: /mijn-account/
Crawl-delay: 10

Sitemap: https://woningstofferingtotaal.nl/sitemap_index.xml