# =========================================================
# robots.txt – primaveralife.com
# Stand 17.09.2026 – Phase 1b "Zombie-Cleanup" (Basis: Phase 1 vom 04.08.2026)
# Aenderungen ggue. Phase 1:
#   - GSC meldete 86.585 URLs "Indexiert, obwohl durch robots.txt blockiert":
#     Filter-Slug-Kombis (/shop/*vegan* usw.), Filter-Parameter-URLs und
#     /customer/account/login/referer/... aus der Zeit VOR dem Bot-Lockdown.
#     Alle liefern Bots seit 04.08. per Varnish eine 301 auf den Whitelist-
#     Prefix bzw. sind noindex – Google durfte das wegen der Disallows nicht
#     sehen und behielt die Eintraege. Deshalb ENTFERNT (27 Zeilen):
#       * Disallow: /customer + /customer/account/login/referer/
#         (Login/Konto sind noindex per Meta + X-Robots-Tag, Bots -> 301)
#       * die 11 /shop/*...*-Muster (quality- und Kategorie-Kombis)
#       * die Filter-Parameter-Disallows (scent, fragrance_note, hautwirkung,
#         produktgruppe, quality, hauttyp, wirkgruppe, anwendungsgebiete,
#         beduftungsprinzip/-umfeld)
#     Sortier-/Pagination-/Such-Parameter, SID und PageSpeed bleiben geblockt.
#   - Gate fuer Bots ist ausschliesslich die Varnish-Whitelist (301), nicht
#     mehr robots.txt. Phase 2 (Disallow: /shop/* + Allow-Whitelist) ERST
#     aktivieren, wenn die Zombie-Eintraege in der GSC abgebaut sind, sonst
#     friert sie den Zustand wieder ein.
# NICHT geaendert: Bad-Bot-Liste, Directories/Paths/Files, Sitemap.
# =========================================================
# --- Vollstaendig blockierte Crawler (Scraper, SEO-Tools, Daten-Sammler) ---
# Synchron zu nginx $bot_type "bad" (dort zusaetzlich 444); robots.txt ist
# fuer diese UAs absichtlich erreichbar ($block_bad_bot_effective-Ausnahme)
User-agent: Yandex
User-agent: Baiduspider
User-agent: Sogou web spider
User-agent: SeekportBot
User-agent: SemrushBot
User-agent: SplitSignalBot
User-agent: SiteAuditBot
User-agent: AhrefsBot
User-agent: MJ12bot
User-agent: DotBot
User-agent: PetalBot
User-agent: BLEXBot
User-agent: Seobility
User-agent: Timpibot
User-agent: BitSightBot
User-agent: serankingbacklinksbot
User-agent: CCBot
User-agent: Omgili
User-agent: Omgilibot
User-agent: Diffbot
User-agent: ImagesiftBot
User-agent: Bytespider
User-agent: ArchiveBot
User-agent: BUbiNG
User-agent: Barkrowler
User-agent: DavClnt
User-agent: SnapLocalBot
User-agent: Thinkbot
User-agent: SEBot-WA
User-agent: senderbot
User-agent: meta-externalagent
User-agent: CyberConvoyScout
Disallow: /

# --- Alle uebrigen Crawler (Googlebot, Bingbot, Pinterestbot, AI-Crawler, ...) ---
User-agent: *
Crawl-delay: 10
Sitemap: https://www.primaveralife.com/sitemap.xml

# Directories
Disallow: /404/
Disallow: /index.php/
Disallow: /app/
Disallow: /bin/
Disallow: /dev/
Disallow: /lib/
Disallow: /phpserver/
Disallow: /pkginfo/
Disallow: /report/
Disallow: /review/
Disallow: /tag/
Disallow: /catalog/
Disallow: /sales/
Disallow: /setup/
Disallow: /update/
Disallow: /vendor/
Disallow: /var/
Disallow: /multiaddtocart/index/index
Disallow: /mfcmsdr/
Disallow: /b2b/
Disallow: /ammostviewed
Disallow: /weltpixel_ga4
Disallow: /wpx_meta
Disallow: /wpx_pinterest
Disallow: /webpeaks_randomblock
Disallow: /viewitemlist
Disallow: /kbase
Disallow: /rest/
Disallow: /en/
Disallow: /de/
Disallow: /admin
Disallow: /amasty_cart
Disallow: /cleverreach
Disallow: /newss/
Disallow: /?

# Paths (clean URLs)
Disallow: /catalog
Disallow: /catalogsearch
Disallow: /checkout
Disallow: /onestepcheckout/
Disallow: /control/
Disallow: /contacts/
Disallow: /customize/
Disallow: /newsletter/
Disallow: /wishlist/
Disallow: /downloads/
Disallow: /searchautocomplete
Disallow: /advancedsearch
Disallow: /js/
Disallow: /webforms
Disallow: /returns
Disallow: /rma
Disallow: /sendfriend/
Disallow: /pub/media/ecatalog/
Disallow: /ecatalog/

# --- Produktbereiche-Filter (Single-Select-Landingpages) ---
# Allow: /shop/aromatherapie$
Allow: /shop/bio-und-naturkosmetik$
Allow: /shop/duftgeraete-und-mehr$
Allow: /shop/weihnachten$

# --- quality-Filter: Einzelwerte ---
# STATUS 04.08.2026: NICHT in der Varnish-Bot-Whitelist -> Bots bekommen
# hier 301 auf /shop. Die Allow-Zeilen bleiben BEWUSST stehen, damit Google
# die 301s crawlen kann und die Seiten sauber aus dem Index konsolidiert
# (Disallow wuerde den Redirect unsichtbar machen -> Zombie-Eintraege).
# SEO-Relevanz-Check (Sistrix/GSC/Screaming Frog) offen; falls einzelne
# Seiten ranken/Traffic bringen -> Slug in VCL-Whitelist aufnehmen,
# dann sind diese Allows wieder regulaer wirksam.
Allow: /shop/vegan$
Allow: /shop/wildsammlung$
Allow: /shop/kontrolliert-biologischer-anbau$
Allow: /shop/saunabund$
Allow: /shop/leaping-bunny$
Allow: /shop/demeter$
Allow: /shop/natrue-biokosmetik$
Allow: /shop/natrue-naturkosmetik$
Allow: /shop/natrue-naturkosmetik-mit-bioanteil$

# --- quality-/Kategorie-KOMBINATIONEN: seit 17.09.2026 NICHT mehr per robots geblockt ---
# Bots bekommen fuer jede Kombi eine Varnish-301 auf den Whitelist-Prefix; Google muss
# diese 301 sehen koennen, um die 86k Zombie-Eintraege abzubauen (GSC 17.09.2026).
# Frueher hier: Disallow: /shop/*vegan* ... /shop/*natrue* (11 Muster) -> entfernt.

# Parameter (Sortierung, interne Suche, Junk-State) – Filter-Attribute seit 17.09.2026 crawlbar (Bots -> 301)
Disallow: /*?*a_to_z=
Disallow: /*?*limit=
Disallow: /*?*is_scroll=
Disallow: /*?*product_list_dir=
Disallow: /*?*product_list_order=
Disallow: /*?*product_list_limit=
Disallow: /*?*product_list_mode=
Disallow: /*?*pp=
Disallow: /*?q=
Disallow: /*&q=

# Files
Disallow: /composer.json
Disallow: /composer.lock
Disallow: /CONTRIBUTING.md
Disallow: /CONTRIBUTOR_LICENSE_AGREEMENT.html
Disallow: /COPYING.txt
Disallow: /Gruntfile.js
Disallow: /LICENSE.txt
Disallow: /LICENSE_AFL.txt
Disallow: /nginx.conf.sample
Disallow: /package.json
Disallow: /php.ini.sample
Disallow: /RELEASE_NOTES.txt
Disallow: /home.html
Disallow: /blank.html
Disallow: /aka/

# Session-IDs / PageSpeed
Disallow: /*SID=
Disallow: /*?SID=
Disallow: /*PageSpeed=noscript

# File extensions
Disallow: /*.php$
Disallow: /*.CVS
Disallow: /*.Zip$
Disallow: /*.Svn$
Disallow: /*.Idea$
Disallow: /*.Sql$
Disallow: /*.Tgz$