# robots.txt for gartenkompass.com
# Last updated: 2026-09-01
#
# Policy — drei Kategorien, bewusst unterschiedlich behandelt:
#
#   ERLAUBT  Klassische Such-Crawler (Google, Bing, DuckDuckGo, Yandex, Apple, Archive)
#   ERLAUBT  KI-SUCHE und NUTZER-ABRUFE. Diese Bots zitieren mit Link zurueck bzw.
#            holen eine Seite, weil ein Mensch die KI aktiv danach gefragt hat —
#            sie bringen also Besucher. Bis 04.08.2026 waren sie hier faelschlich
#            mitgesperrt; die Seite konnte damit in ChatGPT Search, Perplexity,
#            Copilot & Co. gar nicht auftauchen. Namentlich freigegeben:
#            OAI-SearchBot, Claude-SearchBot, PerplexityBot, Microsoft-CoPilot,
#            YouBot, KagiBot, Andibot, PhindBot (KI-Suche) sowie ChatGPT-User,
#            Claude-User, Perplexity-User, MistralAI-User, Meta-ExternalFetcher
#            (Nutzer-Abrufe). Sie fallen jetzt unter die *-Regel oben.
#   GESPERRT TRAININGS-Crawler (GPTBot, ClaudeBot, CCBot, Google-Extended,
#            Applebot-Extended, Bytespider u.a.) — reine Datenentnahme ohne
#            Gegenleistung, kein Link, kein Besucher.
#   GESPERRT SEO-Wettbewerbsanalyse (Ahrefs, Semrush, Majestic u.a.).
#
# Quellen zur Rollenverteilung: OpenAI developers.openai.com/api/docs/bots,
# Anthropic-Crawler-Doku (Stand 02/2026), docs.perplexity.ai.

# Default — alle Bots dürfen indexieren, außer Preview/Vercel-Internals
User-agent: *
Disallow: /preview/
Disallow: /mockups/
Disallow: /_vercel/
Crawl-delay: 1

# ============================================================
# OpenAI
# ============================================================
User-agent: GPTBot
Disallow: /



# ============================================================
# Anthropic
# ============================================================
User-agent: ClaudeBot
Disallow: /

User-agent: anthropic-ai
Disallow: /

User-agent: Claude-Web
Disallow: /



# ============================================================
# Google AI (NICHT Googlebot — der ist die Suche und bleibt erlaubt)
# ============================================================
User-agent: Google-Extended
Disallow: /

User-agent: GoogleOther
Disallow: /

User-agent: GoogleOther-Image
Disallow: /

User-agent: GoogleOther-Video
Disallow: /

# ============================================================
# Microsoft AI (NICHT Bingbot — bleibt erlaubt für Suche)
# ============================================================

# ============================================================
# Apple AI (NICHT Applebot — bleibt erlaubt für Spotlight/Siri-Suche)
# ============================================================
User-agent: Applebot-Extended
Disallow: /

# ============================================================
# Meta / Facebook AI
# ============================================================
User-agent: Meta-ExternalAgent
Disallow: /


User-agent: FacebookBot
Disallow: /

# ============================================================
# Perplexity
# ============================================================


# ============================================================
# Common Crawl (Trainingsdaten-Quelle für viele LLMs)
# ============================================================
User-agent: CCBot
Disallow: /

# ============================================================
# Weitere AI-Anbieter
# ============================================================
User-agent: cohere-ai
Disallow: /

User-agent: cohere-training-data-crawler
Disallow: /


User-agent: Amazonbot
Disallow: /

User-agent: Bytespider
Disallow: /

User-agent: AI2Bot
Disallow: /

User-agent: Ai2Bot-Dolma
Disallow: /


User-agent: ImagesiftBot
Disallow: /

User-agent: DeepSeekBot
Disallow: /

User-agent: Diffbot
Disallow: /



User-agent: webzio-extended
Disallow: /

User-agent: ICC-Crawler
Disallow: /

User-agent: VelenPublicWebCrawler
Disallow: /


User-agent: QuillBot
Disallow: /

User-agent: Timpibot
Disallow: /

User-agent: img2dataset
Disallow: /

User-agent: omgili
Disallow: /

User-agent: omgilibot
Disallow: /

# ============================================================
# SEO-Wettbewerbsanalyse (Konkurrenz-Backlink-Tracker)
# ============================================================
User-agent: AhrefsBot
Disallow: /

User-agent: SemrushBot
Disallow: /

User-agent: MJ12bot
Disallow: /

User-agent: DotBot
Disallow: /

User-agent: BLEXBot
Disallow: /

User-agent: SeekportBot
Disallow: /

User-agent: Barkrowler
Disallow: /

User-agent: SerendeputyBot
Disallow: /

User-agent: SiteAuditBot
Disallow: /

User-agent: SplitSignalBot
Disallow: /

# ============================================================
# Generische Scraping-Frameworks
# ============================================================
User-agent: Scrapy
Disallow: /

User-agent: WebReaper
Disallow: /

User-agent: PetalBot
Disallow: /

User-agent: DataForSeoBot
Disallow: /

Sitemap: https://gartenkompass.com/sitemap.xml
Host: https://gartenkompass.com