# robots.txt für https://www.sparrebell.de/
# Sparangebote Deutschland

User-agent: *
Allow: /

# Sitemap
Sitemap: https://www.sparrebell.de/sitemap.xml

# Wichtige Seiten erlauben
Allow: /index.html
Allow: /sparangebote.html
Allow: /styles.css
Allow: /sparangebote.css
Allow: /script.js
Allow: /sparangebote.js

# Private Dateien blockieren
Disallow: /scraper.js
Disallow: /merge-offers.js
Disallow: /package.json
Disallow: /.htaccess
Disallow: /.git/
Disallow: /node_modules/
Disallow: /*.backup
Disallow: /*.log

# Google Bot spezifische Regeln
User-agent: Googlebot
Allow: /
Crawl-delay: 1

# Bing Bot
User-agent: Bingbot
Allow: /
Crawl-delay: 1

# Alle anderen Bots
User-agent: *
Crawl-delay: 2