# robots.txt PRO untuk https://benslighthousefund.org/
# Tipe website : HTML Static
# Update : 2026
# Fokus : SEO, Crawl Efisien, Google Friendly

# ======================================
# Aturan umum untuk semua bot
# ======================================
User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /cache/
Disallow: /logs/
Disallow: /backup/
Disallow: /old/
Disallow: /test/
Disallow: /private/

# Blok parameter & file tidak penting
Disallow: /*?*
Disallow: /*.php$
Disallow: /*.json$
Disallow: /*.xml$
Disallow: /*.txt$

# Izinkan semua halaman HTML utama
Allow: /*.html$
Allow: /

# ======================================
# Googlebot (prioritas utama)
# ======================================
User-agent: Googlebot
Allow: /
Crawl-delay: 1

# ======================================
# Bing & Yahoo
# ======================================
User-agent: Bingbot
Crawl-delay: 2

User-agent: Slurp
Crawl-delay: 2

# ======================================
# Sitemap (WAJIB)
# ======================================
Sitemap: https://benslighthousefund.org/sitemap.xml