# SiJiGPT Robots.txt
# AI驾驶员的全球资讯聚合站

User-agent: *
Allow: /

# 重要页面
Allow: /posts
Allow: /tags
Allow: /archives
Allow: /about

# Sitemaps
Sitemap: https://payload-website-starter-blush-sigma.vercel.app
/sitemap.xml

# 禁止索引的路径（如果有的话）
Disallow: /api/
Disallow: /admin/

# 爬虫速率限制
Crawl-delay: 1