# robots.txt for laiheshuju.com
# 最后更新日期：2023-10-27 (请根据实际情况修改)
User-agent: *
Allow: /
# 禁止抓取后台、管理、用户相关等敏感或无关区域
Disallow: /admin/
Disallow: /wp-admin/ # 如果使用WordPress
Disallow: /dashboard/
Disallow: /account/
Disallow: /user/
Disallow: /login/
Disallow: /api/ # 通常API接口无需被索引
Disallow: /private/
# 禁止抓取动态生成、参数复杂或重复内容的页面（节省爬虫配额）
Disallow: /search/ # 站内搜索结果页
Disallow: /*?* # 禁止所有带查询参数的URL（请谨慎，可能影响部分功能页）
# 更精确的参数控制示例如下（根据您的网站结构选择）：
# Disallow: /*?sort=
# Disallow: /*?page=
# Disallow: /*?from=
# 禁止抓取临时文件、日志、脚本等
Disallow: /tmp/
Disallow: /logs/
Disallow: /config/
Disallow: *.php$
Disallow: *.sql$
Disallow: *.inc$
# 为遵守规范的爬虫指明网站地图位置，极大促进文章收录
Sitemap: https://www.laiheshuju.com/sitemap
# 如果有其他格式的网站地图，可以一并列出
# Sitemap: https://www.laiheshuju.com/sitemap_index.xml
# Sitemap: https://www.laiheshuju.com/sitemap.xml
# 针对特定搜索引擎的额外规则（可选，一般不需要）
User-agent: Baiduspider
Allow: /
# 可以针对百度做一些特殊引导，例如额外指定百度专用的网站地图
# Sitemap: https://www.laiheshuju.com/baidu_sitemap.xml
User-agent: Googlebot
Allow: /
User-agent: Bingbot
Allow: /