# =============================================
# 网站 robots.txt 文件
# 生成时间：2025-12-03
# 目的：限制AI蜘蛛访问频率，保护服务器资源
# =============================================

# 360Spider (360) - 访问频率较高，限制较严格
User-agent: 360Spider
Crawl-delay: 2  # 设置2秒抓取延迟，降低访问频率
Disallow: /mmuid/    # 禁止访问mmuid接口
Disallow: /IsLogin/   # 禁止访问IsLogin接口
Disallow: /HitsAction/ # 禁止访问点击率页面

# Bytespider (字节跳动爬虫) - 访问频率较高，限制较严格
User-agent: Bytespider
Crawl-delay: 5  # 设置5秒抓取延迟，降低访问频率
Disallow: /mmuid/    # 禁止访问mmuid接口
Disallow: /IsLogin/   # 禁止访问IsLogin接口
Disallow: /HitsAction/ # 禁止访问点击率页面

# BLEXBot (不明AI爬虫) - 限制访问频率
User-agent: BLEXBot
Crawl-delay: 5  # 设置5秒抓取延迟，降低访问频率
Disallow: /mmuid/    # 禁止访问mmuid接口
Disallow: /IsLogin/   # 禁止访问IsLogin接口
Disallow: /HitsAction/ # 禁止访问点击率页面

# bingbot (微软必应爬虫) - 相对友好，限制较少
User-agent: bingbot
Crawl-delay: 2  # 设置5秒抓取延迟，降低访问频率
Disallow: /mmuid/    # 禁止访问mmuid接口
Disallow: /IsLogin/   # 禁止访问IsLogin接口
Disallow: /HitsAction/ # 禁止访问点击率页面

# YisouSpider (一搜爬虫) - 访问频繁，严格限制
User-agent: YisouSpider
Crawl-delay: 3  # 设置10秒抓取延迟，降低访问频率
Disallow: /mmuid/    # 禁止访问mmuid接口
Disallow: /IsLogin/   # 禁止访问IsLogin接口
Disallow: /HitsAction/ # 禁止访问点击率页面

# SemrushBot (SEO分析爬虫) - 访问量很大，严格限制
User-agent: SemrushBot
Crawl-delay: 6  # 设置10秒抓取延迟，降低访问频率
Disallow: /mmuid/    # 禁止访问mmuid接口
Disallow: /IsLogin/   # 禁止访问IsLogin接口
Disallow: /HitsAction/ # 禁止访问点击率页面

# ChatGPT相关爬虫 - 限制访问频率
User-agent: ChatGPT-User
Crawl-delay: 5  # 设置5秒抓取延迟，降低访问频率
Disallow: /mmuid/    # 禁止访问mmuid接口
Disallow: /IsLogin/   # 禁止访问IsLogin接口
Disallow: /HitsAction/ # 禁止访问点击率页面

User-agent: GPTBot
Crawl-delay: 5  # 设置5秒抓取延迟，降低访问频率
Disallow: /mmuid/    # 禁止访问mmuid接口
Disallow: /IsLogin/   # 禁止访问IsLogin接口
Disallow: /HitsAction/ # 禁止访问点击率页面

# Common Crawl (通用爬虫) - 适度限制
User-agent: CCBot
Crawl-delay: 5  # 设置5秒抓取延迟，降低访问频率
Disallow: /mmuid/    # 禁止访问mmuid接口
Disallow: /IsLogin/   # 禁止访问IsLogin接口
Disallow: /HitsAction/ # 禁止访问点击率页面

# =============================================
# 默认规则 - 适用于所有其他爬虫 暂时取消
# =============================================
# User-agent: *
# Crawl-delay: 2     # 默认2秒抓取延迟，友好但不过分
# Allow: /           # 允许抓取根目录
# Disallow: /admin/    # 禁止管理后台
# Disallow: /private/  # 禁止私有目录
# Disallow: /tmp/      # 禁止临时文件
# Disallow: /logs/     # 禁止日志文件
# Disallow: /config/   # 禁止配置文件
# Disallow: /*.sql$    # 禁止访问SQL文件
# Disallow: /*.log$    # 禁止访问日志文件