社区 › 教程 › 通过robots.txt文件屏蔽搜索引擎蜘蛛

新程序 发表于 2025-5-27 16:22:05

通过robots.txt文件屏蔽搜索引擎蜘蛛

通过robots.txt文件屏蔽搜索引擎蜘蛛


针对特定搜索引擎
User-agent: Baiduspider
Disallow: /

User-agent: 360Spider
Disallow: /

User-agent: YisouSpider
Disallow: /屏蔽全部蜘蛛
User-agent: *
Disallow: /

查看完整版本: 通过robots.txt文件屏蔽搜索引擎蜘蛛