网站robots文件怎么写？规范的robots文件写法

Robots协议

网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。Robots协议的本质是网站和搜索引擎爬虫的沟通方式，用来指导搜索引擎更好地抓取网站内容，更好的保护用户的隐私和版权信息。

Robot是什么？

Robot英文直译是机器人，在搜索引擎优化SEO中，我们经常翻译为：探测器。有时，你会碰到crawler（爬行器），spider（蜘蛛），都是探测器之一，只是叫法不同。

robots文件写法的格式与参数说明

如下图

robots文件中常用的通配符说明

robots文件写法参考