Robots协议怎么写?艾克SEO介绍,Robots协议是网站跟爬虫间的协议,用简单直接的txt格式文本方式告诉对应的爬虫被允许的权限,在命令中可以使用*、$等通配符。

通常用的Robots协议写法:
User-agent: *
Allow: /
Sitemap: https://www.ikeseo.cn/sitemap.xml
1、Allow
站长可通过Allow命令指定建议收录的文件、目录 。
2、Disallow
站长可通过Disallow命令指定不建议收录的文件、目录。
3、通配符*
通配符*指所有蜘蛛。
艾克网络科技(ikeseo.cn)是阜阳市一家专业从事网站建设、优化、推广的公司,拥有10年建站设计、seo优化推广的经验,企业建站采用专业的网站模板,利于SEO收录,操作简单,原创设计使用稳定,适合个人、企业网站开发、网站改版、企业官网及小程序制作开发、优化推广。