Robots协议怎么写?

艾克SEO
2022-12-14

Robots协议怎么写?艾克SEO介绍,Robots协议是网站跟爬虫间的协议,用简单直接的txt格式文本方式告诉对应的爬虫被允许的权限,在命令中可以使用*、$等通配符。


Robots协议怎么写?


通常用的Robots协议写法:

User-agent: *

Allow: /

Sitemap: https://www.ikeseo.cn/sitemap.xml

1、Allow

站长可通过Allow命令指定建议收录的文件、目录 。

2、Disallow

站长可通过Disallow命令指定不建议收录的文件、目录。

3、通配符*

通配符*指所有蜘蛛。

艾克网络科技(ikeseo.cn)是阜阳市一家专业从事网站建设、优化、推广的公司,拥有10年建站设计、seo优化推广的经验,企业建站采用专业的网站模板,利于SEO收录,操作简单,原创设计使用稳定,适合个人、企业网站开发、网站改版、企业官网及小程序制作开发、优化推广。