魔扣论坛

魔扣源码论坛业务
查看: 22|回复: 1

网站的robots.txt文本有什么用处呢?

[复制链接]
  • TA的每日心情
    奋斗
    15 小时前
  • 签到天数: 1317 天

    [LV.10]论坛老兵

    7039

    主题

    7253

    帖子

    5万

    积分

    管理员

    Rank: 30Rank: 30Rank: 30Rank: 30Rank: 30Rank: 30Rank: 30Rank: 30

    魔扣币
    213514
    贡献
    23728
    威望
    17696

    最佳新人活跃会员热心会员推广达人宣传达人突出贡献优秀版主荣誉管理论坛元老

    发表于 2019-9-11 23:53:58 | 显示全部楼层 |阅读模式
    魔扣币兑换比例:【 50以下 : ¥1 = 10 魔扣币 】丨【 50 - 100 :¥1 = 20 魔扣币】丨【 100以上:¥1 = 30 魔扣币 】
    淘宝、天猫优惠券

    本帖子中包含更多资源

    您需要 登录 才可以下载或查看,没有帐号?立即注册

    x
      站长们在做网站优化的时候,都会给网站做robots协议,什么是robots协议呢?其实说白了就是一个txt文本,那么这个txt文本有什么用处呢?今天网站源码网小编来给大家说一下。

      什么是robots协议?

      robots是网站和搜索引擎之间的一个协议。用来防止一些不想被搜索引擎索引的页面或内容的抓取,而且可以吧sitemap地图的路径放在robots协议中,这样有助于网站地图的抓取。能够有效提高网站的健康度、纯净度,降低网站垃圾内容收录

      robots协议怎么写?

      robots的常用的命令一般有:

      User-agent:*(这里的*代表的所有的搜索引擎种类,这句话表示可以让所有的搜索引擎都可以访问抓取这个网站。)

      Disallow:(这个表示禁止的意思,一些不想让搜索引擎访问的页面可以把路径写下来。)

      Allow:(这个表示允许的意思,想要搜索引擎访问页面可以把路径写下来。)

      robots协议的作用

      通过我们上面的内容,我们对robots也有了了解。当搜索引擎王文网站时,会优先访问网站的robots协议,从中来获取信息来抓取网站。那么如果没有robots协议会对网站有什么影响呢?

      1、如果没有robots,搜索引擎蜘蛛访问网站时依旧会先访问robots.txt,没有的话会返回404页面,影响虽然不大,但是也决对不好。

      2、没有robots,搜索引擎蜘蛛默认抓取所有内容。这一点影响不是很大,但是还是取决于网站的内容,如果存在很多低质量的内容,建议还是使用robots进行限制比较好。

      综合上面所说的内容,robots协议还是加上比较好,没有很麻烦,我们一般会把robots放在FTP的根目录下,有助于蜘蛛的抓取。以上就是网站源码网小编给大家所介绍的robots协议的作用了,先要了解更多网站优化的知识,就持续关注我们吧。

    会员购买:>> 点击购买 << | 魔扣币购买:>> 点击购买 <<
    承接业务:服务器代维丨网站托管丨SEO
    联系客服:微信:morko-net | QQ:1367681973

    该用户从未签到

    0

    主题

    183

    帖子

    366

    积分

    中级魔扣

    Rank: 3Rank: 3

    魔扣币
    183
    贡献
    183
    威望
    0
    发表于 2019-9-12 09:04:33 | 显示全部楼层
    是网络空间让我们相识,空间有你而多彩,空间里淡淡的祝福来自朋友真诚的心,我愿天下最美好的事都属于你,魔扣源码论坛幸福快乐时光永远陪伴随着你。
    您需要登录后才可以回帖 登录 | 立即注册

    本版积分规则

    • 联系我们
    • 新浪微博 :
    • 在线客服 :魔扣科技 
    • 源码QQ群 :魔扣源码论坛官方总群
    • 联系邮箱 :charlin#morko.net
    • 微信扫一扫
    快速回复 返回顶部 返回列表