站点地图与robots文件是什么？

魔扣科技 · 发表于 2020-4-9 22:24:45

本帖子中包含更多资源

您需要登录才可以下载或查看，没有账号？立即注册

x

一个标准完整的网站上，基本都会配备上站点地图、robots文件之类的，它们的功能都是为了更好的让搜索引擎抓取网站内容，提升网站的抓取速度，那么，站点地图以及robots文件到底是什么呢？

一、站点地图是什么？

站点地图是一种可以为百度蜘蛛爬行网站时指示出信息资源方位并具有导航功能的一个工具，将网站中的关键信息以可视化展现在搜索引擎面前，一般关键信息分为信息获取、信息检索、信息表示以及信息关联这四个方面，就是将这些内容以一种类似于地图的形式，将网站的信息罗列出来并附带上对应的链接，为用户与百度抓取蜘蛛提供网站的主体信息以及准确信息入口的工具，所以被通俗称之为站点地图。

站点地图的特点：

1.可视化

网站地图的可视化是它非常突出的一个特点，虽然我们常见的网站地图内容都是以文字表达的，但是它是以一个地图的展现形式出现的，可以清晰明了的表达出各个页面之前的关系。

2.快速

当用户点击开站点地图之后，可以使用户对网站的信息一目了然，并且在站点地图中所有对应的文字都会配上对应的链接，使用户可以点击链接从而进入自己想要进的栏目，使用户更加精准的找到自己想要的信息。

3.同步实时更新

站点地图有这么一个功能，就是会跟随网站上的内容信息，实时进行一个地图更新，它随着网站变动而变动，与网站上整体内容保持一致，使用户在站点地图中随时获得最新网站信息。

二、robots是什么？

Robots协议也可以称呼它为爬虫协议或者机器人协议，这里要注意的是，robots协议可不是一个指令，而是一个txt文本，robots.txt是百度搜索蜘蛛来到网站时第一个需要查看的文件,蜘蛛将根据robots.txt文件来判断网站上哪些内容可以抓取，哪些内容是不允许被抓取的。

robots.txt的作用：

在对网站进行优化的时候，我们都会使用robots.txt文件来把网站上哪些想要被搜索引擎抓取或者不想被搜索引擎抓取，通过robots文件来表达给百度蜘蛛，百度蜘蛛也会根据robots文件来进行爬行抓取网站。