|
|
百度蜘蛛是百度公司自主开发的一个程序，它类似于爬虫一样将整个互联网爬行了一遍收录有效并且能满足用户的需求的高质量的网页，从而呈现在网名搜索结果中，百度蜘蛛从每一个网页的某个链接爬到另一个链接通过百度蜘蛛下载回来的网页放到补充数据区，通过各种程序计算过后才放到检索区，才会形成稳定的排名。
所以说只要下载回来的东西都可以通过指令找到，补充数据是不稳定的，有可能在各种计算的过程中给k掉，检索区的数据排名是相对比较稳定的，百度目前是缓存机制和补充数据相结合的，正在向补充数据转变，这也是目 前百度收录困难的原因，也是很多站点今天给k了明天又放出来的原因。
百度蜘蛛在从首页登陆后抓取首页后调度会计算其中所有的连接，返回给百度蜘蛛进行下一步的抓取连接列表，百度蜘蛛再进行下一步的抓取，链接地址的作用是为了给百度蜘蛛提供一个抓取的方向，来左右百度蜘蛛去抓取重要页面，如何让百度蜘蛛知道那个页面是重要页面?可以通过连接的构建来达到这个目的，越多的页面指向该页，网址首页的指向，副页面的指向等等都能提高该页的权重，链接地址的另外一个作用是给百度蜘蛛提供更多的连接来达到抓去更多页面的目的，链接地址其实就是一个连接的列表提供给百度蜘蛛，来计算你的目录结构，找到通过站内连接来构建的重要页面。
|
|
发表于 2019-1-28 21:26
发表于 2019-2-16 14:58