互联网是个敞开自在的渠道，每天有很多用户在网页上发布很多的内容。搜索引擎需求做的第步是要顺着网页中的链接抓取有用、新的信息。百度蜘蛛会通过深度抓取和广度抓取两种方法来抓去咱们的网站。深度抓取是蜘蛛跟从个链接不断的向其下级链接抓取，直无链接可循。
广度抓取是蜘蛛抓取的时分是在同层级大将切的链接抓取完成后才开端下层级的链接抓取。百度蜘蛛现在对文字抓取的功能强大，对含有图片和js作用的代码抓取晦气，因而咱们的网站上如有图片的当地应加上alt标签来投合搜索引擎的抓取习气。
每天搜索引擎都会抓取和匍匐很多的页面，假如将匍匐过的页面均存入数据库中势必会导致数据凌乱且无质量，因而在蜘蛛将匍匐到的页面存入索引库前还需做项过滤作业。蜘蛛会将内容质量低，用户体会欠好的网页过滤掉，保存高质量的网页存入索引库中。
那么怎么才干下降被搜索引擎蜘蛛过滤掉的危险呢？重要的是网页内容契合用户的需求，是用户所喜爱和附和的网页。说白了，其实搜索引擎蜘蛛对网站而言也仅仅个般的访问者罢了，对用户友爱既是对搜索引擎友爱。
搜索引擎在过滤作业完成后，会将剩余的网页按内容质量排序存入索引库中。高质量的页面放入重要的索引库中，会优先被展示和引荐出来，相反，低质量的网页只能存放在般库中，尽管被录入了，但展示在用户面前的几率是极低的。所以咱们平常的关注点不该该是蜘蛛抓取了多少页面，而是有多少优质的录入量。