一、搜索引擎
1、什么是搜索引擎
根据一定的策略、运用特定的计算机程序从互联网上搜集信息，字啊对信息进行组织和处理后，为用户提供检索服务，将用户检索相关的信息展示给用户的系统。
2、搜索引擎发展历程
分类目录时代→整合分析时代→生态圈搜做时代
3、百度到现阶段所发布的百度算法：大家可以自行搜索了解一下
二、百度蜘蛛抓取策略
1、抓取友好性：最喜欢文字，因此网站文章的发布不能通篇都是图片，这样的文章百度蜘蛛不是很喜欢。
2、常用抓取返回码示意
200：网站可以打开
301：提权
302：暂时挑战
403：用户的网速太慢
404：网站访问路径错误
500：网站本身自己的问题
3、多种URL重定向识别
301 、302、 metarefresh 、js
4、抓取优先级
a、深度优先遍历策略，网站里所有的链接都会爬取
b.广度优先遍历策略
c.pr优先遍历策略
d.反链优先策略
e.社会化分享指导策略
5、重复URL过滤
用户点进网站首页后，域名之后有一串码，但是大家搜索一级域名时也可以进入网站首页，页面相同，URL一直在变化，因此蜘蛛为了减少工作量对重复页面，就会自动屏蔽到这个页面不会抓取信息。
6、安网数据的获取
互联网中存在着大量的搜索引擎暂时无法抓取到的数据，被称为暗网数据。