1、什么是爬虫？
网络爬虫也叫网络蜘蛛，如果把互联网比喻成一个蜘蛛网，那么爬虫就是在网上爬来爬去的蜘蛛，爬虫程序通过请求url地址，根据响应的内容进行解析采集数据。 比如：如果响应内容是html，分析dom结构，进行dom解析、或者正则匹配，如果响应内容是xml/json数据，就可以转数据对象，然后对数据进行解析。
2、爬虫有什么作用？
通过有效的爬虫手段批量采集数据，可以降低人工成本，提高有效数据量，给予运营/销售的数据支撑，加快产品发展。
目前互联网产品竞争激烈，业界大部分都会使用爬虫技术对竞品产品的数据进行挖掘、采集、大数据分析，这是必备手段，并且很多公司都设立了爬虫工程师的岗位。
3、爬虫可以用来干什么？
用爬虫最大的好处是批量且自动化得获取和处理信息。用实际生活应用举例更加直观：
1、获得各个机场的实时流量
2、获得热点城市的火车票情况
3、各种热门公司招聘中的职位数及月薪分布
4、某公司的门店变化情况
5、对某一类金融产品的检测和跟踪
6、对某车型用户数变化情况的跟踪
7、对某个App的*载下**量跟踪
4、爬虫工程师薪资前景如何？
拉勾网上，对一个1年经验的爬虫工程师，无论是北上广深四大一线城市，还是杭州、武汉等二线城市，给出的薪资都相当可观：
