• 引言

之前在授课过程中，好多同学都问过我这样的一个问题：为什么要学习爬虫，学习爬虫能够为我们以后的发展带来哪些好处？其实学习爬虫的原因和为我们以后发展带来的好处都是显而易见的，无论是从实际的应用还是从就业上。

我们都知道，当下我们所处的时代是大数据的时代，在大数据时代，要进行数据分析，首先要有数据源，而学习爬虫，可以让我们获取更多的数据源，并且这些数据源可以按我们的目的进行采集。抓取互联网上的数据，为我所用，有了大量的数据，就如同有了一个数据银行一样，下一步做的就是如何将这些爬取的数据产品化，商业化。

下述两个案例（优酷和今日头条）可有可无

优酷推出的火星情报局就是基于网络爬虫和数据分析制作完成的。其中每期的节目话题都是从相关热门的互动平台中进行相关数据的爬取，然后对爬取到的数据进行数据分析而得来的。另一方面，优酷根据用户实时观看视频时的前进，后退等行为数据，能够推测计算出观众的兴趣点和爱好点，这样有助于节目的剪辑和后期的节目方案的编写。

今日头条作为一个新闻推荐类的应用，其内部的新闻数据都是通过爬虫程序在各个新闻网站进行新闻数据的爬取，然后通过相应的处理和运算将用户感兴趣的新闻话题推送到用户的手机上。

从就业的角度来说，爬虫工程师目前来说属于紧缺人才，并且薪资待遇普遍较高所以，深层次地掌握这门技术，对于就业来说，是非常有利的。有些人学习爬虫可能为了就业或者跳槽。从这个角度来说，爬虫工程师是不错的选择之一。随着大数据时代的来临，爬虫技术的应用将越来越广泛，在未来会拥有更好的发展空间。

• 爬虫工程师的职业素养

前戏铺垫这么多，为了就是让大家感觉起来不是太生硬，前戏结束，下面我们步入正题。如果你想将爬虫做为你变身高富帅的利器，则你必须要知道这把利器如何合法的使用，毕竟我不想让大家使用不善而进局子。此时我默默将昨天用过的牙签吊在嘴里，深吸了一口想起了前段时间在朝阳法院判决的一起因为爬虫侵权的一宗刑事案件。这个事情确实有些让程序猿毛骨悚然，只是简单的写了几行爬虫代码而已，却莫名其妙的进了局子，不知道还以为我们程序员是做军火生意的。但是我必须要声明的一点就是：爬虫作为一种计算机技术就决定了它的中立性，因此爬虫本身在法律上并不被禁止，但是利用爬虫技术获取数据这一行为是具有违法甚至是犯罪的风险的。

爬虫带来的风险主要体现在如下两个方面：

1. 爬虫干扰了被访问网站的正常运营
2. 爬虫抓取了受到法律保护的特定类型的数据或信息

那么，我们作为爬虫的开发者，如何在使用时避免进局子的厄运呢？

1. 严格遵守网站设置的robots协议
2. 在规避反爬虫措施的同时，需要优化自己的代码，避免干扰被访问网站的正常运行
3. 在使用、传播抓取到的信息时，应审查所抓取的内容，如发现属于用户的个人信息、隐私或者他人的商业秘密的，应及时停止并删除

可以说在我们身边的网络上已经密密麻麻爬满了各种网络爬虫，它们善恶不同，各怀心思。而越是每个人切身利益所在的地方，就越是爬满了爬虫。所以爬虫是趋利的，它们永远会向有利益的地方爬行。技术本身是无罪的，问题往往出在人无限的欲望上。因此爬虫开发者的道德自持和企业经营者的良知才是避免触碰法律底线的根本所在。

• 爬虫如何学习？

如果你是一个刚刚接触python不久的小白或者是一个还不知道python是什么的小白，那么学习爬虫的独家秘笈请你摆好姿势准备接收吧！

1. 你需要有纵览各种不同类型网站的经验（Sure，you do！）
2. 你需要掌握前端相关的技能，比如，html,js,jQuery,css,毕竟我们爬取的内容大部分都是显示在前端页面中的。
3. 你需要掌握Python基础的语法结构和特性。

上述三点是为了更好的学习掌握爬虫技能的必备基础，缺一不可！那么在爬虫领域中我们究竟要学习哪些内容呢？

1. 基于网络请求的模块，推荐大家主要学习requests模块，在掌握requests模块之后可扩展性的对urllib和aiohttp这两个模块展开学习。
2. 基于数据解析的模块，主要包括bs4、re、lxml和pyquery。数据解析主要是为了可以实现聚焦爬虫，公司业务的80%以上的需求都是需要使用聚焦爬虫来实现的
3. 基于移动端数据的爬取，主要需要掌握相关抓包工具的使用，推荐大家使用fiddler和miteproxy这两款抓包工具。
4. 基于浏览器自动化实现的动态数据抓取模块，推荐大家学习selenium。在对协程和异步操作掌握的前提下可以尝试学习使用pyppeteer。
5. 基于数据库操作模块，毕竟爬取到的数据需要进行持久化存储，通常情况下会将数据写入mysql、MongoDB和redis中。
6. 基于数据清洗模块，对于爬取到的数据，爬虫开发人员会对其进行初步的数据清洗，将数据中的空值，异常值等进行清洗过滤。
7. 基于爬虫框架的学习，推荐学习使用的爬虫框架为scrapy。Scrapy结合着scrapy-redis也可以便捷的实现分布式爬虫。
8. 作为升级技能，大家也可以拓展性的学习相关提升爬虫爬取的效率和性能的相关操作技能，例如线程池，多任务异步协程等。

各位，如果按照上述路线进行爬虫的学习，那么在你成为一名合格且优秀的爬虫开发工程师的路上必将一帆风顺！