一、什么是网络爬虫？

     网络爬虫（又称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。”

     网络爬虫技术作为采集大数据的主要方式之一和重要的大数据信息来源，已经被广泛并成熟地应用于各种互联网商业模式和使用场景，例如：电商、媒体、票务、互联网金融等。

     1、电商：我们采集的数据信息主要为商品信息数据、商品评论信息数据、区域库存价格数据、电商舆情数据等。

     2、媒体：采集主要信息为综合论坛、新闻门户、知识问答、自媒体网站、社交平台等网络媒体上的相关舆情信息。

     3、票务：包含日期、航空公司、航班号、经济舱价格、经济舱折扣、公务舱价格、公务舱折扣、税费、附加费、机 型、起飞城市三字码、到达城市三字码、起飞时间等所有相关信息。

     4、金融：采集主要的信息为公开的客户信息、投融资信息、金融舆情信息、市场数据、公开的财务报表、股票、基金、利率等信息。

     基于不同的使用场景，网络爬虫可以分为专用爬虫和通用爬虫：

     专用爬虫为爬取特定范围的网页而设计，使用者可以设置一个爬取的主题或范围，通过图像识别、机器学习等技术的帮助，爬取互联网上的特定内容；

     通用爬虫主要应用于搜索引擎服务，其主要工作是无特定目标随机地抓取海量网页内容并下载到本地，储存为镜像快照并识别网页文字关键词。       二、什么是大数据？

     大数据（big data），IT行业术语，是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据的五大特征：1、大量；2、高速；3、多样；4、低价值密度；5、真实性。”

     大数据的5V特点（IBM提出）：Volume（大量）、Velocity（高速）、Variety（多样）、Value（低价值密度）、Veracity（真实性）。

     大数据最核心的价值就是在于对于海量数据进行存储和分析；大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。换而言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。

     大数据可以实现的应用可以概括为两个方向，一个是精准化定制，第二个是预测。比如像通过搜索引擎搜索同样的内容，每个人的结果却是大不相同的。再比如精准营销、百度的推广、淘宝的喜欢推荐，或者你到了一个地方，自动给你推荐周边的消费设施等等。

     三、网络爬虫与大数据的联系

     网络爬虫爬取的数据是大数据企业数据分析的重要源头之一，例如：一些大数据分析企业开发的“购物平台大数据分析软件”会借助爬虫技术大量收集购物平台的信息，如买家关键词搜索热度、某关键词引向的成交量、某关键词产品的定价分布等等，当收集到足够多的原始信息样本后，再借助大数据分析技术，向其客户提供商品流行趋势、定价策略的分析；一些信用调查公司也是运用网络爬虫技术，从渺如烟海的互联网信息中识别并抓取特定主体的信用相关信息，进而通过对大数据的分析，相应得出信用结论。