网络爬虫是固定的规则来采集网页网站数据的脚本或程序。爬虫，如果仅单纯看待它的功能，那可能显得有些微不足道。但是在现今互联网的大数据时代，如果能合理的利用爬虫与数据挖掘、分析等结合，那就显得非常有意义。

现今互联网的大数据时代，提供了很多的资源，各行各业的资源。人们可以通过互联网的贴吧/博客/视频进行学习（即UGC模式），实现线上订货订餐线下配送（即O2O模式），可以享受共享服务(例：单车/充电宝，即租凭模式)，这仅仅是互联网的时代带来的冰山一角的好处。互联网为人们的生活带来了便利，整合了资源，节约了成本，提高了效率，优化了分配。现如今互联网离不开数据，物联网离不开数据，人工智能(AI)也同样离不开数据，因为所需的资源都是以数据为支撑的，或者说资源本身就是数据。

数据才是支撑互联网发展的核心。互联网的数据都是通过日积月累组成的，人们也都知道，谁掌握了资源，谁就可以创造价值。腾讯QQ拥有了大用户资源，也为现在腾讯游戏，微博，新闻等各类业务打下了良好的基础。摩拜/OFO/滴滴/小米/华为等企业同样是为掌握用户资源而做各种营销策划。资源的范围很广泛，广到可以支撑任何企业与个人的发展。而网络爬虫在此刻就显得意义非凡，因为它可以采集到互联网大数据资源。

网络爬虫，不注重网络数据的来源，人们可以针对性的对你想要的资源类型进行分类采集，从而通过对数据的挖掘和分析来做自己想做的事情。常用的网络爬虫软件有八爪鱼/ForeSpider/WebMagic/Web Crawler/Octoparse/Content Grabber等。

以上是我对网络爬虫的浅显领悟，无论是互联网，物联网，人工智能都已经离不开我们的生活，资源就是数据，可利用的数据就能为我们实现目标和创造价值，网络爬虫也仅仅是获取数据的一种途径，只要能合理利用网络爬虫，我相信通过数据的挖掘与分析，可以采集到不一样的商业机遇。