很多小伙伴们在接触到互联网之后，会经常听到爬虫这个词，这是什么东西？首先它是一个可以从互联网抓取信息的程序——webcrawler，我国网友都亲切的称它为爬虫，根据给的条件不同，可以抓取不同的内容。
它是通过连接到别的网站，然后抓取相对应的内容，它跟用户正常访问有什么区别呢？用户的访问是缓慢的，但是爬虫需要抓取大量的数据，它的访问速度是非常快的。
很多人对爬虫都有误解，因为爬虫很容易跟Python联系到一起，爬虫其实还可以用Java、JS、PHP、Ruby等来编写。而Python跟爬虫连接的这么紧密主要是因为更容易使用，更容易传播，久而久之谈到爬虫，人们都会想起Python。
爬虫抓取数据，那是不是爬虫只能用于这种“偷盗”的事情呢？其实并不是，相反的，我们现在生活几乎离不开爬虫去抓取数据，下面我们举一些例子。
我们熟知的百度、谷歌、雅虎等搜索引擎都是靠着爬虫的抓取功能为基础来实现搜索的，可以说是“爬虫的窝”，他们工作的原理是页面的抓取、页面分析、页面排序、查询关键词，搜索引擎通过收集超多的页面分析他们关键词。
当用户在搜索相关词语的时候，搜索引擎会根据相关性展现给用户，想要查看你的网页是否有被收录可以site：你的网址来查看。
你知道吗？铁路总是卡是因为它每天的流量都跟双十一时期的电商平台一样，这么庞大的流量当然会卡，那么为什么会有这么大的流量呢？
这是因为爬虫在不停访问，现在很多抢票的软件就是爬虫不断在查看没有剩的票，铁道部之所以允许这些抢票软件不断的访问，是因为这些爬虫都是他们可以监控到的。