都说人生苦短，我用python。为了找点乐趣，不如写个爬虫？
那爬什么呢？
宇宙条是爬虫界行家，它的很多信息都是从其它网站爬来的，那就拿它练练手吧。
网上类似的文章其实不少，但是大多是很久之前的，在这期间头条已经做了改版，因此还必须自己动手。
具体原理不多说了，直接简单介绍下步骤：
1.首先，打开头条首页，搜索关键词「美景」，可以得到搜索结果页面链接为https://www.toutiao.com/search/?keyword=美景?，搜索结果如下：
image
2.同时注意到这是一个Ajax请求，因此我们需要拿到其真实的请求url，就是图中红框标出来的部分。
3.第一次发起搜索请求时，头条有一个滑块验证，这里我们就不模拟这个过程了，手动验证，拿到cookie就好，同时将自己的浏览器信息，请求参数都复制出来：
image
连续向后翻页，发现变化的参数只有offset一个，也就是偏移量。
4.观察请求结果，最关键的是article_url这个字段，根据这个链接重定向，就可以跳转到列表中每篇文章的详情页。
image
5.进入详情页，查看网页源码，可以发现图片链接都是以下图标出来的形式记录的，这就好办了，简单正则匹配一下就好
image
6.拿到图片链接，保存到本地，大功告成。
image
应该说头条相对来说做得比较简单一些，毕竟是新闻类网站，总共差不多100行代码就搞定了，不像淘宝，要爬它的数据就要困难很多。
当然了，除了爬美景，其它照片你想爬啥就怕啥，修改下搜索关键字就好了。第一次写爬虫，还有很多可以优化的地方。简单贴下代码，需要的自取，鬼晓得头条啥时候又改版了，同时欢迎大家review。
最后，祝各位大小宝宝节日快乐~~~~
更多技术文章，咱们公众号见，我在公众号里等你~
image.png
