当前位置:聪少自媒体网 > 今日头条 > 正文

Java写爬虫爬取今日头条推荐文章和头条号文章

2020-10-05 今日头条 聪少自媒体

闲来无事,写了个爬虫爬取今日头条的文章信息,然后使用ECharts展示出统计结果。

那么怎样爬取今日头条的信息呢?

首先,分析头条页面,文章是通过ajax获取的,所以要找到调用的url,然后跟踪代码查看url所需的参数,然后使用Java拼装成调用的url即可获得返回的json数据。

上图为ajax调用的url地址,接下来就是拼接所需的参数

参数拼接完成后即可调用接收返回的json,然后从json中提取你需要的数据。将数据存入库,然后使用ECharts将统计结果以图表形式展现。

演示地址:www.weare.net.cn/toutiao.html

源码地址:https://git.oschina.net/xiaozhangbadao/TodayTopSplider

如有问题,请留言联系

聪少爱学堂聪少
聪少爱学堂创始人,梅州市鹏鑫网络科技有限公司CEO,09年开始踏入互联网,10年互联网行业经验,资深自媒体人,自媒体优秀导师,咪挺微商团对营销引流顾问,业务包含:精准引流技术/代引流精准粉,专业小红书,知乎,微博代运营。
  • 38988文章总数
  • 1491135访问次数
  • 建站天数
  • 合作伙伴