主页:
https://www.toutiao.com/c/use...
通过抓包可以得到文章列表页的网址为:
https://www.toutiao.com/c/use...
返回格式为json,结果如下:
以上的连接我是在火狐浏览器中获取的,如果在其他浏览器中打开,并不能取得数据。
请问在python中,如何高效的获取指定用户主页中的所有文章url呢?
要得到文章url的话,必须取得以下几个参数:
as、cp、max_behot_time和_signature
方案:
1.使用python实现以上几个参数的生成过程(难道较大)
2.使用selenium来加载页面(效率很慢)
3.请补充
请问还有其他的方案吗?可以高效实现