python抓取腾讯视频 (python爬取腾讯视频教程)

抓取腾讯视频的评论内容

python爬虫一键采集腾讯视频,python抓取微信聊天记录

首先我们打开腾讯视频的官网https://v.qq.com/

python爬虫一键采集腾讯视频,python抓取微信聊天记录

我们打开【电视剧】这一栏,找到一部比较精彩的电视剧爬取一下,例如:我们就爬取【下一站,别离】这部吧

我们找到这部电视剧的评论如下图:

python爬虫一键采集腾讯视频,python抓取微信聊天记录

我们看到上图标记部分【查看更多评论】

我们首先在Fiddelr中使用命令clear清除之前浏览的记录

python爬虫一键采集腾讯视频,python抓取微信聊天记录

输入命令直接回车即可

接着我们点击【查看更多评论】,此时再次看Fiddler,我们可以看到【JS】这个小图标

python爬虫一键采集腾讯视频,python抓取微信聊天记录

我们右键上图标记部分

第一次点击

接着【Copy】---【Just Url】

地址为:

https://video.coral.qq.com/varticle/2580302776/comment/v2?callback=_varticle2580302776commentv2&orinum=10&oriorder=o&pageflag=1&cursor=6392930402023585386&scorecursor=0&orirepnum=2&reporder=o&reppageflag=1&source=9&_=1524713312689

我们将此地址放到浏览器查看效果如何?

python爬虫一键采集腾讯视频,python抓取微信聊天记录

现在我们还没发现什么规律,那我们再点击一次

第二次点击

地址为:https://video.coral.qq.com/varticle/2580302776/comment/v2?callback=_varticle2580302776commentv2&orinum=10&oriorder=o&pageflag=1&cursor=6394261147223571180&scorecursor=0&orirepnum=2&reporder=o&reppageflag=1&source=9&_=1524713312690

浏览器显示

python爬虫一键采集腾讯视频,python抓取微信聊天记录

我们将上述2个地址放在word进行分析后,分析结果如下:

python爬虫一键采集腾讯视频,python抓取微信聊天记录

我们可以看到黄色标记部分没什么规律,最后红色标记是按1递增

那么我们验证下黄色标记部分是否是必须的呢?删除黄色部分放在浏览器执行,查看结果,有没有黄色部分结果一致,那么我们接下来开始代码了

python爬虫一键采集腾讯视频,python抓取微信聊天记录