抓取股票行情网页,为何一次最多只有892支股票的数据?

用python 编写的抓取x浪网的股票行情实时数据的代码,发现一次最多只能获取892支股票的数据。查看python技术文档,python中字符串的长度是没有限割的,只受限于可用内存的大小。由此可判定,这一限制应该是x浪网股票行情列表的设定的。

x浪股票实时行情页面如下图:

抓取股票行情网页,为何一次最多只有892支股票的数据?

解析该网页内容如下图:

抓取股票行情网页,为何一次最多只有892支股票的数据?

点击兰色行即可得到该项请求地址,其中包含页面中列出的所有股票的代码(注意:程序中替代股票代码时,前面的sh或sz必须为小写字母),复制该项请求地址,以便在程序中替换所包含的股票代码。

代码截图如下:

抓取股票行情网页,为何一次最多只有892支股票的数据?

抓取股票行情网页,为何一次最多只有892支股票的数据?

抓取结果:

抓取股票行情网页,为何一次最多只有892支股票的数据?

抓取股票行情网页,为何一次最多只有892支股票的数据?

抓取网页数据不能对目标网页不间断宻集访问,肯定会被拒绝。可行的方法只能设定访问之间有足够长的时间间隔,或可从同类其他网站抓取数据,切换执行!什么时候都没有免费的午餐。

本文方法及代码仅作为个人记录,供同好交流。不得用于商业目的,亦不构成任何投资建议。