[已解决]通过正则法则爬取网页数据问题

wangwang123

在百度爬虫的过程中，我通过html更改 （pn）https://www.baidu.com/s?wd=“搜索的内容” pn=20, 来翻页获取信息，但是我在一些网页上发现有些网页的分页不是通过pn改变的，那么怎么批量获取分页的网络信息呢？
例如：同花顺http://q.10jqka.com.cn/，里面有个股分页
希望有大佬可以帮忙解答，或者告诉我下一步该去学什么。
万分感谢~

最佳答案

月排行榜 / 总排行榜

suchocolate

2021-10-25 22:57:21

翻页这种操作要分网站的：
1）有的网站改url，如原来是：abc.com/top/  变成了 abc.com/second/
2）有的网站改url参数：如原来是 abc.com/top?pn=1 变成了 abc.com/top?pn=2
3）还有的网站要写在data中。

1. import requests
   
2. url = 'http://test.com'
   
3. data = {'page': '1'}
   
4. headers = {'user-agent': 'firefox'}
   
5. r = requests.get(url, headers=headers, data=data)
   
6. print(r.text)

复制代码

你的股票的网址用的是第1种：

1. import requests
   
2. from lxml import etree
   
3. 
   
4. 
   
5. def main():
   
6.     headers = {'user-agent': 'firefox', 'X-Requested-With': 'XMLHttpRequest'}
   
7.     for i in range(1, 10):
   
8.         url = f'http://q.10jqka.com.cn/index/index/board/all/field/zdf/order/desc/page/{i}/ajax/1/'   # 替换其中的页码编号
   
9.         r = requests.get(url, headers=headers)
   
10.         html = etree.HTML(r.text)
    
11.         result = html.xpath('//tr//text()')
    
12.         print(result)
    
13. 
    
14. 
    
15. if __name__ == '__main__':
    
16.     main()

复制代码

跳转到最佳答案楼层

suchocolate

翻页这种操作要分网站的：
1）有的网站改url，如原来是：abc.com/top/  变成了 abc.com/second/
2）有的网站改url参数：如原来是 abc.com/top?pn=1 变成了 abc.com/top?pn=2
3）还有的网站要写在data中。

1. import requests
   
2. url = 'http://test.com'
   
3. data = {'page': '1'}
   
4. headers = {'user-agent': 'firefox'}
   
5. r = requests.get(url, headers=headers, data=data)
   
6. print(r.text)

复制代码

你的股票的网址用的是第1种：

1. import requests
   
2. from lxml import etree
   
3. 
   
4. 
   
5. def main():
   
6.     headers = {'user-agent': 'firefox', 'X-Requested-With': 'XMLHttpRequest'}
   
7.     for i in range(1, 10):
   
8.         url = f'http://q.10jqka.com.cn/index/index/board/all/field/zdf/order/desc/page/{i}/ajax/1/'   # 替换其中的页码编号
   
9.         r = requests.get(url, headers=headers)
   
10.         html = etree.HTML(r.text)
    
11.         result = html.xpath('//tr//text()')
    
12.         print(result)
    
13. 
    
14. 
    
15. if __name__ == '__main__':
    
16.     main()

复制代码

wangwang123

suchocolate 发表于 2021-10-25 22:57
翻页这种操作要分网站的：
1）有的网站改url，如原来是：abc.com/top/  变成了 abc.com/second/
2）有的 ...

牛！

wangwang123

suchocolate 发表于 2021-10-25 22:57
翻页这种操作要分网站的：
1）有的网站改url，如原来是：abc.com/top/  变成了 abc.com/second/
2）有的 ...

同花顺这个url 是怎么获得的？ 我用chorme 就是不变的。。

suchocolate

wangwang123 发表于 2021-10-26 00:31
同花顺这个url 是怎么获得的？ 我用chorme 就是不变的。。

我用的firefox，f12模式，点击网络，点击下一页，url就会多出html，json等等资源加载过程，就能看到了。

wangwang123

suchocolate 发表于 2021-10-26 08:07
我用的firefox，f12模式，点击网络，点击下一页，url就会多出html，json等等资源加载过程，就能看到了。
...

太棒了！谢谢你~