[已解决]菜鸟求教如何抓取js实现的动态网页

65230215

http://www.wdzj.com/dangan/
网页如上所说。想要抓取每家平台的url，然后该网页的下一页是用js跳转实现的。所以想知道该使用哪种库来应对？
看网上的一些资料，想下载spynner，却发现这个库似乎和py3.5不兼容，安装不成功。
这两个问题向大家求教！

最佳答案

月排行榜 / 总排行榜

hldh214

2016-1-11 21:54:07

Python不擅长于动态网页的抓取, 这方面建议研究一下phantomJS

但是!!! 作为一个Pythoner, 遇到此等挫折岂能放弃!!!

使用工具: Chrome, Python3.4+PyCharm

首先对网页进行踩点分析分页原理, 发现通过jQuery的ajax实现

用Chrome自带的调试工具对ajax部分进行抓包, 发现其仅是简单的POST

知道方法了自然驾轻就熟, urllib.request+urllib.parse伺候之

返回数据是json格式的, 内容很详细, 自己提取需要的数据吧~祝楼主玩的开心!

代码:

1. import urllib.request
   
2. import urllib.parse
   
3. import json
   
4. 
   
5. POST_URL = 'http://www.wdzj.com/front_select-plat'
   
6. 
   
7. data = {
   
8.     'params': '',
   
9.     'sort': '',
   
10.     'currPage': 1,  # 想要获取的页数
    
11. }
    
12. 
    
13. data = urllib.parse.urlencode(data)
    
14. 
    
15. headers = {
    
16.     'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/47.0.2526.106 Safari/537.36',
    
17. }
    
18. 
    
19. req = urllib.request.Request(POST_URL,data.encode(),headers)
    
20. res = urllib.request.urlopen(req).read().decode()
    
21. 
    
22. res = json.loads(res)
    
23. print(res)

复制代码

跳转到最佳答案楼层

hldh214

Python不擅长于动态网页的抓取, 这方面建议研究一下phantomJS

但是!!! 作为一个Pythoner, 遇到此等挫折岂能放弃!!!

使用工具: Chrome, Python3.4+PyCharm

首先对网页进行踩点分析分页原理, 发现通过jQuery的ajax实现

用Chrome自带的调试工具对ajax部分进行抓包, 发现其仅是简单的POST

知道方法了自然驾轻就熟, urllib.request+urllib.parse伺候之

返回数据是json格式的, 内容很详细, 自己提取需要的数据吧~祝楼主玩的开心!

代码:

1. import urllib.request
   
2. import urllib.parse
   
3. import json
   
4. 
   
5. POST_URL = 'http://www.wdzj.com/front_select-plat'
   
6. 
   
7. data = {
   
8.     'params': '',
   
9.     'sort': '',
   
10.     'currPage': 1,  # 想要获取的页数
    
11. }
    
12. 
    
13. data = urllib.parse.urlencode(data)
    
14. 
    
15. headers = {
    
16.     'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/47.0.2526.106 Safari/537.36',
    
17. }
    
18. 
    
19. req = urllib.request.Request(POST_URL,data.encode(),headers)
    
20. res = urllib.request.urlopen(req).read().decode()
    
21. 
    
22. res = json.loads(res)
    
23. print(res)

复制代码

John_farmer

hldh214 发表于 2016-1-11 21:54
Python不擅长于动态网页的抓取, 这方面建议研究一下phantomJS

但是!!! 作为一个Pythoner, 遇 ...

大神现世了！能理解部分，无法理解全部，Python还要继续学习啊！！！