[已解决]为什么我这里一直出空列表啊？

yxx1196

求助大佬们，我这里为什么一直出空列表啊？

最佳答案

月排行榜 / 总排行榜

疾风怪盗

2020-9-20 14:46:48

1. import requests,json
   
2. 
   
3. start_url='http://yunhq.sse.com.cn:32041//v1/sh1/list/exchange/equity?select=code,name,open,high,low,last,prev_close,chg_rate,volume,amount,tradephase,change,amp_rate,cpxxsubtype,cpxxprodusta&begin={}&end={}'
   
4. headers={'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.102 Safari/537.36 Edg/85.0.564.51'}
   
5. 
   
6. for i in range(2):
   
7.     url=start_url.format(i*25,(i+1)*25)
   
8.     print(f'第{i+1}个网页的url：{url}')
   
9.     response=requests.get(url=url,headers=headers)
   
10.     html_str=response.content.decode('GB2312')
    
11.     data=json.loads(html_str)
    
12.     print(data)
    
13.     #print(data['list'][0][1])
    
14.     with open(f'data{i+1}.json','w',encoding='utf-8') as f:
    
15.         f.write(json.dumps(data))
    
16. 
    

复制代码

跳转到最佳答案楼层

liuzhengyuan

检查元素和 python 爬取到的代码是不一样的，做爬虫时，要以 python 爬取到的为准

疾风怪盗

不要光看网页上的，把你爬到的html打印出来，找找看有没有你要的元素，是否和网页一直，再爬数据

http://yunhq.sse.com.cn:32041//v1/sh1/list/exchange/equity?select=code,name,open,high,low,last,prev_close,chg_rate,volume,amount,tradephase,change,amp_rate,cpxxsubtype,cpxxprodusta&begin=0&end=25
你要的数据应该都在这个网页里，json格式

疾风怪盗

1. import requests,json
   
2. 
   
3. start_url='http://yunhq.sse.com.cn:32041//v1/sh1/list/exchange/equity?select=code,name,open,high,low,last,prev_close,chg_rate,volume,amount,tradephase,change,amp_rate,cpxxsubtype,cpxxprodusta&begin={}&end={}'
   
4. headers={'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.102 Safari/537.36 Edg/85.0.564.51'}
   
5. 
   
6. for i in range(2):
   
7.     url=start_url.format(i*25,(i+1)*25)
   
8.     print(f'第{i+1}个网页的url：{url}')
   
9.     response=requests.get(url=url,headers=headers)
   
10.     html_str=response.content.decode('GB2312')
    
11.     data=json.loads(html_str)
    
12.     print(data)
    
13.     #print(data['list'][0][1])
    
14.     with open(f'data{i+1}.json','w',encoding='utf-8') as f:
    
15.         f.write(json.dumps(data))
    
16. 
    

复制代码

yxx1196

谢谢大佬

狗宁

现在好多网页的返回数据是json类型的，不能只用etree去解析源码。爬的时候用抓包工具看一下返回值的类型，不同类型用不同方法就可以了。

疾风怪盗

yxx1196 发表于 2020-9-20 19:18
谢谢大佬

问题如果解决了，就设个最佳吧，把求助帖关了