[已解决]爬虫爬取，摔死了

Qking

最近学习了小甲鱼的爬虫教学，但是第一次怕就失败了。。。代码如下：

1. 
   
2. import re
   
3. import urllib.request
   
4. from bs4 import BeautifulSoup
   
5. 
   
6. def main():
   
7.     url = "http://data.eastmoney.com/executive/gdzjc-jzc.html"
   
8.     response = urllib.request.urlopen(url)
   
9.     html = response.read().decode("utf-8")
   
10.     soup = BeautifulSoup(html, "html.parser")
    
11.     p = r'<td><a.?href=".*">(.*)</a></td>'
    
12.     data = re.findall(p,html)
    
13.     for each in data:
    
14.         print(each)
    
15. 
    
16. if __name__=='__main__':
    
17.     main()
    

复制代码

我想爬取这293个页面的数据，并打印出来，结果发现自己和自己想的差太多了，大佬们给点帮助，

最佳答案

月排行榜 / 总排行榜

ba21

2018-5-4 18:16:48

selenium+phantomjs模拟浏览器 绝对可以。
相关资料，百度

跳转到最佳答案楼层

gopythoner

第8行改成html = response.read().decode("gb2312")就不会报错了，编码并不是都是UTF-8，你要自己看网页的编码
然后，你还是得不到结果，因为你后续提取信息的方式提取到的是空的，这个就要靠你自己慢慢查看怎么提取到自己要的信息了

chakyam

gopythoner 发表于 2018-5-4 18:02
第8行改成html = response.read().decode("gb2312")就不会报错了，编码并不是都是UTF-8，你要自己看网页的 ...

因为是用js加载出来的

gopythoner

你要找的信息应该在这http://data.eastmoney.com/DataCe ... me=&rt=50847608

ba21

selenium+phantomjs模拟浏览器 绝对可以。
相关资料，百度