[已解决]起点小说的爬虫

py大神

想写一个起点小说的排行榜爬虫，但是爬下来的网页却是一串js代码？




这是URL：https://www.qidian.com/rank



这是代码：

1. import urllib.request
   
2. 
   
3. 
   
4. url = "https://www.qidian.com/rank"
   
5. 
   
6. 
   
7. header = {"User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.89 Safari/537.36"}
   
8. 
   
9. req = urllib.request.Request(url=url,headers=header)
   
10. 
    
11. response = urllib.request.urlopen(url)
    
12. 
    
13. html = response.read().decode("utf-8")
    
14. 
    
15. print(html)

复制代码

排行榜的内容在哪呢？

最佳答案

月排行榜 / 总排行榜

孤独的嫖客

2018-2-7 23:38:06

晚上好,朋友,其实你的这个问题已经出结果了,忘了回复.....排行榜的内容就在返回值里,

当然,我自己又把这个问题需求更新了一下,如:
如何以不同的排行榜存储各个小说??
最后也解决了这个需求,成果如下:

附:图是我另外一个朋友的图,但是研究过程是我和他一起讨论的,我这里就偷了个懒,直接拿他的图做个例子.
如想知道新需求的源码,可以加python学习小组,692858412Python基础/爬虫,一起学习讨论,内含摆渡云不限速新人福利

跳转到最佳答案楼层

孤独的嫖客

晚上好,朋友,其实你的这个问题已经出结果了,忘了回复.....排行榜的内容就在返回值里,

当然,我自己又把这个问题需求更新了一下,如:
如何以不同的排行榜存储各个小说??
最后也解决了这个需求,成果如下:

附:图是我另外一个朋友的图,但是研究过程是我和他一起讨论的,我这里就偷了个懒,直接拿他的图做个例子.
如想知道新需求的源码,可以加python学习小组,692858412Python基础/爬虫,一起学习讨论,内含摆渡云不限速新人福利