起点小说的爬虫
本帖最后由 py大神 于 2018-2-9 23:00 编辑想写一个起点小说的排行榜爬虫，但是爬下来的网页却是一串js代码？
这是URL：https://www.qidian.com/rank
这是代码：
import urllib.request
url = "https://www.qidian.com/rank"
header = {"User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.89 Safari/537.36"}
req = urllib.request.Request(url=url,headers=header)
response = urllib.request.urlopen(url)
html = response.read().decode("utf-8")
print(html)
排行榜的内容在哪呢？ 本帖最后由 孤独的嫖客 于 2018-2-9 23:30 编辑
晚上好,朋友,其实你的这个问题已经出结果了,忘了回复.....排行榜的内容就在返回值里,
当然,我自己又把这个问题需求更新了一下,如:
如何以不同的排行榜存储各个小说??
最后也解决了这个需求,成果如下:
附:图是我另外一个朋友的图,但是研究过程是我和他一起讨论的,我这里就偷了个懒,直接拿他的图做个例子.
如想知道新需求的源码,可以加python学习小组,692858412Python基础/爬虫,一起学习讨论,内含摆渡云不限速新人福利{:7_121:}
页:
[1]