[已解决]请问这个数据怎么解析，有人知道吗

塞在背包里的人

想爬取2016年豆瓣书籍年度榜单中的单月热门书籍，为什么爬取结果一直为空

最佳答案

月排行榜 / 总排行榜

Twilight6

2020-6-7 20:18:05

塞在背包里的人 发表于 2020-6-7 20:13
麻烦大佬看一下

不行  网页应该被js动态渲染了  要用 selenium 试试

跳转到最佳答案楼层

liuzhengyuan

麻烦给一下网站地址……

Twilight6

。。。我发的过不了审？

Twilight6

无语，Xpath 发内容都要过审核，所以只能发图片了

塞在背包里的人

liuzhengyuan 发表于 2020-6-7 19:50
麻烦给一下网站地址……

https://book.douban.com/annual/2016?source=book_navigation
只爬取月度热门关注图书

塞在背包里的人

Twilight6 发表于 2020-6-7 20:01
无语，Xpath 发内容都要过审核，所以只能发图片了

结果还是为空呀铁汁

Twilight6

塞在背包里的人 发表于 2020-6-7 20:07
结果还是为空呀铁汁

代码拷贝发上来 你代码有问题

塞在背包里的人

Twilight6 发表于 2020-6-7 20:08
代码拷贝发上来 你代码有问题

1. import requests
   
2. from lxml import etree
   
3. url = 'https://book.douban.com/annual/2016?source=book_navigation'
   
4. headers = {
   
5.     "User-Agent": 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.122 Safari/537.36'
   
6. }
   
7. response = requests.get(url=url,headers=headers)
   
8. page_text = response.text
   
9. tree = etree.HTML(page_text)
   
10. title = tree.xpath('//ul/li/a/@title')
    
11. print(title)

复制代码

麻烦大佬看一下

xiaosi4081

塞在背包里的人 发表于 2020-6-7 20:13
麻烦大佬看一下

他那个数据不在html文件中
可能在其他文件中

Twilight6

塞在背包里的人 发表于 2020-6-7 20:13
麻烦大佬看一下

不行  网页应该被js动态渲染了  要用 selenium 试试

xiaosi4081

Twilight6 发表于 2020-6-7 20:18
不行  网页应该被js动态渲染了  要用 selenium 试试

这里看看
这里就有：
https://book.douban.com/ithil_j/activity/book_annual2016/widget/4

Twilight6

xiaosi4081 发表于 2020-6-7 20:19
这里看看
这里就有：
https://book.douban.com/ithil_j/activity/book_annual2016/widget/4

1  对

塞在背包里的人

Twilight6 发表于 2020-6-7 20:18
不行  网页应该被js动态渲染了  要用 selenium 试试

奥奥奥，我说呢

塞在背包里的人

xiaosi4081 发表于 2020-6-7 20:19
这里看看
这里就有：
https://book.douban.com/ithil_j/activity/book_annual2016/widget/4

这是什么？原网页吗

xiaosi4081

塞在背包里的人 发表于 2020-6-7 20:22
这是什么？原网页吗

是储存数据的文件，你可以去抓取那里
代码：

1. import requests
   
2. import json
   
3. import re
   
4. url = 'https://book.douban.com/ithil_j/activity/book_annual2016/widget/4'
   
5. headers = {
   
6.     "User-Agent": 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.122 Safari/537.36'
   
7. }
   
8. response = requests.get(url=url,headers=headers)
   
9. target = json.loads(response.text)
   
10. html_url = []
    
11. title = []
    
12. for i in range(0,9+1):
    
13.     html_url.append(target['res']['subjects'][i]['m_url'])
    
14.     title.append(target['res']['subjects'][i]['title'])
    
15. for each in range(0,9+1):
    
16.     print(title[each],html_url[each],sep = ':')
    
17.    
    

复制代码

---

如果帮助到你了，记得设置最佳哈