爬虫实战 - 豆瓣图书Top 250 （xpath方法演练）

payton24

豆瓣的资料还是挺多的，继续爬。上一篇用copy xpath的路径比较靠谱，这次继续用。
这次爬豆瓣图书Top250。

爬取网址：https://book.douban.com/top250
爬取信息：书名、书名链接，评价、评价人数、一句话点评

先爬书名，一下子掉进了坑，原来是chrome、Firefox等浏览器为了对html文本进行规范化，在table标签下添加了tbody。
使用【查看网页源代码】和【审查】来进行比较，就能清楚看到上述结果。
于是，果断去掉table后面的/tbody。

1. 原xpath路径：    //*[@id="content"]/div/div[1]/div/table[1]/tbody/tr/td[2]/div[1]/a
   
2. 替换xpath路径：//*[@id="content"]/div/div[1]/div/table[1]/tr/td[2]/div[1]/a

复制代码

①第一本图书信息的代码为:

1. import requests
   
2. from lxml import etree
   
3. 
   
4. url = 'https://book.douban.com/top250'
   
5. r = requests.get(url)
   
6. #print(r.status_code)
   
7. selector = etree.HTML(r.text)
   
8. 
   
9. # book_name = selector.xpath('//*[@id="content"]/div/div[1]/div/table[1]/tbody/tr/td[2]/div[1]/a/text()')
   
10. book_name = selector.xpath('//*[@id="content"]/div/div[1]/div/table[1]/tr/td[2]/div[1]/a/@title')
    
11. rating = selector.xpath('//*[@id="content"]/div/div[1]/div/table[1]/tr/td[2]/div[2]/span[2]/text()')
    
12. rating_num = selector.xpath('//*[@id="content"]/div/div[1]/div/table[1]/tr/td[2]/div[2]/span[3]/text()')
    
13. comment = selector.xpath('//*[@id="content"]/div/div[1]/div/table[1]/tr/td[2]/p[2]/span/text()')
    
14. book_link = selector.xpath('//*[@id="content"]/div/div[1]/div/table[1]/tr/td[2]/div[1]/a/@href')
    
15. 
    
16. print(book_name , rating, rating_num, comment, book_link)

复制代码

要爬取多本图书的信息，只需列出多本图书的xpath信息进行观察，结果发现table序号不断增加，以书名为例：
//*[@id="content"]/div/div[1]/div/table[1]/tr/td[2]/div[1]/a
//*[@id="content"]/div/div[1]/div/table[2]/tr/td[2]/div[1]/a
//*[@id="content"]/div/div[1]/div/table[3]/tr/td[2]/div[1]/a
//*[@id="content"]/div/div[1]/div/table[4]/tr/td[2]/div[1]/a

②所以获取多本图书书名的xpath路径为：
//*[@id="content"]/div/div[1]/div/table/tr/td[2]/div[1]/a

整理后的代码为：

1. import requests
   
2. from lxml import etree
   
3. 
   
4. url = 'https://book.douban.com/top250'
   
5. r = requests.get(url)
   
6. #print(r.status_code)
   
7. selector = etree.HTML(r.text)
   
8. 
   
9. book_names = selector.xpath('//*[@id="content"]/div/div[1]/div/table/tr/td[2]/div[1]/a/@title')
   
10. ratings = selector.xpath('//*[@id="content"]/div/div[1]/div/table/tr/td[2]/div[2]/span[2]/text()')
    
11. rating_nums = selector.xpath('//*[@id="content"]/div/div[1]/div/table/tr/td[2]/div[2]/span[3]/text()')
    
12. comments = selector.xpath('//*[@id="content"]/div/div[1]/div/table/tr/td[2]/p[2]/span/text()')
    
13. book_links = selector.xpath('//*[@id="content"]/div/div[1]/div/table/tr/td[2]/div[1]/a/@href')
    
14. 
    
15. print(book_names , ratings, rating_nums, comments, book_links)

复制代码

③另外，上述获取书名、链接的xpath路径有重叠，所以实际操作往往先提取前面重复部分，并将列表中的内容提取出来处理。

1. books = selector.xpath('//*[@id="content"]/div/div[1]/div/table/tr/td[2]')
   
2. for book in books:
   
3.     book_name = book.xpath('./div[1]/a/@title')[0]   
   
4.     rating = book.xpath('./div[2]/span[2]/text()')[0]
   
5.     rating_num = book.xpath('./div[2]/span[3]/text()')[0].strip('()\n ')  #去除包含"(",")","\n"," "的首尾字符
   
6.     comment = book.xpath('./p[2]/span/text()')[0]
   
7.     book_link = book.xpath('./div[1]/a/@href')[0]
   
8.     print(book_name ,rating, rating_num,comment, book_link)

复制代码

④多页面信息爬取，观察页面规律：

1. https://book.douban.com/top250?start=0
   
2. https://book.douban.com/top250?start=25
   
3. https://book.douban.com/top250?start=50
   
4. https://book.douban.com/top250?start=75

复制代码

很明显，每页最后的数字从0开始，依次递增25，所以可构造一个url列表：

1. urls = ['https://book.douban.com/top250?start={}'.format(i * 25) for i in range(10)]

复制代码

⑤附上全部代码，由于某些书不存在评论，故而使用了try语句：

1. import requests
   
2. from lxml import etree
   
3. import time
   
4. 
   
5. urls = ['https://book.douban.com/top250?start={}'.format(i * 25) for i in range(10)]
   
6. for url in urls:
   
7.     r = requests.get(url)
   
8.     selector = etree.HTML(r.text)
   
9.    
   
10.     books = selector.xpath('//*[@id="content"]/div/div[1]/div/table/tr/td[2]')
    
11.     for book in books:
    
12.         book_name = book.xpath('./div[1]/a/@title')[0]   
    
13.         rating = book.xpath('./div[2]/span[2]/text()')[0]
    
14.         rating_num = book.xpath('./div[2]/span[3]/text()')[0].strip('()\n ')  #去除包含"(",")","\n"," "的首尾字符
    
15.         try:
    
16.             comment = book.xpath('./p[2]/span/text()')[0]
    
17.         except:
    
18.             comment = ""
    
19.         book_link = book.xpath('./div[1]/a/@href')[0]
    
20.         print(book_name ,rating, rating_num,comment, book_link)
    
21.         
    
22.     time.sleep(3)

复制代码

像番茄加两个蛋

感谢分享

payton24

谢谢帮顶，哈哈