scrapy报错

人生立

1. import scrapy
   
2. 
   
3. 
   
4. class BpictureSpider(scrapy.Spider):
   
5.     name = 'bpicture'
   
6.     allowed_domains = ['www.qiushibaike.com']
   
7.     start_urls = ['https://www.qiushibaike.com/text/']
   
8. 
   
9.     def parse(self, response):
   
10.         #解析
    
11.         div_list = response.xpath('//*[@class="col1 old-style-col1"]/div/div[2]')
    
12.         for div in div_list:
    
13.             author = div.xpath('./div[1]/a[2]/h2/text()')[0].extract()
    
14. 
    
15.             content = div.xpath('./a/div/span//text()').extract_first()
    
16.             content = ''.join(content)
    
17. 
    
18.             print(author, content)
    
19.             break
    

复制代码

错误结果如图：
尝试过将list[0].extract()改成list().extract_first()  还是一样的结果

冬雪雪冬

在15行后面加上print(content),看看content的内容，错误的提示是只能join可迭代的对象。

人生立

冬雪雪冬 发表于 2021-8-31 15:40
在15行后面加上print(content),看看content的内容，错误的提示是只能join可迭代的对象。

1. import scrapy
   
2. 
   
3. 
   
4. class BpictureSpider(scrapy.Spider):
   
5.     name = 'bpicture'
   
6.     allowed_domains = ['www.xxx.com']
   
7.     start_urls = ['https://www.qiushibaike.com/text/']
   
8. 
   
9.     def parse(self, response):
   
10.         #解析
    
11.         div_list = response.xpath('//*[@class="col1 old-style-col1"]/div')
    
12.         #response.xpath('//div[@class="col1 old-style-col1"]')
    
13.         for div in div_list:
    
14.             author = div.xpath('./div[1]/a[2]/h2/text()').extract_first()
    
15. 
    
16.             content = div.xpath('./a/div/span//text()').extract()
    
17.             print(content)
    
18.             content = ''.join(content)
    
19. 
    
20.             print(author, content)
    
21.             break
    

复制代码

我先将author和content的extract改成了现在的样子，返回的结果是None
然后我有将div_list的路径修改呈现在的样子，成功了

冬雪雪冬

我scrapy用的很少，用bs写了一个供参考。

1. import requests
   
2. from bs4 import BeautifulSoup
   
3. headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.131 Safari/537.36"}
   
4. res = requests.get('https://www.qiushibaike.com/text/', headers = headers)
   
5. soup = BeautifulSoup(res.text, 'html.parser')
   
6. targets = soup.find_all('div', class_ = 'content')
   
7. for each in targets:
   
8.     print(each.span.text)

复制代码