scrapy框架爬取百度贴吧 xpath没错为什么爬出来啥也没有

wcq15759797758

1. import scrapy
   
2. from baidutieba.items import BaidutiebaItem
   
3. 
   
4. class Baidutieba1Spider(scrapy.Spider):
   
5.     name = 'baidutieba1'
   
6.     #allowed_domains = ['www.baidu.com']
   
7.     start_urls = ['https://tieba.baidu.com/f?kw=python&ie=utf-8&pn=0']
   
8. 
   
9.     def parse(self,response):
   
10.         #分组
    
11.         tr_list = response.xpath('//div[@id="pagelet_frs-list/pagelet/thread_list"]//li')
    
12.         for tr in tr_list:
    
13.             item = BaidutiebaItem()
    
14.             item["title"] = tr.xpath('./div/div[2]/div[1]/div[1]/a/text()').extract_first()
    
15.             item['href'] = tr.xpath('./div/div[2]/div[1]/div[1]/a/@href').extract_first()
    
16.             item['publish_date'] = tr.xpath('./div/div[2]/div[2]/div[2]/span[1]/a').extract_first()
    
17. 
    
18.             yield scrapy.Request(
    
19.                 item["href"],
    
20.                 callback=self.patse_detail,
    
21.                 meta = {"item":item}
    
22.             )
    
23. 
    
24.     def patse_detail(self,response):
    
25.         item = response.meta["item"]
    
26.         print(item)
    
27. 
    

复制代码

nahongyan1997

网页内容有语法错误导致虽然浏览器可以识别bs4却无法定位。