（关于分布式爬虫的yield函数）请大家帮我瞧一瞧哪儿错了，进来坐坐

DalaoK

1. # -*- coding: utf-8 -*-
   
2. import scrapy
   
3. from scrapy_redis.spiders import RedisSpider
   
4. from copy import deepcopy
   
5. 
   
6. class DanddangSpider(RedisSpider):
   
7.         name = 'danddang'
   
8.         redis_key='dangdang'
   
9.         allowed_domains = ['book.dangdang.com']
   
10.         #start_urls = ['http://book.dangdang.com/']
    
11. 
    
12.         def parse(self, response):
    
13.                 big_li=response.xpath('//div[@class="con flq_body"]/div')
    
14.                 for dl in big_li:
    
15.                         item={}
    
16.                         item['dl_name']=dl.xpath('./dl/dt//text()').extract()
    
17.                         item['dl_name']=[i.strip() for i in item['dl_name'] if len(i.strip())>0]
    
18.                         middle_list=dl.xpath('.//dl[@class="inner_dl"]')
    
19.                         print(middle_list)
    
20.                         for dt in middle_list:
    
21.                                 item['middle_name']=dt.xpath('./dt//text()').extract()
    
22.                                 item['middle_name']=[i.strip() for i in item['middle_name'] if len(i.strip())>0]
    
23.                                 little_list=dt.xpath('./dd/a')
    
24.                                 for a in little_list:
    
25.                                         item['little_name']=a.xpath('./@title').extract_first().strip()
    
26.                                         item['little_url']=a.xpath('./@href').extract_first()
    
27.                                         yield scrapy.Request(
    
28.                                                 item['little_url'],
    
29.                                                 callback=self.parse_middle,
    
30.                                                 meta={'item':deepcopy(item)}
    
31.                                                 )
    
32.         def parse_middle(self, response):
    
33.                 item=response.meta['item']
    
34.                 li_list=response.xpath('//div[@class="con body"]//li')
    
35.                 for li in li_list:
    
36.                         item['book_name']=li.xpath('./a/@title').extract_first()
    
37.                         item['book_img=']=li.xpath('./a/img/@data-original').extract_first()
    
38.                         if item['book_img='] is None:
    
39.                                 item['book_img=']=li.xpath('./a/img/@src').extract_first()
    
40.                         item['book_url']=li.xpath('./a/@href').extract_first()
    
41.                         #价格拼接
    
42.                         book_price_num=li.xpath('./p[@class="price"]//span[@class="num"]/text()').extract_first()
    
43.                         book_price_tail=li.xpath('./p[@class="price"]//span[@class="tail"]/text()').extract_first()
    
44.                         item['book_price']=book_price_num+book_price_tail
    
45.                         e_book_price_num=li.xpath('./span[@class="ebookprice_n"]/span[@class="num"]/text()').extract_first()
    
46.                         e_book_price_tail=li.xpath('./span[@class="ebookprice_n"]/span[@class="tail"]/text()').extract_first()
    
47.                         try:
    
48.                                 item['e_book_price']=e_book_price_num+e_book_price_tail
    
49.                         except:
    
50.                                 item['e_book_price']="无电子书价格"
    
51.                         print(item)
    
52.                         print('--------------------------------')
    
53.                         yield scrapy.Request(
    
54.                                 item['book_url'],
    
55.                                 callback=self.parse_last,
    
56.                                 meta={'item':deepcopy(item)}
    
57.                                 )
    
58.                 #翻页
    
59.                
    
60.         def parse_last(self, response):
    
61.                 item=response.meta['item']
    
62.                 print('=========')
    
63.                 item['book_scr']=response.xpath('//div[class="name_info"]/h2/text()').extract_first().strip()
    
64.                 item['book_author']=response.xpath('//span[@id="author"]/a/text()').extract()
    
65.                 print(item)
    
66.                 print('==============================')
    

复制代码

翻页的步骤还没有写，忽略就好。分布式爬虫，主机和奴隶端都在一台计算机上。
执行的时候总是最后一个步骤执行不到  也就是最后一个yield scrapy.Request（）不执行！我之前另一个爬虫已经遇到过这种问题了。我觉得是不是yield有次数限制？？？
还是我的程序错了？我觉得主要就是后十行代码有问题。请大家帮我瞧一瞧吧


{'dl_name': ['特色书单'], 'middle_name': ['文艺'], 'little_name': '场景书单：总有本小说在案头', 'little_url': 'http://book.dangdang.com/20180524_jnfi', 'book_name': '刺杀骑士团长：村上春树暌违7年新长篇，林少华激赏翻译，书名又译骑士团长杀人 事件', 'book_img=': 'http://img3m8.ddimg.cn/42/10/25228608-1_b_20.jpg', 'book_url': 'http://product.dangdang.com/25228608.html', 'book_price': '61.80', 'e_book_price': '32.99'}
--------------------------------
{'dl_name': ['特色书单'], 'middle_name': ['文艺'], 'little_name': '场景书单：总有本小说在案头', 'little_url': 'http://book.dangdang.com/20180524_jnfi', 'book_name': '一个叫欧维的男人决定去死（林彦俊、池昌旭、汤姆?汉克斯等男神推荐的幸福之书 ）', 'book_img=': 'http://img3m9.ddimg.cn/44/12/25093079-1_b_9.jpg', 'book_url': 'http://product.dangdang.com/25093079.html', 'book_price': '20.70', 'e_book_price': '无电子书价格'}
--------------------------------
{'dl_name': ['特色书单'], 'middle_name': ['文艺'], 'little_name': '场景书单：总有本小说在案头', 'little_url': 'http://book.dangdang.com/20180524_jnfi', 'book_name': '白天的房子，夜晚的房子 / 2018国际布克奖获得者、诺贝尔文学奖热门人选代表作', 'book_img=': 'http://img3m7.ddimg.cn/69/5/25189827-1_b_5.jpg', 'book_url': 'http://product.dangdang.com/25189827.html', 'book_price': '45.00', 'e_book_price': '36.00'}
--------------------------------
这里是执行后的一部分内容   很明显可以看出  数据没有从yield scrapy.Request到最后一个函数中去。。。我想应该是最后一个yield函数  执行失败了。
但是我却不知道为什么  好痛苦啊  看起来也没错啊

DalaoK

{'dl_name': ['特色书单'], 'middle_name': ['文艺'], 'little_name': '场景书单：总有本小说在案头', 'little_url': 'http://book.dangdang.com/20180524_jnfi', 'book_name': '一个叫欧维的男人决定去死（林彦俊、池昌旭、汤姆?汉克斯等男神推荐的幸福之书 ）', 'book_img=': 'http://img3m9.ddimg.cn/44/12/25093079-1_b_9.jpg', 'book_url': 'http://product.dangdang.com/25093079.html', 'book_price': '20.70', 'e_book_price': '无电子书价格'}
--------------------------------
{'dl_name': ['特色书单'], 'middle_name': ['文艺'], 'little_name': '场景书单：总有本小说在案头', 'little_url': 'http://book.dangdang.com/20180524_jnfi', 'book_name': '白天的房子，夜晚的房子 / 2018国际布克奖获得者、诺贝尔文学奖热门人选代表作', 'book_img=': 'http://img3m7.ddimg.cn/69/5/25189827-1_b_5.jpg', 'book_url': 'http://product.dangdang.com/25189827.html', 'book_price': '45.00', 'e_book_price': '36.00'}
这里是执行后的内容的一部分  可以看到根本就没有从最后的yield走到最后一个函数中去！   到底为甚么？？？好痛苦