[已解决]多层yeild循环嵌套有点懵，求指点

小小小小的鱼丶

1. # -*- coding: utf-8 -*-
   
2. 有没有大神给我讲讲yeild的具体的递归过程，我已经绕晕了
   
3. import scrapy
   
4. from scrapy import Spider,Request
   
5. import json
   
6. from zhihuuser.items import UserItem
   
7. 
   
8. class ZhihuSpider(Spider):
   
9.     name = 'zhihu'
   
10.     allowed_domains = ['www.zhihu.com']
    
11.     start_urls = ['https://www.zhihu.com']
    
12. 
    
13.     start_user = 'excited-vczh'
    
14. 
    
15.     user_url = 'https://www.zhihu.com/api/v4/members/{user}?include={include}'
    
16.     uesr_query = 'allow_message,is_followed,is_following,is_org,is_blocking,employments,answer_count,follower_count,articles_count,gender,badge[?(type=best_answerer)].topics'
    
17. 
    
18.     follows_url = 'https://www.zhihu.com/api/v4/members/{user}/followees?include{include}&offset={offset}&limit={limit}'
    
19.     follows_query = 'data[*].answer_count,articles_count,gender,follower_count,is_followed,is_following,badge[?(type=best_answerer)].topics'
    
20. 
    
21.     #当spider启动爬取时调用
    
22.     def start_requests(self):
    
23.         yield Request(self.user_url.format(user=self.start_user,include=self.uesr_query),self.parse_user)
    
24.         yield Request(self.follows_url.format(user=self.start_user,include=self.follows_query,offset=0,limit=20),callback=self.parse_follows)
    
25. 
    
26.     #解析单个用户的信息
    
27.     def parse_user(self, response):
    
28.         result = json.loads(response.text)
    
29.         item = UserItem()
    
30.        # item.fields输出items.py里面定义的所有名称
    
31.         for field in item.fields:
    
32.             if field in result.keys():
    
33.                 #字典的get函数拿到值
    
34.                 item[field] = result.get(field)
    
35.         yield item
    
36.         #每一个人再请求自己的关注列表
    
37.         yield Request(self.follows_url.format(user=result.get('url_token'),include=self.follows_query,limit=20,offset=0),\
    
38.                       callback=self.parse_follows)
    
39. 
    
40.     #解析关注列表的信息
    
41.     def parse_follows(self,response):
    
42.         results = json.loads(response.text)
    
43.         #得到关注列表信息，利用parse_user解析每个关注人的信息
    
44.         if 'data' in results.keys():
    
45.             #分析网页后，用户关注列表data的值是一个列表
    
46.             for result in results.get('data'):
    
47.                 yield Request(self.user_url.format(user=result.get('url_token'),include=self.uesr_query),callback=self.parse_user)
    
48. 
    
49.         #分页判断
    
50.         if 'paging' in results.keys() and ( results.get('paging').get('is_end') == False):
    
51.             next_page = results.get('paging').get('next')
    
52.             #print('开始请求下一页',next_page)
    
53.             yield Request(url=next_page,callback=self.parse_follows)
    
54. 
    
55. 
    

复制代码

最佳答案

月排行榜 / 总排行榜

claws0n

2018-8-15 21:11:51

没有多层嵌套~~

就跟 return 一样，但 yield 是生成一个对象。如果是生成对象的话，可以当参数或其他的用。
函数用 return 就没办法

跳转到最佳答案楼层

claws0n

没有多层嵌套~~

就跟 return 一样，但 yield 是生成一个对象。如果是生成对象的话，可以当参数或其他的用。
函数用 return 就没办法