列表页多篇内容合并问题，贴代码

我不是第一个

想把列表中的几篇文章合并，下面代码没有实现。哪位大哥帮忙看看。头想破了。。。

1. import scrapy
   
2. from lxml import etree
   
3. 
   
4. class FwSpider(scrapy.Spider):
   
5.     name = 'fw'
   
6.     allowed_domains = ['xiegw.cn']
   
7.     start_urls = ['http://www.xiegw.cn/shenqingshu/dxs/']
   
8. 
   
9.     def parse(self, response):
   
10.         item = {}
    
11.         ret = etree.HTML(response.text)
    
12.         domain=''.join(self.start_urls).split('.cn/')[0]+'.cn'
    
13.         lst=ret.xpath("//div[@class='ls_list']//ul[@class='ls_list_ul bj_mt30']")
    
14.         for i in lst:
    
15.             urls=i.xpath("./li[@class='ls_list_li list_li ts']/div[@class='li_r li_nr']/h3/a/@href")
    
16.             urlss=urls[3:8:2]
    
17.             # print(urlss)
    
18.             for j in urlss:
    
19.                 url=domain+j
    
20.                 # print(url)
    
21. 
    
22.                 yield scrapy.Request(
    
23.                     url=url,
    
24.                     callback=self.body_html,
    
25.                     meta={'item':item}
    
26.                 )
    
27.     def body_html(self,response):
    
28.         item=response.meta['item']
    
29.         title=[]
    
30.         res=etree.HTML(response.text)
    
31.         title1=''.join(res.xpath('//h1/text()'))
    
32.         title.append(title1)
    
33.         item['title']=title
    
34. 
    
35. 
    
36.         print(item)
    
37.         print('\n' + '==============' + '\n')
    
38.         # yield item
    

复制代码

我不是第一个

难道就没有人知道吗。。

我不是第一个

我不是第一个 发表于 2021-7-15 08:40
难道就没有人知道吗。。

我顶我自己

Twilight6

我不是第一个 发表于 2021-7-15 08:40
难道就没有人知道吗。。

是哪个列表呢

学渣李某人

合并可以使用itertools中的reduce, 就是将一个函数对列表中所有两两相邻的值都调用一个函数, 然后你再写一个拼接函数即可

我不是第一个

Twilight6 发表于 2021-7-16 10:15
是哪个列表呢

网站列表页。。

我不是第一个

学渣李某人 发表于 2021-7-21 10:35
合并可以使用itertools中的reduce, 就是将一个函数对列表中所有两两相邻的值都调用一个函数, 然后你再写一 ...

输出的是一个个独立的列表(字典)哦。我就是想把不同列表(字典)数据叠加起来合并。
你这个不知道行不行，我试试吧， 谢谢了。。