[已解决]循环翻页后覆盖了第一次循环的数据，怎么接着往下保存

jnmytwnllwl

1. #地址 #翻页
   
2. 总共页面=300
   
3. 
   
4. for page in range(1,总共页面):
   
5. 
   
6.     url=f'https://www.amazon.de/s?k=Bathroom+Storage&i=kitchen&rh=p_72%3A419118031%2Cp_n_availability%3A419126031&dc&page={page}&__mk_de_DE=%C3%85M%C3%85%C5%BD%C3%95%C3%91&qid=1653973729&rnid=419124031&ref=sr_pg_2'
   
7. 
   
8. 
   
9.     #1.发送请求
   
10.     res = requests.get(url=url,headers=headers)
    
11.     conter= res.content.decode('utf-8')
    
12.     select= Selector(text=conter)
    
13.     divs = select.css('.a-section.a-spacing-base')
    
14.     wz1="https://www.amazon.de/"
    
15. 
    
16. 
    
17. 
    
18.     #创建表格
    
19.     workbook= xlwt.Workbook(encoding='utf-8')
    
20.     worksheet=workbook.add_sheet('1',cell_overwrite_ok=True)
    
21.     rowDatas=['1','2','3','4']
    
22.     for t in range(0,len(rowDatas)):
    
23.         worksheet.write(0,t,rowDatas[t],)
    
24.     workbook.save("C:\\Users\Administrator\Desktop\2\1.xls")
    
25. 
    
26.     # 二级页面 提取列表
    
27.     i=0
    
28.     for div in divs:       
    
29.         i=i+1       
    
30.         wz=(div.css('.a-link-normal.s-no-outline::attr(href)').get())
    
31.         wz=urljoin(wz1,str(wz))
    
32.         resp= requests.get(wz,headers=headers)
    
33.         conter= resp.content.decode('utf-8')
    
34.         select= Selector(text=conter)
    
35. 
    
36.         #二级页面数据提取
    
37.         data = select.xpath('.//a[@id="bylineInfo"]/text()').extract_first
    
38. 
    
39.         #正则
    
40.         data1 = re.compile(r"data='(.+?)'")
    
41.         data=str(data)
    
42.         data2 = data1.search(data)
    
43.         if data2==None:
    
44.             data2=('空')
    
45.         else:
    
46.             data2 = data2.group(1)
    
47. 
    
48. 
    
49. 
    
50.     #保存数据到表格
    
51. 
    
52.         worksheet.write(i,0,data2)
    
53. 
    
54.         workbook.save("C:\\Users\Administrator\Desktop\2\1.xls")

复制代码

现在的情况是爬取主页有24个二级链接
循环第一遍翻页依次把二级页面提取的数据保存到表格至A1-A24
循环第二遍翻页后又把A1-A24的数据给覆盖了
循环第一次翻页i=24 我循环翻页后 i又等于0了  又保存数据到A1-A24了把之前的覆盖了  怎么把数据接着往下保存

最佳答案

月排行榜 / 总排行榜

Twilight6

2022-6-2 19:17:08

可以在循环外设置个列表，每次循环往里加数据，最后一次性写入文件

你每次循环读一次文件，效率比较差，相对前者只是节省了些内存

跳转到最佳答案楼层

Twilight6

可以在循环外设置个列表，每次循环往里加数据，最后一次性写入文件

你每次循环读一次文件，效率比较差，相对前者只是节省了些内存

jnmytwnllwl

Twilight6 发表于 2022-6-2 19:17
可以在循环外设置个列表，每次循环往里加数据，最后一次性写入文件

你每次循环读一次文件，效率比较差 ...

谢谢版主，思路一下子清晰了