[已解决]爬虫保存内容丢失

AINIDEREN

大佬们，为啥抓取的内容可以打印出来，但是保存的话就是只是最后一页的内容，前面的内容保存不了啊
代码和图都发了

1. import requests
   
2. import bs4
   
3. import lxml
   
4. import time
   
5. 
   
6. headers = {"user-agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.116 Safari/537.36",
   
7.            "Host":"quotes.toscrape.com"}
   
8. 
   
9. def open_url(url):
   
10.     res = requests.get(url, headers=headers)
    
11.     soup = bs4.BeautifulSoup(res.text, 'lxml')
    
12.     return soup
    
13.    
    
14. def find_quote(new_url):
    
15.    
    
16.     quotes =[]
    
17.     targets = open_url(new_url).find_all('div', class_='quote')
    
18. 
    
19. 
    
20.     for each in targets:
    
21.         quotes.append(each.span.text)
    
22. 
    
23.     result = []
    
24.     lengh = len(quotes)
    
25.     for i in range(lengh):
    
26.         result.append(quotes[i] + '\n\n')
    
27. 
    
28.         
    
29.     return result
    
30.    
    
31. def down_load(quote):
    
32.     with open('quote.txt', 'w', encoding='utf-8') as f:
    
33.         for each in quote:
    
34.             print(each)
    
35.             f.write(each)
    
36.             time.sleep(0.1)
    
37.    
    
38. def main():
    
39.     url = "http://quotes.toscrape.com"
    
40.     page = 3
    
41.     for i in range(1, int(page) + 1):
    
42.         new_url = url + '/page/' + str(i) + '/'
    
43.         quote = find_quote(new_url)
    
44.         down_load(quote)  
    
45. if __name__ == "__main__":
    
46.     main()
    
47.    
    

复制代码

最佳答案

月排行榜 / 总排行榜

qiuyouzhi

2020-4-1 19:04:18

你这打开方式是w，而且还循环打开？
这样就会覆盖上一次写入的内容了
建议在main里打开，并将文件对象
当成参数传入

跳转到最佳答案楼层

qiuyouzhi

你这打开方式是w，而且还循环打开？
这样就会覆盖上一次写入的内容了
建议在main里打开，并将文件对象
当成参数传入

AINIDEREN

qiuyouzhi 发表于 2020-4-1 19:04
你这打开方式是w，而且还循环打开？
这样就会覆盖上一次写入的内容了
建议在main里打开，并将文件对象

谢谢

wp231957

你要保存3个文件，就要准备三个不同的文件名
比如我有一次下载了10000+的图片，自然需要10000+的不同文件名