爬取的数据存储不到txt文件中了

chunguang

从网上爬取的评论存储不到TXT文件中了，老报错，求大神：

1. import requests
   
2. import csv
   
3. import multiprocessing
   
4. from bs4 import BeautifulSoup
   
5. from requests.exceptions import  RequestException
   
6. from multiprocessing import Pool
   
7. 
   
8. def get_comments(url):
   
9.     try:
   
10.         headers = {
    
11.             'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36'
    
12.         }
    
13.         response=requests.get(url,headers=headers)
    
14.         response.encoding = 'gbk'
    
15.         if response.status_code==200:
    
16.             return response.text
    
17.         print('请求评论错误')
    
18.         return None
    
19.     except RequestException:
    
20.         return None
    
21. 
    
22. 
    
23. def parse_comments(html):
    
24.     soup = BeautifulSoup(html,'lxml')
    
25.     items = soup.find_all(class_='comment-item')
    
26.     for item in items:
    
27.         comments = item.select('.commenttext')
    
28.         if comments:
    
29.             comments = comments[0].text.replace('\n','').replace('\xa0','').replace('\u3000','').replace('\r','').replace(' ','')
    
30.         data={
    
31.             'comments': comments
    
32.         }
    
33.         yield data
    
34. 
    
35. def save_to_file(content):
    
36.     try:
    
37.         with codecs.open(r'C:\Users\lenovo\Desktop\数据\白沙comment.txt', 'a', encoding='utf-8') as f:
    
38.             for i in content:
    
39.                 f.write(i.strip() + '\r\n')
    
40.     except Exception:
    
41.         print('存储到文件失败')
    
42. 
    
43. def main(page):
    
44.     url = 'http://www.yanyue.cn/product/comments/15?paramsend=postget&productid=15&paramsend=postget&page_offset='+str(page)
    
45.     html=get_comments(url)
    
46.     for item in parse_comments(html):
    
47.         print(item)
    
48.         save_to_file(item)
    
49. 
    
50. if __name__=='__main__':
    
51.     for i in range(53):
    
52.         main(page=i+1)

复制代码

呵123

虽然我没有跑你的程序，不过感觉你往C盘存数据，是不是需要管理员权限啊？你试试吧，我之前也遇到过没有开管理员权限无法保存的问题，或者你把保存路径改一下

chunguang

呵123 发表于 2018-8-29 11:13
虽然我没有跑你的程序，不过感觉你往C盘存数据，是不是需要管理员权限啊？你试试吧，我之前也遇到过没有开 ...

我试了，也不行

新人

def save_to_file(content):
    try:
        with open(r'C:\Users\lenovo\Desktop\数据\白沙comment.txt', 'a+', encoding='utf-8') as f:
                f.write(json.dumps(content) + '\r\n')
    except:
        print('存储到文件失败')   把你的save_to_file 改一下

呵123

chunguang 发表于 2018-8-29 11:15
我试了，也不行

那你把路径的中文改一下吧，也可能是这个问题

chunguang

新人 发表于 2018-8-29 11:16
def save_to_file(content):
    try:
        with open(r'C:%users\lenovo\Desktop\数据\白沙comment.t ...

不行呀

新人

f.write(json.dumps(content,ensure_ascii=False) + '\r\n')  json模块要导入的

新人

{"comments": "和天下，非常纯。烟吐出来比一般烟更多。空心过滤嘴。软金砂口感的加强版。女人抽还行！"}

chunguang

新人 发表于 2018-8-29 11:25
f.write(json.dumps(content,ensure_ascii=False) + '\r\n')  json模块要导入的

但是乱码的

chunguang

chunguang 发表于 2018-8-29 11:32
但是乱码的

好了