Python爬虫存储到txt文件中是乱码的

chunguang

1. import requests
   
2. import re
   
3. import json
   
4. from bs4 import BeautifulSoup
   
5. from requests.exceptions import  RequestException
   
6. 
   
7. def get_one_page(url):
   
8.     headers={
   
9.         'user-agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36'
   
10.     }
    
11.     try:
    
12.         response=requests.get(url,headers=headers)
    
13.         if response.status_code==200:
    
14.             return response.text
    
15.         print('请求错误')
    
16.         return None
    
17.     except RequestException:
    
18.         return None
    
19. 
    
20. def parse_one_page(html):
    
21.     soup=BeautifulSoup(html,'lxml')
    
22.     items={}
    
23.     for d in range(10):
    
24.         items['排名']=soup.select('.board-index')[d].text
    
25.         items['片名']=soup.select('.name')[d].text
    
26.         items['主演']=soup.select('.star')[d].text.strip()[3:]
    
27.         items['上映时间']=soup.select('.releasetime')[d].text.strip()[5:]
    
28.         items['评分']=soup.select('.integer')[d].text+soup.select('.fraction')[d].text
    
29.         print(items)
    
30. 
    
31. def write_to_file(content):
    
32.     with open(r'C:\Users\lenovo\Desktop\爬虫\猫眼\猫眼TOP100(BS).txt','a',encoding='utf-8') as f:
    
33.         f.write(json.dumps(content,ensure_ascii=False)+'\n')
    
34.         f.close()
    
35. 
    
36. def main(offset):
    
37.     url='https://maoyan.com/board/4?offset='+str(offset)
    
38.     html=get_one_page(url)
    
39.     items=parse_one_page(html)
    
40.     write_to_file(items)
    
41. 
    
42. if __name__=='__main__':
    
43.     for i in range(10):
    
44.         main(offset=i*10)

复制代码

这是我爬取的猫眼榜单的TOP100，但为什么不能存储到txt文件中，txt文件中都是乱码的，求大神指教

无符号整形

把32行的,encoding='utf-8'去掉。

万事笔通

不知道你的什么版本 怎么乱码法 我用的是正则表达式没有乱码

chunguang

无符号整形 发表于 2018-8-2 18:57
把32行的,encoding='utf-8'去掉。

主要是他就会搞成这样的

null
null
null
null
null
null
null
null
null
null

chunguang

万事笔通 发表于 2018-8-2 21:01
不知道你的什么版本 怎么乱码法 我用的是正则表达式没有乱码

如下：
null
null
null
null
null
null
null
null
null
null

万事笔通

chunguang 发表于 2018-8-2 22:58
如下：
null
null

你那个不是乱码 是没有返回值   需要进行yield返回 而不是用print（items） 你可以去github看下别的代码

chunguang

万事笔通 发表于 2018-8-2 23:13
你那个不是乱码 是没有返回值   需要进行yield返回 而不是用print（items） 你可以去github看下别的代码

那我应该怎么改

万事笔通

这个都被爬烂了 网上都很多例子

chunguang

万事笔通 发表于 2018-8-3 09:34
这个都被爬烂了 网上都很多例子

没办法，刚学，还是个小白