爬数据爬一半不能爬了

chunguang

我的代码如下：

1. import requests
   
2. import json
   
3. import re
   
4. import csv
   
5. from io import StringIO
   
6. from urllib.request import urlopen
   
7. from multiprocessing import Pool
   
8. from requests.exceptions import RequestException
   
9. 
   
10. def get_one_page(url):
    
11.     headers={
    
12.         'user-agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36'
    
13.     }
    
14.     try:
    
15.         response=requests.get(url,headers=headers)
    
16.         if response.status_code==200:
    
17.             return response.text
    
18.         return None
    
19.     except RequestException:
    
20.         return None
    
21. 
    
22. def parse_one_page(html):
    
23.     f = open(r'C:\Users\lenovo\Desktop\爬虫\烟草\烟草新闻.csv', 'a')
    
24.     writer = csv.DictWriter(f, ['title', 'time'])
    
25.     pattern=re.compile('<li>.*?blank">(.*?)</a></em><span>(.*?)</span></li>',re.S)
    
26.     items=re.findall(pattern,html)
    
27.     for item in items:
    
28.         data={
    
29.             'title':item[0].replace('&nbsp;',''),
    
30.             'time':item[1]
    
31.         }
    
32.         yield data
    
33.         writer.writerow(data)
    
34. 
    
35. def main(page):
    
36.     if page != 1:#第一页不用page的形式
    
37.         url='http://www.echinatobacco.com/html/site27/ynzlyns/index'+'_'+str(page)+'.html'
    
38.     else:
    
39.         url='http://www.echinatobacco.com//html/site27/ynzlyns/index.html'
    
40.     html=get_one_page(url)
    
41.     for item in parse_one_page(html):
    
42.         print(item)
    
43. 
    
44. if __name__=='__main__':
    
45.     pool=Pool()
    
46.     pool.map(main,[i+1 for i in range(53)])
    

复制代码

错误提示是    UnicodeEncodeError: 'gbk' codec can't encode character '\u200b' in position 0: illegal multibyte sequence



但是如果加了‘utf-8’,csv中的title就会乱码

2012277033

应该是爬取的页面不存在或者出问题，返回了个404页面，所以你的程序就读不下去了

chunguang

2012277033 发表于 2018-8-8 17:25
应该是爬取的页面不存在或者出问题，返回了个404页面，所以你的程序就读不下去了

但是我看了一下，网页还是存在的

故梦L

response.encoding=response.apparent_encoding,设置下编码