关于decode 遇到特殊字符问题

暗夜之隐

写了一个淘宝评价爬虫 ，在爬取的时候出现不能解码字符问题。

1. 
   
2. import urllib.request
   
3. 
   
4. import re
   
5. 
   
6. 
   
7. 
   
8. def urlopen(url):
   
9. 
   
10.    
    
11.     req = urllib.request.Request(url)
    
12. 
    
13.     req.add_header("User-Agent","Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36")
    
14. 
    
15.     html = urllib.request.urlopen(req)
    
16. 
    
17.     html = html.read()
    
18. 
    
19.     return html
    
20. 
    
21. 
    
22. 
    
23. def cont(url):
    
24. 
    
25.     html = urlopen(url)
    
26.    
    
27.     htm = html.decode('utf-8')
    
28. 
    
29.     aa = re.findall(r'(....年..月..日 ..:..)',htm)
    
30. 
    
31.     cc = re.findall(r'(.\*\*\*.)',htm)
    
32. 
    
33.     content = re.findall(r'content":".{0,300}","rateId',htm)
    
34. 
    
35.     img =re.findall(r'thumbnail":"//img.alicdn.com/imgextra/.././.+?jpg","url',htm)
    
36. 
    
37.     ff=(len(cc))
    
38. 
    
39. 
    
40.     name_time =[]
    
41. 
    
42.     for i in range(ff):
    
43. 
    
44.         time = aa[i]
    
45.         name = cc[i]
    
46.         con = content[i]
    
47.         timename =aa[i]+'评价内容; '+cc[i]
    
48. 
    
49.         print(timename)
    
50.         print(con+"\n")
    
51. 
    
52.         
    
53. for i in range(20):
    
54. 
    
55.     url = 'https://rate.taobao.com/feedRateList.htm?auctionNumId=531074523433&userNumId=389728664&currentPageNum={}'.format(i)
    
56. 
    
57.     print(i)
    
58.    
    
59.     cont(url)

复制代码

抓取到第6页的时候遇到有个评价里面有2个表情 所以出错了  前几天本来也遇到这样的问题 在网上找到一个代码加上可以了，但现在忘记了。也不知道在那里找的了， 大家学的时候要写博客记录啊 ！！！

1. UnicodeEncodeError: 'UCS-2' codec can't encode characters in position 39-39: Non-BMP character not supported in Tk

复制代码

解决了

1. >>> aa = '\U0001f60a\adwkdkdkkdk'
   
2. # 这里“\U0001f60a” 这是表情的代码 带这个\
   
3. >>> import re
   
4. >>> cc = re.compile(r'\U0001f60a')
   
5. #cc 就是需要替换的代码 就是把不需要的先标记出来
   
6. >>> ff = re.sub(cc,'',aa)
   
7. #cc 是不要的‘’ 就是换成空白 aa 就是需要换的文本内容
   
8. >>> ff
   
9. '\x07dwkdkdkkdk'
   
10. #最后输出只有这个了 前2个表情都没有了
    

复制代码

暗夜之隐

1. >>> aa = '\U0001f60a\adwkdkdkkdk'
   
2. # 这里“\U0001f60a” 这是表情的代码 带这个\
   
3. >>> import re
   
4. >>> cc = re.compile(r'\U0001f60a')
   
5. #cc 就是需要替换的代码 就是把不需要的先标记出来
   
6. >>> ff = re.sub(cc,'',aa)
   
7. #cc 是不要的‘’ 就是换成空白 aa 就是需要换的文本内容
   
8. >>> ff
   
9. '\x07dwkdkdkkdk'
   
10. #最后输出只有这个了 前2个表情都没有了
    
11. 
    
12. ---------------------
    
13. 
    
14. 本文来自 anyezhiyin 的CSDN 博客 ，全文地址请点击：https://blog.csdn.net/AnYeZhiYin/article/details/82945555?utm_source=copy

复制代码