python3 爬虫 遇到带声标的字母。。出现乱码

luoydqsn

大佬好，最近练练手，爬取一个城市编码的网站到excel表，站点如下：

http://hotel.alitrip.com/area.ht ... ;enName=&page=1

结果遇到一个搞不定的乱码问题，就是字母上面带有声标，结果爬取结果就出现乱码，而且乱码不仅仅一种，试了很久都搞不定，所以很头疼

具体例子：打开上述网站，查找  Ro?  ，会找到  K?mpóng Ro?

爬取到excel的结果是：  K?mpóng Ro?

其他例子暂时不列举吧，想做到的是网站什么数据，excel就什么数据，要用什么方法呢，而且网站里有的数据都不能丢失，要全部爬取，源代码如下：

1. 
   
2. import time
   
3. import requests
   
4. import re
   
5. import openpyxl
   
6. 
   
7. 
   
8. def get_resps(page, country_ENname=''):
   
9.     headers = {
   
10.         'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.80 Safari/537.36'
    
11.     }
    
12.     urls = []
    
13.     for i in range(1, page+1):
    
14.         url = "http://hotel.alitrip.com/area.htm?domestic=1&enName=" + country_ENname + "&page=" + str(i)
    
15.         urls.append(url)
    
16.     print(f'总共网址数：{len(urls)}' )
    
17.     resps = []
    
18.     a = 1
    
19.     print('爬取中......')
    
20.     for url in urls:
    
21.         print(a)
    
22.         resp = requests.get(url, headers=headers)
    
23.         resps.append(resp)
    
24.         time.sleep(2)
    
25.         a += 1
    
26.     print(f'响应数量：{len(resps)}')
    
27.     return resps
    
28. 
    
29. def write(all_list):
    
30.     wb = openpyxl.load_workbook('编码.xlsx')
    
31.     sheet = wb.get_sheet_by_name('Sheet1')
    
32.     for each in all_list:
    
33.         sheet.append(each)
    
34.     wb.save('编码.xlsx')
    
35. 
    
36. 
    
37. def parse(resps):
    
38.     targets = []
    
39.     for each in resps:
    
40.         target = re.findall('<tr class="tr-city"><td>(.*?)</td><td>(.*?)</td><td>(.*?)</td><td>(.*?)</td><td>(.*?)</td><td>(.*?)</td></tr>', each.text)
    
41.         targets.extend(target)
    
42.     print(len(targets))
    
43.     return targets
    
44. 
    
45. 
    
46. def main():
    
47.     resps = get_resps(1)
    
48.     targets = parse(resps)
    
49.     #print(targets[435:445])
    
50.     write(targets)
    
51. 
    
52. 
    
53. if __name__ == '__main__':
    
54.     start = time.time()
    
55.     main()
    
56.     end = time.time()
    
57.     print(end - start)
    

复制代码

geen

网页的编码是GBK，python是utf-8，excel是unicode，编码的问题。

luoydqsn

geen 发表于 2019-11-8 07:11
网页的编码是GBK，python是utf-8，excel是unicode，编码的问题。

这个我查到资料了。可是具体要怎么弄。。萌新试了很久没弄出来。。。

geen

luoydqsn 发表于 2019-11-8 18:53
这个我查到资料了。可是具体要怎么弄。。萌新试了很久没弄出来。。。

去翻翻openpyxl的官方文档，看编码这块的说明。
从网页到py的编码是 res.encoding('GBK')