[已解决]求教大佬们一个关于bs4和编码的问题

天圆突破

1.     #爬第 1 页信息范例
   
2.     req = q.get('https://www.din.de/en/meta/search/61764!search?query=' + keywords)
   
3.     if req.status_code == q.codes.ok:
   
4.         req.encoding = req.content
   
5.         data = req.text
   
6.         soup = BeautifulSoup(data,"html.parser")
   
7. 
   
8.         #抓取总条数
   
9.         total = str(soup.find_all('span', class_= "panel-sub-heading")[0]).split('of ')[1].split(' ')[0]
   
10.         print(total)
    
11. 
    
12.         #抓取标题为列表
    
13.         title = list()
    
14.         title_tmp = soup.find_all('span', class_="panel-medium")
    
15.         for each in title_tmp:
    
16.             each = str(each).split('</span>')[0].split('\t'*7)[1]
    
17.             title.append(each)
    
18.         print(title)
    
19.         print(len(title))
    
20. 
    
21.         for each in title:
    
22.             print(each)

复制代码

上面是写了一半的代码，发现有个很奇怪的问题。
最后抓标题为列表那里，当逐份打印列表里的每一项的时候（图一），显示正常，但是当打印列表的时候（图二），就出现编码问题了，具体问题见下图：


打印每一项的时候，空格 能正常显示


打印列表的时候，一部分 空格 就出现编码问题了

我查资料，看有人说过在【soup = BeautifulSoup(data,"html.parser")】这句里面加上【encoding = 'utf-8'】，试过了仍然是这个问题。
请教大佬这是怎么回事啊？要怎么解决？

PS：哦对了，这个虽然是德国网站，但是内容是纯英文，不存在德文乱码的问题。

最佳答案

月排行榜 / 总排行榜

lies_for_L

2018-2-9 00:50:52

这不是乱码。。。。。。。
\x0 是不间断空格。。。。。
print打印字符串是会把字符串转换成显示的方式（就比如换行就换一行），
但是打印列表以及其它类中__str__返回非str的类（此处详见魔术方法__str__/__repr__），都是不会转换输出的，输出实际内容
空格用可见形式表示，不间断空格无法直接表示出来，同理还有换行、tab、等一系列特殊字符（在不支持中文的机器上中文同样只会显示字符的16进制形式），
总结，print函数只在传入内容为字符串时做显示转换，当传入非字符串时显示实际内容

1. # 测试代码
   
2. print('********************************************')
   
3. print('字符串a')
   
4. a = 'Ascii\n== <<半角空格<<不间断空格\xa0>>全角空格>>\u3000==,\n换行\n\ttab制表符\n'
   
5. print('a的bytes字节形式\n',bytes(a, encoding='utf8'))
   
6. print('--------------------------------------------')
   
7. print('a的打印形式\n',a)
   
8. print('********************************************')
   
9. 
   
10. print('********************************************')
    
11. class b_object(object):
    
12.     def __init__(self):
    
13.         self.b1 = 'Ascii\n== <<半角空格<<不间断空格\xa0>>全角空格>>\u3000==,\n换行\n\ttab制表符\n'
    
14. 
    
15. b = b_object()
    
16. print('无__str__方法的类b')
    
17. print('b的bytes字节形式\n',bytes(b.b1, encoding='utf8'))
    
18. print('--------------------------------------------')
    
19. print('b的打印形式\n',b)
    
20. print('********************************************')
    
21. 
    
22. print('********************************************')
    
23. class c_object(object):
    
24.     def __init__(self):
    
25.         self.c1 = 'Ascii\n== <<半角空格<<不间断空格\xa0>>全角空格>>\u3000==,\n换行\n\ttab制表符\n'
    
26. 
    
27.     def __str__(self):
    
28.         return self.c1
    
29. c = c_object()
    
30. print('有__str__方法的类c')
    
31. print('c的bytes字节形式\n',bytes(c.c1, encoding='utf8'))
    
32. print('--------------------------------------------')
    
33. print('c的打印形式\n',c)
    
34. print('********************************************')
    
35. 
    
36. 
    

复制代码

跳转到最佳答案楼层

°蓝鲤歌蓝

有可能是‘gbk’格式的。

天圆突破

°蓝鲤歌蓝 发表于 2018-2-8 23:18
有可能是‘gbk’格式的。

大佬，这是德国网站……gbk是中国标准……
好吧，我试过了，也无效。
还有，我想用each = ' '.join(each.split('/xa0'))分割字符串的方法，发现根本也去不掉

天圆突破

更新，encoding编码改成'ISO-8859-1'仍然会出问题

lies_for_L

这不是乱码。。。。。。。
\x0 是不间断空格。。。。。
print打印字符串是会把字符串转换成显示的方式（就比如换行就换一行），
但是打印列表以及其它类中__str__返回非str的类（此处详见魔术方法__str__/__repr__），都是不会转换输出的，输出实际内容
空格用可见形式表示，不间断空格无法直接表示出来，同理还有换行、tab、等一系列特殊字符（在不支持中文的机器上中文同样只会显示字符的16进制形式），
总结，print函数只在传入内容为字符串时做显示转换，当传入非字符串时显示实际内容

1. # 测试代码
   
2. print('********************************************')
   
3. print('字符串a')
   
4. a = 'Ascii\n== <<半角空格<<不间断空格\xa0>>全角空格>>\u3000==,\n换行\n\ttab制表符\n'
   
5. print('a的bytes字节形式\n',bytes(a, encoding='utf8'))
   
6. print('--------------------------------------------')
   
7. print('a的打印形式\n',a)
   
8. print('********************************************')
   
9. 
   
10. print('********************************************')
    
11. class b_object(object):
    
12.     def __init__(self):
    
13.         self.b1 = 'Ascii\n== <<半角空格<<不间断空格\xa0>>全角空格>>\u3000==,\n换行\n\ttab制表符\n'
    
14. 
    
15. b = b_object()
    
16. print('无__str__方法的类b')
    
17. print('b的bytes字节形式\n',bytes(b.b1, encoding='utf8'))
    
18. print('--------------------------------------------')
    
19. print('b的打印形式\n',b)
    
20. print('********************************************')
    
21. 
    
22. print('********************************************')
    
23. class c_object(object):
    
24.     def __init__(self):
    
25.         self.c1 = 'Ascii\n== <<半角空格<<不间断空格\xa0>>全角空格>>\u3000==,\n换行\n\ttab制表符\n'
    
26. 
    
27.     def __str__(self):
    
28.         return self.c1
    
29. c = c_object()
    
30. print('有__str__方法的类c')
    
31. print('c的bytes字节形式\n',bytes(c.c1, encoding='utf8'))
    
32. print('--------------------------------------------')
    
33. print('c的打印形式\n',c)
    
34. print('********************************************')
    
35. 
    
36. 
    

复制代码

天圆突破

lies_for_L 发表于 2018-2-9 00:50
这不是乱码。。。。。。。
\x0 是不间断空格。。。。。
print打印字符串是会把字符串转换成显示的方式（ ...

那大佬请问这个是不是就不用去管了？写入文件的话不影响吧（比如写入txt或者excel）？
一般经验上来说，做数据处理的话，写入数据库前要不要对这种字符做处理？（比如说对会不会影响sql查询）

lies_for_L

天圆突破 发表于 2018-2-9 08:27
那大佬请问这个是不是就不用去管了？写入文件的话不影响吧（比如写入txt或者excel）？
一般经验上来说 ...

不影响啊，文件最好用utf8不然可能打开会乱码，
这和直接网页复制粘贴到word时没有回车只有换行一样的，
可以的话可以正则替换成空格

1. re_pattern = '\\s+'

复制代码