[已解决]gbk网页转换成BeautifulSoup时提示编码错误

SylarPu

1. import  requests
   
2. import chardet
   
3. from urllib.parse import urlparse
   
4. from bs4 import BeautifulSoup
   
5. import sys
   
6. sys.setdefaultencoding="utf-8"
   
7. 
   
8. def urlsearch(keyword,page):
   
9.     url="http://search.51job.com/jobsearch/search_result.php?fromJs=1&jobarea=070300%2C00&keyword="+keyword+"&curr_page="+str(page)
   
10.     return url
    
11. 
    
12. page=1
    
13. url=urlsearch("python",page)
    
14. headers={"User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 UBrowser/6.2.3831.407 Safari/537.36"}
    
15. response=requests.get(url,headers=headers)
    
16. response.encoding="gbk"
    
17. text=response.text
    
18. print(text)
    
19. result=BeautifulSoup(text,"lxml")
    
20. result.encode("gbk")
    
21. print(result.text)
    
22. # result.prettify(encoding="utf-8")
    
23. # print(result.text)

复制代码

     <div class="e">
                <strong>帮助</strong><br>
                <a  target="_blank">帮助中心</a><br>
                <a  target="_blank">常见问题</a><br>
                <a  target="_blank">新手引导</a>
            </div>
            <div class="e">
                <strong>导航</strong><br>
                <a  target="_blank">网站地图</a><br>
                <a  target="_blank">职位搜索</a><br>
                <a  target="_blank">简历中心</a><br>
                <a  target="_blank">企业名录</a>
            </div>
            <div class="code c_first">
                <img width="80" height="80" src="http://img01.51jobcdn.com/im/2016/code/web_bottom.png" alt="APP下载">
                <span><a >APP下载</a></span>
            </div>
            <div class="code">
                <img width="80" height="80" src="http://img01.51jobcdn.com/im/2016/code/weixin.png" alt="官方微信">
                <span>官方微信</span>
            </div>
            <div class="clear"></div>
        </div>

        <p class="note nag">
    <span>未经51Job同意，不得转载本网站之所有招聘信息及作品 | 无忧工作网版权所有&copy;1999-2017</span>
   
</p>         
    </div>
</div>
</body>
</html>

Traceback (most recent call last):
  File "D:/OFFICE/program/pyqt/ui/spider/test.py", line 21, in <module>
    print(result.text)
UnicodeEncodeError: 'gbk' codec can't encode character '\xa0' in position 5287: illegal multibyte sequence

Process finished with exit code 1

这是我爬去的51job的网页，但是通过requests转换成jbk以后，bs4就不认识了。强行报错。
我尝试过更改编码为UTF-8，但是转换后直接成空的了。
求助求助~~

最佳答案

月排行榜 / 总排行榜

坏小子

2017-12-2 18:58:48

给你一段我用了很久的爬虫代码，能自动分析网页编码的

1. # -*- encoding: utf-8 -*-
   
2. from __future__ import unicode_literals,division
   
3. import re,time,requests
   
4. 
   
5. 
   
6. def getHtml(url,delay_time=0.8,code_type=None):
   
7.     hea = {'User-Agent':'Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.118 Safari/537.36'}  
   
8.     html = requests.get(url,headers = hea)
   
9.    
   
10.     if code_type is None:
    
11.         pattern=r'<meta +.*charset="?([a-zA-Z0-9\-]+).*/>'
    
12.         m=re.search(pattern,html.text)
    
13.         code_type=m.group(1) if m else 'utf-8'
    
14.    
    
15.     code_type=code_type.lower()
    
16.     if 'utf8'==code_type:
    
17.         code_type='utf-8'
    
18.    
    
19.     assert code_type in set(['utf-8','gbk','gb18030','gb2312'])
    
20.    
    
21.     time.sleep(delay_time)
    
22.     html.encoding = code_type
    
23.     return html.text

复制代码

urllib库我没怎么用过不太熟，你用type看看返回的是不是str，然后html.decode('gbk').encode('utf-8')也行

跳转到最佳答案楼层

SylarPu

自己给自己孤苦伶仃的顶一下下

SylarPu

朋友路过的帮忙艾特一下大佬可以么

坏小子

给你一段我用了很久的爬虫代码，能自动分析网页编码的

1. # -*- encoding: utf-8 -*-
   
2. from __future__ import unicode_literals,division
   
3. import re,time,requests
   
4. 
   
5. 
   
6. def getHtml(url,delay_time=0.8,code_type=None):
   
7.     hea = {'User-Agent':'Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.118 Safari/537.36'}  
   
8.     html = requests.get(url,headers = hea)
   
9.    
   
10.     if code_type is None:
    
11.         pattern=r'<meta +.*charset="?([a-zA-Z0-9\-]+).*/>'
    
12.         m=re.search(pattern,html.text)
    
13.         code_type=m.group(1) if m else 'utf-8'
    
14.    
    
15.     code_type=code_type.lower()
    
16.     if 'utf8'==code_type:
    
17.         code_type='utf-8'
    
18.    
    
19.     assert code_type in set(['utf-8','gbk','gb18030','gb2312'])
    
20.    
    
21.     time.sleep(delay_time)
    
22.     html.encoding = code_type
    
23.     return html.text

复制代码

urllib库我没怎么用过不太熟，你用type看看返回的是不是str，然后html.decode('gbk').encode('utf-8')也行

SylarPu

坏小子 发表于 2017-12-2 18:58
给你一段我用了很久的爬虫代码，能自动分析网页编码的

我后来尝试用了beautifulsoup的prettify解决了这个问题。感觉是一开始过去格式有问题吧