[已解决]爬虫编码解码后为英文的问题救助

937135952

代码：
import requests  
from bs4 import BeautifulSoup


def JinRuYeMian(wangzi):
    html = wangzi

    headers = {
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36',
    'Accept':'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
    'Accept-Language':'en-US,en;q=0.5',
    'Accept-Encoding':'gzip',
    'DNT':'1',
    'Connection':'close'
    }

    page = requests.get(html,headers=headers)
   
    soup_obj=BeautifulSoup(page.content,'html.parser')
     
    txt_content = soup_obj.find(id = 'mainNewsContent')
    jiema = txt_content.encode('GB2312')
    jiema2 = jiema.decode('GB2312')
   
   
    print(jiema2)

    c=int(1)
    file_name = str(c) +'攻略' +'.txt'
    with open(file_name,'w') as temp:

        temp.write(str(jiema.decode('GB2312')))

        
    print('攻略'+file_name+'已经完成下载')
        
    c = c+1
   


if __name__ =='__main__':
    JinRuYeMian('https://3gmfw.cn//article/html2/2020/04/26/523599.html')
   
   
   



输出结果：
<li><span class="list-icon2">11</span><a href="/article/html2/2020/04/26/523590.html" title="°&#217;±&#228;&#180;ó&#213;ì&#204;&#189;&#192;&#199;&#200;&#203;&#214;&#174;&#209;&#170;&#208;×&#202;&#214;&#202;&#199;&#203;&#173;&#163;&#191; °&#217;±&#228;&#180;ó&#213;ì&#204;&#189;&#192;&#199;&#200;&#203;&#214;&#174;&#209;&#170;&#185;&#165;&#194;&#212;">°&#217;±&#228;&#180;ó&#213;ì&#204;&#189;&#192;&#199;&#200;&#203;&#214;&#174;&#209;&#170;&#208;×&#202;&#214;&#202;&#199;&#203;&#173;&#163;&#191; °&#217;±&#228;&#180;ó&#213;ì&#204;&#189;&#192;&#199;&#200;&#203;&#214;&#174;&#209;&#170;&#185;&#165;&#194;&#212;</a></li>
<li><span class="list-icon2">12</span><a href="/article/html2/2020/04/26/523589.html" title="°&#217;±&#228;&#180;ó&#213;ì&#204;&#189;&#212;&#161;&#187;&#240;&#208;×&#202;&#214;&#202;&#199;&#203;&#173;&#163;&#191; °&#217;±&#228;&#180;ó&#213;ì&#204;&#189;&#212;&#161;&#187;&#240;&#185;&#165;&#194;&#212;">°&#217;±&#228;&#180;ó&#213;ì&#204;&#189;&#212;&#161;&#187;&#240;&#208;×&#202;&#214;&#202;&#199;&#203;&#173;&#163;&#191; °&#217;±&#228;&#180;ó&#213;ì&#204;&#189;&#212;&#161;&#187;&#240;&#185;&#165;&#194;&#212;</a></li>


网页内容为中文，我想把它爬下来，但是不知道转换成了这种字符串咋解决，求大佬指教

最佳答案

月排行榜 / 总排行榜

suchocolate

2020-7-26 20:13:00

soup不太熟，试试xpath。

1. 
   
2. import requests
   
3. from lxml import etree
   
4. 
   
5. 
   
6. def main(url):
   
7.     headers = {'User-Agent': 'firefox'}
   
8.     r = requests.get(url, headers=headers)
   
9.     r.encoding = 'gbk'
   
10.     html = etree.HTML(r.text)
    
11.     result = html.xpath('//div[@id="mainNewsContent"]/p/text()')
    
12.     print(result)
    
13. 
    
14. 
    
15. if __name__ == '__main__':
    
16.     main('https://3gmfw.cn/article/html2/2020/04/26/523599.html')
    

复制代码

跳转到最佳答案楼层

xiaosi4081

1. txt_content = soup_obj.find(id = 'mainNewsContent')
   
2. jiema = txt_content.encode('utf-8')
   
3. jiema2 = jiema.decode('utf-8')
   
4. 
   
5. print(jiema2)
   
6. 
   
7. 
   
8. c=1
   
9. file_name = str(c)  +'.txt'
   
10. with open(file_name,'w') as temp:
    
11.         temp.write(str(jiema.decode('utf-8')))

复制代码

Twilight6

请发下完整代码

suchocolate

这个不叫英文，这个叫html编码格式。
发完整代码，让我们确认一下网站使用的编码，在决定encode格式。

937135952

Twilight6 发表于 2020-7-24 17:41
请发下完整代码

好嘞，谢谢各位

937135952

suchocolate 发表于 2020-7-24 20:08
这个不叫英文，这个叫html编码格式。
发完整代码，让我们确认一下网站使用的编码，在决定encode格式。

好嘞，谢谢各位

代码：
import requests  
from bs4 import BeautifulSoup


def JinRuYeMian(wangzi):
    html = wangzi

    headers = {
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36',
    'Accept':'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
    'Accept-Language':'en-US,en;q=0.5',
    'Accept-Encoding':'gzip',
    'DNT':'1',
    'Connection':'close'
    }

    page = requests.get(html,headers=headers)
   
    soup_obj=BeautifulSoup(page.content,'html.parser')
     
    txt_content = soup_obj.find(id = 'mainNewsContent')
    jiema = txt_content.encode('GB2312')
    jiema2 = jiema.decode('GB2312')
   
   
    print(jiema2)

    c=int(1)
    file_name = str(c) +'攻略' +'.txt'
    with open(file_name,'w') as temp:

        temp.write(str(jiema.decode('GB2312')))

        
    print('攻略'+file_name+'已经完成下载')
        
    c = c+1
   


if __name__ =='__main__':
    JinRuYeMian('https://3gmfw.cn//article/html2/2020/04/26/523599.html')

937135952

xiaosi4081 发表于 2020-7-24 17:12

好像不太行，我发了全部代码...要不再看看？

suchocolate

soup不太熟，试试xpath。

1. 
   
2. import requests
   
3. from lxml import etree
   
4. 
   
5. 
   
6. def main(url):
   
7.     headers = {'User-Agent': 'firefox'}
   
8.     r = requests.get(url, headers=headers)
   
9.     r.encoding = 'gbk'
   
10.     html = etree.HTML(r.text)
    
11.     result = html.xpath('//div[@id="mainNewsContent"]/p/text()')
    
12.     print(result)
    
13. 
    
14. 
    
15. if __name__ == '__main__':
    
16.     main('https://3gmfw.cn/article/html2/2020/04/26/523599.html')
    

复制代码

937135952

谢啦

937135952

suchocolate 发表于 2020-7-26 20:13
soup不太熟，试试xpath。

    result = html.xpath('//div[@id="mainNewsContent"]/p/text()')
这里面/p是什么意思阿....就同一个网站里我换了个网址运行的结果就是空白了

suchocolate

937135952 发表于 2020-7-28 16:30
result = html.xpath('//div[@id="mainNewsContent"]/p/text()')
这里面/p是什么意思阿....就同一个 ...

这个贴子的网页结果，小说的内容在div的p节点的下面，所以选p。
换了网页得研究新网页的html结构，爬虫就是这样，自己的需求得自己定制。