[已解决]爬虫编码解码后为英文的问题救助

937135952 · 发表于 2020-7-24 16:03:32

马上注册，结交更多好友，享用更多功能^_^

您需要登录才可以下载或查看，没有账号？立即注册

x

本帖最后由 937135952 于 2020-7-25 20:37 编辑

代码：
import requests
from bs4 import BeautifulSoup

def JinRuYeMian(wangzi):
html = wangzi

headers = {
'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36',
'Accept':'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
'Accept-Language':'en-US,en;q=0.5',
'Accept-Encoding':'gzip',
'DNT':'1',
'Connection':'close'
}

page = requests.get(html,headers=headers)

soup_obj=BeautifulSoup(page.content,'html.parser')

txt_content = soup_obj.find(id = 'mainNewsContent')
jiema = txt_content.encode('GB2312')
jiema2 = jiema.decode('GB2312')

print(jiema2)

c=int(1)
file_name = str(c) +'攻略' +'.txt'
with open(file_name,'w') as temp:

      temp.write(str(jiema.decode('GB2312')))


print('攻略'+file_name+'已经完成下载')

c = c+1

if __name__ =='__main__':
JinRuYeMian('https://3gmfw.cn//article/html2/2020/04/26/523599.html')

输出结果：
<li><span class="list-icon2">11</span><a href="/article/html2/2020/04/26/523590.html" title="°Ù±ä´óÕìÌ½ÀÇÈËÖ®ÑªÐ×ÊÖÊÇË£¿ °Ù±ä´óÕìÌ½ÀÇÈËÖ®Ñª¹¥ÂÔ">°Ù±ä´óÕìÌ½ÀÇÈËÖ®ÑªÐ×ÊÖÊÇË£¿ °Ù±ä´óÕìÌ½ÀÇÈËÖ®Ñª¹¥ÂÔ</a></li>
<li><span class="list-icon2">12</span><a href="/article/html2/2020/04/26/523589.html" title="°Ù±ä´óÕìÌ½Ô¡»ðÐ×ÊÖÊÇË£¿ °Ù±ä´óÕìÌ½Ô¡»ð¹¥ÂÔ">°Ù±ä´óÕìÌ½Ô¡»ðÐ×ÊÖÊÇË£¿ °Ù±ä´óÕìÌ½Ô¡»ð¹¥ÂÔ</a></li>

网页内容为中文，我想把它爬下来，但是不知道转换成了这种字符串咋解决，求大佬指教

最佳答案

月排行榜 / 总排行榜

suchocolate

2020-7-26 20:13:00

本帖最后由 suchocolate 于 2020-7-26 20:15 编辑

soup不太熟，试试xpath。

import requests
from lxml import etree


def main(url):
    headers = {'User-Agent': 'firefox'}
    r = requests.get(url, headers=headers)
    r.encoding = 'gbk'
    html = etree.HTML(r.text)
    result = html.xpath('//div[@id="mainNewsContent"]/p/text()')
    print(result)


if __name__ == '__main__':
    main('https://3gmfw.cn/article/html2/2020/04/26/523599.html')

跳转到最佳答案楼层

xiaosi4081 · 发表于 2020-7-24 17:12:01

本帖最后由 xiaosi4081 于 2020-7-24 17:13 编辑

txt_content = soup_obj.find(id = 'mainNewsContent')
jiema = txt_content.encode('utf-8')
jiema2 = jiema.decode('utf-8')

print(jiema2)


c=1
file_name = str(c)  +'.txt'
with open(file_name,'w') as temp:
        temp.write(str(jiema.decode('utf-8')))

Twilight6 · 发表于 2020-7-24 17:41:27

请发下完整代码

suchocolate · 发表于 2020-7-24 20:08:38

这个不叫英文，这个叫html编码格式。
发完整代码，让我们确认一下网站使用的编码，在决定encode格式。

937135952 · 发表于 2020-7-25 20:37:59

Twilight6 发表于 2020-7-24 17:41
请发下完整代码

好嘞，谢谢各位

937135952 · 发表于 2020-7-25 20:38:30

suchocolate 发表于 2020-7-24 20:08
这个不叫英文，这个叫html编码格式。
发完整代码，让我们确认一下网站使用的编码，在决定encode格式。

好嘞，谢谢各位

代码：
import requests
from bs4 import BeautifulSoup

def JinRuYeMian(wangzi):
html = wangzi

headers = {
'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36',
'Accept':'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
'Accept-Language':'en-US,en;q=0.5',
'Accept-Encoding':'gzip',
'DNT':'1',
'Connection':'close'
}

page = requests.get(html,headers=headers)

soup_obj=BeautifulSoup(page.content,'html.parser')

txt_content = soup_obj.find(id = 'mainNewsContent')
jiema = txt_content.encode('GB2312')
jiema2 = jiema.decode('GB2312')

print(jiema2)

c=int(1)
file_name = str(c) +'攻略' +'.txt'
with open(file_name,'w') as temp:

      temp.write(str(jiema.decode('GB2312')))


print('攻略'+file_name+'已经完成下载')

c = c+1

if __name__ =='__main__':
JinRuYeMian('https://3gmfw.cn//article/html2/2020/04/26/523599.html')

937135952 · 发表于 2020-7-25 20:40:12

xiaosi4081 发表于 2020-7-24 17:12

好像不太行，我发了全部代码...要不再看看？

suchocolate · 发表于 2020-7-26 20:13:00

这个最佳答案由 suchocolate 给出，感谢 suchocolate 的回答。

单击隐藏图章

本帖最后由 suchocolate 于 2020-7-26 20:15 编辑

soup不太熟，试试xpath。

import requests
from lxml import etree


def main(url):
    headers = {'User-Agent': 'firefox'}
    r = requests.get(url, headers=headers)
    r.encoding = 'gbk'
    html = etree.HTML(r.text)
    result = html.xpath('//div[@id="mainNewsContent"]/p/text()')
    print(result)


if __name__ == '__main__':
    main('https://3gmfw.cn/article/html2/2020/04/26/523599.html')

937135952 · 发表于 2020-7-27 16:22:25

谢啦

937135952 · 发表于 2020-7-28 16:30:11

suchocolate 发表于 2020-7-26 20:13
soup不太熟，试试xpath。

result = html.xpath('//div[@id="mainNewsContent"]/p/text()')
这里面/p是什么意思阿....就同一个网站里我换了个网址运行的结果就是空白了

suchocolate · 发表于 2020-7-28 16:46:55

937135952 发表于 2020-7-28 16:30
result = html.xpath('//div[@id="mainNewsContent"]/p/text()')
这里面/p是什么意思阿....就同一个 ...

这个贴子的网页结果，小说的内容在div的p节点的下面，所以选p。
换了网页得研究新网页的html结构，爬虫就是这样，自己的需求得自己定制。

账号		自动登录	找回密码
密码			立即注册