鱼C论坛

 找回密码
 立即注册
查看: 1200|回复: 8

[已解决]问题求助

[复制链接]
发表于 2020-7-29 16:27:25 | 显示全部楼层 |阅读模式

马上注册,结交更多好友,享用更多功能^_^

您需要 登录 才可以下载或查看,没有账号?立即注册

x
第55讲爬取百度百科,会产生这样的报错,请问有什么办法解决嘛?
UnicodeEncodeError: 'ascii' codec can't encode characters in position 36-39: ordinal not in range(128)
最佳答案
2020-7-29 16:30:34


网站与时俱进了,甲鱼哥的视频比较找

现在网站改动比较大,词条超链接的关键词不是 view 了,而是 item 你按照这里的帖子改下代码就可以正常访问了:

https://fishc.com.cn/forum.php?m ... 631&pid=4696255

将甲鱼哥的代码把  soup.find_all(href=re.compile("view"))  改成 soup.find_all(href=re.compile("item"))[7:-1]  即可正常爬取数据了


想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2020-7-29 16:27:49 | 显示全部楼层
编码问题,发完整代码看下
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2020-7-29 16:30:34 | 显示全部楼层    本楼为最佳答案   


网站与时俱进了,甲鱼哥的视频比较找

现在网站改动比较大,词条超链接的关键词不是 view 了,而是 item 你按照这里的帖子改下代码就可以正常访问了:

https://fishc.com.cn/forum.php?m ... 631&pid=4696255

将甲鱼哥的代码把  soup.find_all(href=re.compile("view"))  改成 soup.find_all(href=re.compile("item"))[7:-1]  即可正常爬取数据了


想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2020-7-29 16:33:28 | 显示全部楼层
Twilight6 发表于 2020-7-29 16:30
网站与时俱进了,甲鱼哥的视频比较找

现在网站改动比较大,词条超链接的关键词不是 view 了,而是 i ...

网站与时俱进了,甲鱼哥的视频比较

是“早”不是“找”吧

点评

小问题  发表于 2020-7-29 16:34
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2020-7-29 16:35:08 | 显示全部楼层
本帖最后由 陈尚涵 于 2020-7-29 16:36 编辑
Twilight6 发表于 2020-7-29 16:30
网站与时俱进了,甲鱼哥的视频比较找

现在网站改动比较大,词条超链接的关键词不是 view 了,而是 i ...


额,小问题也得改啊,我有强迫症
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2020-7-29 16:37:51 | 显示全部楼层
Twilight6 发表于 2020-7-29 16:30
网站与时俱进了,甲鱼哥的视频比较找

现在网站改动比较大,词条超链接的关键词不是 view 了,而是 i ...

我发现你有时候总是打字出错,你打字速度大概多少个字一分钟啊
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

 楼主| 发表于 2020-7-29 16:42:52 | 显示全部楼层
陈尚涵 发表于 2020-7-29 16:27
编码问题,发完整代码看下
#爬虫允许用户输入搜索的关键词,并显示结果

import urllib.request
import urllib.parse
import re
from bs4 import BeautifulSoup



 
def main():
    keyword = input('请输入关键词:')
    keyword = urllib.parse.urlencode({'word':keyword})
    response = urllib.request.urlopen('http://baike.baidu.com/search/word?%s'%keyword)
    html = response.read()
    soup =  BeautifulSoup(html,'html.parser')

    for each in soup.find_all(href = re.compile('item')):
        content = ''.join([each.text])
        url2= ''.join(['http://baike.baidu.com',each['href']])
        response2 = urllib.request.urlopen(url2)
        html2 = response2.read()
        soup2 = BeautifulSoup(html2,'html.parser')
        if soup2.h2:
            content = ''.join([content,soup2.h2.text])
        content = ''.join([content,'_>',url2])
        print(content)

if __name__ == '__main__':
    main()
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2020-7-29 16:51:19 | 显示全部楼层



不看 3L 正解???这样改下就行啊
# 爬虫允许用户输入搜索的关键词,并显示结果

import urllib.request
import urllib.parse
import re
from bs4 import BeautifulSoup


def main():
    keyword = input('请输入关键词:')
    keyword = urllib.parse.urlencode({'word': keyword})
    response = urllib.request.urlopen('http://baike.baidu.com/search/word?%s' % keyword)
    html = response.read()
    soup = BeautifulSoup(html, 'html.parser')

    for each in soup.find_all(href=re.compile("item"))[7:-1]:
        content = ''.join([each.text])
        url2 = ''.join(['http://baike.baidu.com', each['href']])
        response2 = urllib.request.urlopen(url2)
        html2 = response2.read()
        soup2 = BeautifulSoup(html2, 'html.parser')
        if soup2.h2:
            content = ''.join([content, soup2.h2.text])
        content = ''.join([content, '_>', url2])
        print(content)


if __name__ == '__main__':
    main()
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2025-1-19 14:37

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表