[已解决]问题求助

小尤you

第55讲爬取百度百科，会产生这样的报错，请问有什么办法解决嘛？
UnicodeEncodeError: 'ascii' codec can't encode characters in position 36-39: ordinal not in range(128)

最佳答案

月排行榜 / 总排行榜

Twilight6

2020-7-29 16:30:34

网站与时俱进了，甲鱼哥的视频比较找

现在网站改动比较大，词条超链接的关键词不是 view 了，而是 item 你按照这里的帖子改下代码就可以正常访问了：

https://fishc.com.cn/forum.php?m ... 631&pid=4696255

将甲鱼哥的代码把  soup.find_all(href=re.compile("view"))  改成 soup.find_all(href=re.compile("item"))[7:-1]  即可正常爬取数据了

跳转到最佳答案楼层

陈尚涵

编码问题，发完整代码看下

Twilight6

网站与时俱进了，甲鱼哥的视频比较找

现在网站改动比较大，词条超链接的关键词不是 view 了，而是 item 你按照这里的帖子改下代码就可以正常访问了：

https://fishc.com.cn/forum.php?m ... 631&pid=4696255

将甲鱼哥的代码把  soup.find_all(href=re.compile("view"))  改成 soup.find_all(href=re.compile("item"))[7:-1]  即可正常爬取数据了

陈尚涵

Twilight6 发表于 2020-7-29 16:30
网站与时俱进了，甲鱼哥的视频比较找

现在网站改动比较大，词条超链接的关键词不是 view 了，而是 i ...

网站与时俱进了，甲鱼哥的视频比较找

是“早”不是“找”吧

陈尚涵

Twilight6 发表于 2020-7-29 16:30
网站与时俱进了，甲鱼哥的视频比较找

现在网站改动比较大，词条超链接的关键词不是 view 了，而是 i ...

额，小问题也得改啊，我有强迫症

陈尚涵

Twilight6 发表于 2020-7-29 16:30
网站与时俱进了，甲鱼哥的视频比较找

现在网站改动比较大，词条超链接的关键词不是 view 了，而是 i ...

我发现你有时候总是打字出错，你打字速度大概多少个字一分钟啊

小尤you

陈尚涵 发表于 2020-7-29 16:27
编码问题，发完整代码看下

1. #爬虫允许用户输入搜索的关键词，并显示结果
   
2. 
   
3. import urllib.request
   
4. import urllib.parse
   
5. import re
   
6. from bs4 import BeautifulSoup
   
7. 
   
8. 
   
9. 
   
10. 
    
11. def main():
    
12.     keyword = input('请输入关键词:')
    
13.     keyword = urllib.parse.urlencode({'word':keyword})
    
14.     response = urllib.request.urlopen('http://baike.baidu.com/search/word?%s'%keyword)
    
15.     html = response.read()
    
16.     soup =  BeautifulSoup(html,'html.parser')
    
17. 
    
18.     for each in soup.find_all(href = re.compile('item')):
    
19.         content = ''.join([each.text])
    
20.         url2= ''.join(['http://baike.baidu.com',each['href']])
    
21.         response2 = urllib.request.urlopen(url2)
    
22.         html2 = response2.read()
    
23.         soup2 = BeautifulSoup(html2,'html.parser')
    
24.         if soup2.h2:
    
25.             content = ''.join([content,soup2.h2.text])
    
26.         content = ''.join([content,'_>',url2])
    
27.         print(content)
    
28. 
    
29. if __name__ == '__main__':
    
30.     main()
    

复制代码

Twilight6

小尤you 发表于 2020-7-29 16:42

不看 3L 正解？？？这样改下就行啊

1. # 爬虫允许用户输入搜索的关键词，并显示结果
   
2. 
   
3. import urllib.request
   
4. import urllib.parse
   
5. import re
   
6. from bs4 import BeautifulSoup
   
7. 
   
8. 
   
9. def main():
   
10.     keyword = input('请输入关键词:')
    
11.     keyword = urllib.parse.urlencode({'word': keyword})
    
12.     response = urllib.request.urlopen('http://baike.baidu.com/search/word?%s' % keyword)
    
13.     html = response.read()
    
14.     soup = BeautifulSoup(html, 'html.parser')
    
15. 
    
16.     for each in soup.find_all(href=re.compile("item"))[7:-1]:
    
17.         content = ''.join([each.text])
    
18.         url2 = ''.join(['http://baike.baidu.com', each['href']])
    
19.         response2 = urllib.request.urlopen(url2)
    
20.         html2 = response2.read()
    
21.         soup2 = BeautifulSoup(html2, 'html.parser')
    
22.         if soup2.h2:
    
23.             content = ''.join([content, soup2.h2.text])
    
24.         content = ''.join([content, '_>', url2])
    
25.         print(content)
    
26. 
    
27. 
    
28. if __name__ == '__main__':
    
29.     main()
    

复制代码