[已解决]求解答

myqf123

1. import urllib.request
   
2. import urllib.parse
   
3. import re
   
4. from bs4 import BeautifulSoup
   
5. import random
   
6. import time
   
7. 
   
8. def main():
   
9. ##    keyword = input("请输入关键词：")
   
10.     keyword = urllib.parse.urlencode({"word":'猪八戒'})
    
11.    
    
12.     url = ("http://baike.baidu.com/search/word?%s" % keyword)
    
13.     iplist = ['113.28.90.67:9480']
    
14.     proxy_support = urllib.request.ProxyHandler({'http':random.choice(iplist)})
    
15.     opener = urllib.request.build_opener(proxy_support)
    
16.     opener.addheaders = [('User-Agent','Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36')]
    
17.     urllib.request.install_opener(opener)
    
18.    
    
19.     response = urllib.request.urlopen(url)
    
20.     html = response.read().decode('UTF-8')
    
21.     soup = BeautifulSoup(html,"html.parser")
    
22. 
    
23.     for each in soup.find_all(href=re.compile("view")):
    
24.         content = ''.join([each.text])
    
25.         url2 = ''.join(["http://baike.baidu.com",each["href"]])
    
26.         
    
27.         response2 = urllib.request.urlopen(url2)
    
28.         html2 = response2.read().decode('UTF-8')
    
29.         soup2 = BeautifulSoup(html2,"html.parser")            #从网页抓取数据
    
30.         if soup2:
    
31.             content = ''.join([content, soup2.h2.text])
    
32.         content = ''.join([content, " -> ", url2])
    
33.         print(content)
    
34.         time.sleep(3)
    
35. 
    
36. if __name__ == "__main__":
    
37.     main()

复制代码

运行结果总是：UnicodeEncodeError: 'ascii' codec can't encode characters in position 58-61: ordinal not in range(128)
求问题出在哪里了？

最佳答案

月排行榜 / 总排行榜

伏惜寒

2021-12-29 09:08:18

我在你的另一个帖子里回答过了，是转码问题，你自己去看一下吧

跳转到最佳答案楼层

伏惜寒

我在你的另一个帖子里回答过了，是转码问题，你自己去看一下吧

fatinmidage

headers没配置吧，在headers里面配置一个user-agent

myqf123

fatinmidage 发表于 2021-12-29 10:07
headers没配置吧，在headers里面配置一个user-agent

opener.addheaders = [('User-Agent','Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36')]

配置了

fatinmidage

myqf123 发表于 2021-12-29 12:30
opener.addheaders = [('User-Agent','Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHT ...

不好意思，看漏了。我用request模块是可以正常获取响应的

1. import requests
   
2. headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.110 Safari/537.36 Edg/96.0.1054.62'}
   
3. url = 'http://baike.baidu.com/wikicategory/view?categoryName=恐龙大全'
   
4. res = requests.get(url,headers=headers)

复制代码

myqf123

fatinmidage 发表于 2021-12-29 16:28
不好意思，看漏了。我用request模块是可以正常获取响应的

这个是可以的，到url2那儿就不行了

myqf123

伏惜寒 发表于 2021-12-30 10:33
我在你的另一个帖子里回答过了，是转码问题，你自己去看一下吧

好的，非常感谢您！这是小甲鱼老师《零基础入门学习python》第55课的作业练习，我简单的改动了下，要的效果就是

                               
登录/注册后可看大图

myqf123

伏惜寒 发表于 2021-12-29 09:08
我在你的另一个帖子里回答过了，是转码问题，你自己去看一下吧

问题已解决，你的回答，让我知道了问题所在，非常感谢你，元旦快乐！！！