[已解决]明明我原封不动地把例题打下来还是会报错？

dweiyuan

import urllib.request
import urllib.parse
import re
from bs4 import BeautifulSoup
def main() :
    keyword = input("请输入关键字")
    keyword = urllib.parse.urlencode({'word':keyword})
    response = urllib.request.urlopen('http://baike.baidu.com/search/word?%s'%keyword)
    html = response.read().decode()
    soup = BeautifulSoup(html,'html.parser')
    for each in soup.find_all(href = re.compile('view')) :
        content = ''.join([each.text])
        url2 = ''.join(['http://baike.baidu.com',each['href']])
        response2 = urllib.request.urlopen(url2)
        html2 = response2.read()
        soup2 = BeautifulSoup(html2,'html.parser')
        if soup2.h2 :
            content = ''.join([content,'->',url2])   
        print(content)




if __name__ == '__main__' :
    main()

我按照课后题原文输入，为什么还是报错：
UnicodeEncodeError: 'ascii' codec can't encode characters in position 36-39: ordinal not in range(128)

最佳答案

月排行榜 / 总排行榜

XiaoPaiShen

2020-1-30 12:27:14

1. import urllib.request
   
2. import urllib.parse
   
3. import re
   
4. from bs4 import BeautifulSoup
   
5. 
   
6. def main():
   
7.     keyword = input("请输入关键词：")
   
8.     keyword = urllib.parse.urlencode({"word":keyword})
   
9. 
   
10.     url = "http://baike.baidu.com/search/word?{0}".format(keyword)
    
11.     # print('[url] --> {0}'.format(url))
    
12.    
    
13.     response = urllib.request.urlopen(url)
    
14.     html = response.read()
    
15.     soup = BeautifulSoup(html, "html.parser")
    
16. 
    
17.     for each in soup.find_all(href=re.compile("view")):
    
18.         content = ''.join([each.text])
    
19. 
    
20.         root_url = "http://baike.baidu.com"
    
21.         href_url = each["href"]        
    
22.         url2 = urllib.parse.urljoin(root_url, href_url)        
    
23.         # print('[url2] --> {0}'.format(url2))
    
24. 
    
25.         url2 = urllib.parse.quote(url2, safe=':/?#&')
    
26.         
    
27.         response2 = urllib.request.urlopen(url2)
    
28.         html2 = response2.read()
    
29.         soup2 = BeautifulSoup(html2, "html.parser")
    
30.         if soup2.h2:
    
31.             content = ''.join([content, soup2.h2.text])
    
32. 
    
33.         decode_url = urllib.parse.unquote(url2)
    
34.         decode_url = urllib.parse.unquote(decode_url)
    
35.             
    
36.         content = ''.join([content, " -> ", decode_url])
    
37.         print(content)
    
38. 
    
39. if __name__ == "__main__":
    
40.     main()
    

复制代码

跳转到最佳答案楼层

shake_a_tree@16

输入的是中文？编码好像有问题

dweiyuan

shake_a_tree@16 发表于 2020-1-27 20:43
输入的是中文？编码好像有问题

不是吖，问题是出现在第二个urlopen上的，其他的我试了，都是没问题的。但我不知道为什么第二个urlopen会出错。

wp231957

1  这个错误是由编码格式引起
2  现在几乎没有人用urllib这个模块了

shake_a_tree@16

dweiyuan 发表于 2020-1-27 23:52
不是吖，问题是出现在第二个urlopen上的，其他的我试了，都是没问题的。但我不知道为什么第二个urlopen会 ...

urlopen会转码的，所以出问题了

XiaoPaiShen

1. import urllib.request
   
2. import urllib.parse
   
3. import re
   
4. from bs4 import BeautifulSoup
   
5. 
   
6. def main():
   
7.     keyword = input("请输入关键词：")
   
8.     keyword = urllib.parse.urlencode({"word":keyword})
   
9. 
   
10.     url = "http://baike.baidu.com/search/word?{0}".format(keyword)
    
11.     # print('[url] --> {0}'.format(url))
    
12.    
    
13.     response = urllib.request.urlopen(url)
    
14.     html = response.read()
    
15.     soup = BeautifulSoup(html, "html.parser")
    
16. 
    
17.     for each in soup.find_all(href=re.compile("view")):
    
18.         content = ''.join([each.text])
    
19. 
    
20.         root_url = "http://baike.baidu.com"
    
21.         href_url = each["href"]        
    
22.         url2 = urllib.parse.urljoin(root_url, href_url)        
    
23.         # print('[url2] --> {0}'.format(url2))
    
24. 
    
25.         url2 = urllib.parse.quote(url2, safe=':/?#&')
    
26.         
    
27.         response2 = urllib.request.urlopen(url2)
    
28.         html2 = response2.read()
    
29.         soup2 = BeautifulSoup(html2, "html.parser")
    
30.         if soup2.h2:
    
31.             content = ''.join([content, soup2.h2.text])
    
32. 
    
33.         decode_url = urllib.parse.unquote(url2)
    
34.         decode_url = urllib.parse.unquote(decode_url)
    
35.             
    
36.         content = ''.join([content, " -> ", decode_url])
    
37.         print(content)
    
38. 
    
39. if __name__ == "__main__":
    
40.     main()
    

复制代码

dweiyuan

wp231957 发表于 2020-1-28 11:40
1  这个错误是由编码格式引起
2  现在几乎没有人用urllib这个模块了

请问，现在用什么获取网络请求比较方便

dweiyuan

XiaoPaiShen 发表于 2020-1-30 12:27

请问，urllib.parse.quote() 函数的safe参数怎么使用

XiaoPaiShen

safe参数指定的字符串中包含的字符不会被转换

dweiyuan

XiaoPaiShen 发表于 2020-2-4 21:31
safe参数指定的字符串中包含的字符不会被转换

谢谢。
但是？#/之类的符号不就本来就是ASCII字符吗，为什么还要把它们放在safe里？

XiaoPaiShen

dweiyuan 发表于 2020-2-5 17:57
谢谢。
但是？#/之类的符号不就本来就是ASCII字符吗，为什么还要把它们放在safe里？

在url中，#/ 会被编码的，
#：%2f   
/：%23

如果不想被编码，就把不想编码的字符赋給 safe