[已解决]python 55讲的课后作业

fresh_python

请教各位大神，发现小甲鱼几年前写的代码爬取百度百科时会出错。我应该怎么改呢？

1. import urllib.request
   
2. import urllib.parse
   
3. import re
   
4. from bs4 import BeautifulSoup
   
5. 
   
6. def test_url(soup):
   
7.     result = soup.find(text=re.compile("百度百科尚未收录词条"))
   
8.     if result:
   
9.         print(result[0:-1]) # 百度这个碧池在最后加了个“符号，给它去掉
   
10.         return False
    
11.     else:
    
12.         return True
    
13. 
    
14. def summary(soup):
    
15.     word = soup.h1.text
    
16.     # 如果存在副标题，一起打印
    
17.     if soup.h2:
    
18.         word += soup.h2.text
    
19.     # 打印标题
    
20.     print(word)
    
21.     # 打印简介
    
22.     if soup.find(class_="lemma-summary"):
    
23.         print(soup.find(class_="lemma-summary").text)   
    
24. 
    
25. def get_urls(soup):
    
26.     for each in soup.find_all(href=re.compile("view")):
    
27.         content = ''.join([each.text])
    
28. 
    
29.         url2 = ''.join(["http://baike.baidu.com", each["href"]])
    
30.         
    
31.         response2 = urllib.request.urlopen(url2)
    
32.         html2 = response2.read()
    
33.         soup2 = BeautifulSoup(html2, "html.parser")
    
34.         if soup2.h2:
    
35.             content = ''.join([content, soup2.h2.text])
    
36.         content = ''.join([content, " -> ", url2])
    
37.         yield content
    
38.         
    
39. 
    
40. def main():
    
41.     word = input("请输入关键词：")
    
42.     keyword = urllib.parse.urlencode({"word":word})
    
43.     response = urllib.request.urlopen("https://baike.baidu.com/search/word?%s" % keyword)
    
44.     html = response.read()
    
45.     soup = BeautifulSoup(html, "html.parser")
    
46. 
    
47.     if test_url(soup):
    
48.         summary(soup)
    
49.         
    
50.         print("下边打印相关链接：")
    
51.         each = get_urls(soup)
    
52.         while True:
    
53.             try:
    
54.                 for i in range(10):
    
55.                     print(next(each))
    
56.             except StopIteration:
    
57.                 break
    
58.             
    
59.             command = input("输入任意字符将继续打印，q退出程序：")
    
60.             if command == 'q':
    
61.                 break
    
62.             else:
    
63.                 continue
    
64.    
    
65. if __name__ == "__main__":
    
66.     main()
    

复制代码

最佳答案

月排行榜 / 总排行榜

Chysial

2020-3-29 10:02:14

原来小甲鱼写的时候没有link里边有中文的连接，后边有中文的连接了，所以不行，把他那个keyword在url2哪里输一遍，把汉字编码就好了，改一下就okl了

1. mport urllib.request
   
2. import urllib.parse
   
3. import re
   
4. from bs4 import BeautifulSoup
   
5. 
   
6. def test_url(soup):
   
7.     result = soup.find(text=re.compile("百度百科尚未收录词条"))
   
8.     if result:
   
9.         print(result[0:-1]) # 百度这个碧池在最后加了个“符号，给它去掉
   
10.         return False
    
11.     else:
    
12.         return True
    
13. 
    
14. def summary(soup):
    
15.     word = soup.h1.text
    
16.     # 如果存在副标题，一起打印
    
17.     if soup.h2:
    
18.         word += soup.h2.text
    
19.     # 打印标题
    
20.     print(word)
    
21.     # 打印简介
    
22.     if soup.find(class_="lemma-summary"):
    
23.         print(soup.find(class_="lemma-summary").text)   
    
24. 
    
25. def get_urls(soup):
    
26.     for each in soup.find_all(href=re.compile("view")):
    
27.         content = ''.join([each.text])
    
28.         print(each.text)
    
29.         if '=' in each['href']:
    
30.                
    
31.             [links,name] = each['href'].split('Name=',2)
    
32.             keyname = urllib.parse.urlencode({"Name":name})
    
33.             key_link = links + keyname
    
34.         else:
    
35.             key_link = each['href']
    
36.         url2 = ''.join(["http://baike.baidu.com", key_link])
    
37.         response2 = urllib.request.urlopen(url2)
    
38.         html2 = response2.read()
    
39.         soup2 = BeautifulSoup(html2, "html.parser")
    
40.         if soup2.h2:
    
41.             content = ''.join([content, soup2.h2.text])
    
42.         content = ''.join([content, " -> ", url2])
    
43.         yield content
    
44.         
    
45. 
    
46. def main():
    
47.     word = input("请输入关键词：")
    
48.     keyword = urllib.parse.urlencode({"word":word})
    
49.     response = urllib.request.urlopen("https://baike.baidu.com/search/word?%s" % keyword)
    
50.     html = response.read()
    
51.     soup = BeautifulSoup(html, "html.parser")
    
52. 
    
53.     if test_url(soup):
    
54.         summary(soup)
    
55.         
    
56.         print("下边打印相关链接：")
    
57.         each = get_urls(soup)
    
58.         while True:
    
59.             try:
    
60.                 for i in range(10):
    
61.                     print(next(each))
    
62.             except StopIteration:
    
63.                 break
    
64.             
    
65.             command = input("输入任意字符将继续打印，q退出程序：")
    
66.             if command == 'q':
    
67.                 break
    
68.             else:
    
69.                 continue
    
70.    
    
71. if __name__ == "__main__":
    
72.     main()
    
73. 
    

复制代码

这是结果：
请输入关键词：tom
汤姆（美国动画片《猫和老鼠》中的主角）

汤姆（Tom）是米高梅公司制作的经典动画片《猫和老鼠》中的主角之一，70年代老动画中的著名卡通明星角色，是一只蓝灰和白色混合的英国短毛猫。他与小老鼠杰瑞（Jerry）之间可称得上是一对欢喜冤家，二者亦敌亦友，有时互相捣乱，有时互相帮助，有时争论不休，有时团结和谐。他每天忙碌于捉住同住在一起的杰瑞，但总是不如意，总在被耍，憨傻得可爱。生活中充满幽默搞笑，同时也具有抒情与伤情的一幕；主人通常都为两只鞋太太（又黑又胖的女人）。另外，他也爱慕漂亮的千金母猫图多盖洛。有时还被其他成员欺负，如斯派克（Spike）、布奇、莱特宁、托普斯等。

下边打印相关链接：
恐龙百科
恐龙百科 -> http://baike.baidu.com/wikicategory/view?categoryName=%E6%81%90%E9%BE%99%E5%A4%A7%E5%85%A8
多肉百科
多肉百科 -> http://baike.baidu.com/wikicategory/view?categoryName=%E5%A4%9A%E8%82%89%E6%A4%8D%E7%89%A9
里约残奥会吉祥物
里约残奥会吉祥物（里约残奥会吉祥物） -> http://baike.baidu.com/item/TOM/19885318#viewPageContent
名字
名字（名字） -> http://baike.baidu.com/item/TOM/2044473#viewPageContent
全面订单管理
全面订单管理（全面订单管理） -> http://baike.baidu.com/item/TOM/2044457#viewPageContent
移动互联网公司
移动互联网公司（移动互联网公司） -> http://baike.baidu.com/item/TOM/39488#viewPageContent
化学术语
化学术语（化学术语） -> http://baike.baidu.com/item/TOM/2044489#viewPageContent
同义词
同义词目录 -> http://baike.baidu.com/subview/71844/10028254.htm
我感觉小甲鱼 哪个href少了半个引号的，所以有的网址好像不太对 你自己调试把 我就不改了

跳转到最佳答案楼层

zltzlt

报的什么错？

fresh_python

zltzlt 发表于 2020-3-29 08:11
报的什么错？

Traceback (most recent call last):
  File "C:\Users\xiha\AppData\Local\Programs\Python\Python37-32\baidu.py", line 101, in <module>
    main()
  File "C:\Users\xiha\AppData\Local\Programs\Python\Python37-32\baidu.py", line 90, in main
    print(next(each))
  File "C:\Users\xiha\AppData\Local\Programs\Python\Python37-32\baidu.py", line 66, in get_urls
    response2 = urllib.request.urlopen(url2)
  File "C:\Users\xiha\AppData\Local\Programs\Python\Python37-32\lib\urllib\request.py", line 222, in urlopen
    return opener.open(url, data, timeout)
  File "C:\Users\xiha\AppData\Local\Programs\Python\Python37-32\lib\urllib\request.py", line 525, in open
    response = self._open(req, data)
  File "C:\Users\xiha\AppData\Local\Programs\Python\Python37-32\lib\urllib\request.py", line 543, in _open
    '_open', req)
  File "C:\Users\xiha\AppData\Local\Programs\Python\Python37-32\lib\urllib\request.py", line 503, in _call_chain
    result = func(*args)
  File "C:\Users\xiha\AppData\Local\Programs\Python\Python37-32\lib\urllib\request.py", line 1345, in http_open
    return self.do_open(http.client.HTTPConnection, req)
  File "C:\Users\xiha\AppData\Local\Programs\Python\Python37-32\lib\urllib\request.py", line 1317, in do_open
    encode_chunked=req.has_header('Transfer-encoding'))
  File "C:\Users\xiha\AppData\Local\Programs\Python\Python37-32\lib\http\client.py", line 1244, in request
    self._send_request(method, url, body, headers, encode_chunked)
  File "C:\Users\xiha\AppData\Local\Programs\Python\Python37-32\lib\http\client.py", line 1255, in _send_request
    self.putrequest(method, url, **skips)
  File "C:\Users\xiha\AppData\Local\Programs\Python\Python37-32\lib\http\client.py", line 1122, in putrequest
    self._output(request.encode('ascii'))
UnicodeEncodeError: 'ascii' codec can't encode characters in position 36-39: ordinal not in range(128)
>>>

Chysial

原来小甲鱼写的时候没有link里边有中文的连接，后边有中文的连接了，所以不行，把他那个keyword在url2哪里输一遍，把汉字编码就好了，改一下就okl了

1. mport urllib.request
   
2. import urllib.parse
   
3. import re
   
4. from bs4 import BeautifulSoup
   
5. 
   
6. def test_url(soup):
   
7.     result = soup.find(text=re.compile("百度百科尚未收录词条"))
   
8.     if result:
   
9.         print(result[0:-1]) # 百度这个碧池在最后加了个“符号，给它去掉
   
10.         return False
    
11.     else:
    
12.         return True
    
13. 
    
14. def summary(soup):
    
15.     word = soup.h1.text
    
16.     # 如果存在副标题，一起打印
    
17.     if soup.h2:
    
18.         word += soup.h2.text
    
19.     # 打印标题
    
20.     print(word)
    
21.     # 打印简介
    
22.     if soup.find(class_="lemma-summary"):
    
23.         print(soup.find(class_="lemma-summary").text)   
    
24. 
    
25. def get_urls(soup):
    
26.     for each in soup.find_all(href=re.compile("view")):
    
27.         content = ''.join([each.text])
    
28.         print(each.text)
    
29.         if '=' in each['href']:
    
30.                
    
31.             [links,name] = each['href'].split('Name=',2)
    
32.             keyname = urllib.parse.urlencode({"Name":name})
    
33.             key_link = links + keyname
    
34.         else:
    
35.             key_link = each['href']
    
36.         url2 = ''.join(["http://baike.baidu.com", key_link])
    
37.         response2 = urllib.request.urlopen(url2)
    
38.         html2 = response2.read()
    
39.         soup2 = BeautifulSoup(html2, "html.parser")
    
40.         if soup2.h2:
    
41.             content = ''.join([content, soup2.h2.text])
    
42.         content = ''.join([content, " -> ", url2])
    
43.         yield content
    
44.         
    
45. 
    
46. def main():
    
47.     word = input("请输入关键词：")
    
48.     keyword = urllib.parse.urlencode({"word":word})
    
49.     response = urllib.request.urlopen("https://baike.baidu.com/search/word?%s" % keyword)
    
50.     html = response.read()
    
51.     soup = BeautifulSoup(html, "html.parser")
    
52. 
    
53.     if test_url(soup):
    
54.         summary(soup)
    
55.         
    
56.         print("下边打印相关链接：")
    
57.         each = get_urls(soup)
    
58.         while True:
    
59.             try:
    
60.                 for i in range(10):
    
61.                     print(next(each))
    
62.             except StopIteration:
    
63.                 break
    
64.             
    
65.             command = input("输入任意字符将继续打印，q退出程序：")
    
66.             if command == 'q':
    
67.                 break
    
68.             else:
    
69.                 continue
    
70.    
    
71. if __name__ == "__main__":
    
72.     main()
    
73. 
    

复制代码

这是结果：
请输入关键词：tom
汤姆（美国动画片《猫和老鼠》中的主角）

汤姆（Tom）是米高梅公司制作的经典动画片《猫和老鼠》中的主角之一，70年代老动画中的著名卡通明星角色，是一只蓝灰和白色混合的英国短毛猫。他与小老鼠杰瑞（Jerry）之间可称得上是一对欢喜冤家，二者亦敌亦友，有时互相捣乱，有时互相帮助，有时争论不休，有时团结和谐。他每天忙碌于捉住同住在一起的杰瑞，但总是不如意，总在被耍，憨傻得可爱。生活中充满幽默搞笑，同时也具有抒情与伤情的一幕；主人通常都为两只鞋太太（又黑又胖的女人）。另外，他也爱慕漂亮的千金母猫图多盖洛。有时还被其他成员欺负，如斯派克（Spike）、布奇、莱特宁、托普斯等。

下边打印相关链接：
恐龙百科
恐龙百科 -> http://baike.baidu.com/wikicategory/view?categoryName=%E6%81%90%E9%BE%99%E5%A4%A7%E5%85%A8
多肉百科
多肉百科 -> http://baike.baidu.com/wikicategory/view?categoryName=%E5%A4%9A%E8%82%89%E6%A4%8D%E7%89%A9
里约残奥会吉祥物
里约残奥会吉祥物（里约残奥会吉祥物） -> http://baike.baidu.com/item/TOM/19885318#viewPageContent
名字
名字（名字） -> http://baike.baidu.com/item/TOM/2044473#viewPageContent
全面订单管理
全面订单管理（全面订单管理） -> http://baike.baidu.com/item/TOM/2044457#viewPageContent
移动互联网公司
移动互联网公司（移动互联网公司） -> http://baike.baidu.com/item/TOM/39488#viewPageContent
化学术语
化学术语（化学术语） -> http://baike.baidu.com/item/TOM/2044489#viewPageContent
同义词
同义词目录 -> http://baike.baidu.com/subview/71844/10028254.htm
我感觉小甲鱼 哪个href少了半个引号的，所以有的网址好像不太对 你自己调试把 我就不改了

fresh_python

我后来改成这样，就不报错了

1. import urllib.request
   
2. import urllib.parse
   
3. import re
   
4. from bs4 import BeautifulSoup
   
5. 
   
6. def test_url(soup):
   
7.     result = soup.find(text=re.compile("百度百科尚未收录词条"))
   
8.     if result:
   
9.         print(result[0:-1]) # 百度这个碧池在最后加了个“符号，给它去掉
   
10.         return False
    
11.     else:
    
12.         return True
    
13. 
    
14. def summary(soup):
    
15.     word = soup.h1.text
    
16.     # 如果存在副标题，一起打印
    
17.     if soup.h2:
    
18.         word += soup.h2.text
    
19.     # 打印标题
    
20.     print(word)
    
21.     # 打印简介
    
22.     if soup.find(class_="lemma-summary"):
    
23.         print(soup.find(class_="lemma-summary").text)   
    
24. 
    
25. def get_urls(soup):
    
26.     for each in soup.find_all(href=re.compile("view")):
    
27. 
    
28.         content = ''.join([each.text])
    
29. 
    
30.         url2 = ''.join(["http://baike.baidu.com", each["href"]])
    
31.         try:
    
32.             response2 = urllib.request.urlopen(url2)
    
33.             html2 = response2.read()
    
34.             soup2 = BeautifulSoup(html2, "html.parser")
    
35.             if soup2.h2:
    
36.                 content = ''.join([content, soup2.h2.text])
    
37.             content = ''.join([content, " -> ", url2])
    
38.             yield content
    
39.         except:
    
40.             pass
    
41.         
    
42.         
    
43. 
    
44. def main():
    
45.     word = input("请输入关键词：")
    
46.     keyword = urllib.parse.urlencode({"word":word})
    
47.     response = urllib.request.urlopen("https://baike.baidu.com/search/word?%s" % keyword)
    
48.     html = response.read()
    
49.     soup = BeautifulSoup(html, "html.parser")
    
50. 
    
51.     if test_url(soup):
    
52.         summary(soup)
    
53.         
    
54.         print("下边打印相关链接：")
    
55.         each = get_urls(soup)
    
56.         while True:
    
57.             try:
    
58.                 for i in range(10):
    
59.                     print(next(each))
    
60.             except StopIteration:
    
61.                 break
    
62.             
    
63.             command = input("输入任意字符将继续打印，q退出程序：")
    
64.             if command == 'q':
    
65.                 break
    
66.             else:
    
67.                 continue
    
68.    
    
69. if __name__ == "__main__":
    
70.     main()
    

复制代码

fresh_python

Chysial 发表于 2020-3-29 10:02
原来小甲鱼写的时候没有link里边有中文的连接，后边有中文的连接了，所以不行，把他那个keyword在url2哪里 ...

感谢

Chysial

fresh_python 发表于 2020-3-29 10:52
我后来改成这样，就不报错了

是不报错了，把部分给删了 也能用