鱼C论坛

 找回密码
 立即注册
查看: 1446|回复: 2

UnicodeEncodeError:'ascii' codec can't encode...ordinal not in range(128)

[复制链接]
发表于 2019-8-23 11:17:03 | 显示全部楼层
  1. import urllib.request
  2. import urllib.parse
  3. import re
  4. from bs4 import BeautifulSoup

  5. def main():
  6.     keward = input("请输入关键字:")
  7.     keward = urllib.parse.urlencode({"word":keward})
  8.     response = urllib.request.urlopen("http://baike.baidu.com/search/word?%s" %keward)

  9.     html = response.read()
  10.     soup = BeautifulSoup(html, "html.parser")

  11.     for each in soup.find_all(href = re.compile("view")):
  12.         content = ''.join([each.text])
  13.         tmp = each["href"].split('=')
  14.         if len(tmp) == 2:
  15.             each["href"] = ''.join([tmp[0], urllib.parse.urlencode({'':tmp[1]})])
  16.         url2 = ''.join(["http://baike.baidu.com", each["href"]])
  17.         response2 = urllib.request.urlopen(url=url2)
  18.         html2 = response2.read().decode("utf-8")
  19.         soup2 = BeautifulSoup(html2, "html.parser")
  20.         
  21.         if soup2.h2:
  22.             content = ''.join([content, soup2.h2.text])
  23.         content = ''.join([content, "->", url2])
  24.         print(content)

  25. if __name__ == "__main__":
  26.     main()
复制代码


each["href"]这个里面有可能有中文,你需要转码
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 1 反对 0

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2025-11-7 04:53

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表