鱼C论坛

 找回密码
 立即注册
查看: 1314|回复: 1

爬虫 百度网页源码抓取

[复制链接]
发表于 2018-3-26 14:23:02 | 显示全部楼层 |阅读模式

马上注册,结交更多好友,享用更多功能^_^

您需要 登录 才可以下载或查看,没有账号?立即注册

x
import urllib.request

url="http://www.baidu.com"
head= {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36'}
req=urllib.request.Request(url,head)
a=urllib.request.urlopen(req)
html=a.read().decode("utf-8")
print(html)


提示
TypeError: can't concat str to bytes

小甲鱼最新课程 -> https://ilovefishc.com
回复

使用道具 举报

 楼主| 发表于 2018-3-26 14:30:21 | 显示全部楼层
后来仔细看了一下原来是系统错把我的第二参数当成urllib.request.Request中的data参数,所以会报错




附上正确代码:
import urllib.request

url="http://www.baidu.com"
head = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36'}
req=urllib.request.Request(url,data=None,headers=head)
a=urllib.request.urlopen(req)
html=a.read().decode("utf-8")
print(html)
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2025-12-28 21:56

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表