关于爬虫过程中出现的编码问题
下午在尝试在拉勾网爬取想要的数据,但是源文件代码都打印不出来。报错的原因是 TypeError: can't concat bytes to str请帮我看看,问题出现在哪?
import urllib.request
url="https://www.lagou.com/jobs/list_Python?labelWords=&fromSearch=true&suginput="
URL=urllib.request.Request(url)
URL.add_header('User-Agent','Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.22 Safari/537.36 SE 2.X MetaSr 1.0')
data={}
data["first"]="false"
data["pn"]="3"
data["kd"]="Python"
response=urllib.request.urlopen(URL,data=data)
res=response.read().decode('utf-8')
print(res) data = urllib.parse.urlencode(data).encode('utf-8')
打开网页之前少了这个,没有对data进行转码操作
不过你的data好像没啥作用
页:
[1]