[已解决]关于爬虫过程中出现的编码问题

Wgq

下午在尝试在拉勾网爬取想要的数据，但是源文件代码都打印不出来。报错的原因是 TypeError: can't concat bytes to str
请帮我看看，问题出现在哪？

1. import urllib.request
   
2. url="https://www.lagou.com/jobs/list_Python?labelWords=&fromSearch=true&suginput="
   
3. URL=urllib.request.Request(url)
   
4. URL.add_header('User-Agent','Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.22 Safari/537.36 SE 2.X MetaSr 1.0')
   
5. data={}
   
6. data["first"]="false"
   
7. data["pn"]="3"
   
8. data["kd"]="Python"
   
9. response=urllib.request.urlopen(URL,data=data)
   
10. res=response.read().decode('utf-8')
    
11. print(res)

复制代码

最佳答案

月排行榜 / 总排行榜

lumber2388779

2017-3-20 11:12:58

data = urllib.parse.urlencode(data).encode('utf-8')
打开网页之前少了这个，没有对data进行转码操作
不过你的data好像没啥作用

跳转到最佳答案楼层

lumber2388779

data = urllib.parse.urlencode(data).encode('utf-8')
打开网页之前少了这个，没有对data进行转码操作
不过你的data好像没啥作用