[已解决]Python 爬虫，request模块read()的问题

Chysial · 发表于 2020-3-11 09:59:08

马上注册，结交更多好友，享用更多功能^_^

您需要登录才可以下载或查看，没有账号？立即注册

x

response = urllib.request.urlopen("https://www.baidu.com/")
>>>
>>> html = response.read()
>>> html.decode("utf-8")
'<html>\r\n<head>\r\n\t<script>\r\n\t\tlocation.replace(location.href.replace("https://","http://"));\r\n\t</script>\r\n</head>\r\n<body>\r\n\t<noscript><meta http-equiv="refresh" content="0;url=http://www.baidu.com/"></noscript>\r\n</body>\r\n</html>'

感觉现在网页的content好像不是bytes，不需要decode，这个先不管，问题是下面

但是如果：没事response.read()了一下就变成这样了
>>> response = urllib.request.urlopen("https://www.baidu.com/")
>>> response.read()
b'<html>\r\n<head>\r\n\t<script>\r\n\t\tlocation.replace(location.href.replace("https://","http://"));\r\n\t</script>\r\n</head>\r\n<body>\r\n\t<noscript><meta http-equiv="refresh" content="0;url=http://www.baidu.com/"></noscript>\r\n</body>\r\n</html>'
>>> html = response.read()
>>> html.decode("utf-8")
''
>>>
这是为什么，就像是文件的指针，response是由tell，和seek但是无法使用
大佬帮忙问你下这是什么原因，如果改怎么改？

最佳答案

月排行榜 / 总排行榜

oNlYLeeee

2020-3-11 11:07:59

urllib.request.urlopen()返回<http.client.HTTPResponse>对象

查阅python 3.7.3 doc：
-> HTTPResponse.read([amt])
-> Reads and returns the response body, or up to the next amt bytes.
-> example: res.read(500) 从开始读取到第500个bytes

response.read() 没有参数，默认读取全部
对同一对象读取，从上一次读取地方重新读取

跳转到最佳答案楼层

oNlYLeeee · 发表于 2020-3-11 11:07:59

这个最佳答案由 oNlYLeeee 给出，感谢 oNlYLeeee 的回答。

单击隐藏图章

urllib.request.urlopen()返回<http.client.HTTPResponse>对象

查阅python 3.7.3 doc：
-> HTTPResponse.read([amt])
-> Reads and returns the response body, or up to the next amt bytes.
-> example: res.read(500) 从开始读取到第500个bytes

response.read() 没有参数，默认读取全部
对同一对象读取，从上一次读取地方重新读取

zltzlt · 发表于 2020-3-11 11:56:16

read() 只能读取一次

账号		自动登录	找回密码
密码			立即注册