[已解决]【零基础向】爬虫客第一节课就劝退了！！！

xiaofan1228

import urllib.request
import chardet

response = urllib.request.urlopen("http://www.baidu.com/")
html = response.read()
html = html.decode("utf-8")
# chardet.detect(response) # 这里报错了
print(html)

问题来了，

1，chardet报错原因？

2，刚看到旧版的爬虫教程，听说现在都是用request，那教程有更新吗？

最佳答案

月排行榜 / 总排行榜

zltzlt

2020-3-20 08:04:07

chardet 应该这样用：

import urllib.request
import chardet

response = urllib.request.urlopen("http://www.baidu.com/")    # 这里是 https
html = response.read()
print(chardet.detect(html))
html = html.decode("utf-8")
print(html)

跳转到最佳答案楼层

ouyunfu

我用python3.6运行，没有问题

zltzlt

chardet 应该这样用：

import urllib.request
import chardet

response = urllib.request.urlopen("http://www.baidu.com/")    # 这里是 https
html = response.read()
print(chardet.detect(html))
html = html.decode("utf-8")
print(html)

xiaofan1228

zltzlt 发表于 2020-3-20 08:04
chardet 应该这样用：

好像也不是。。。改成print还是报错，错误提示TypeError: Expected object of type bytes or bytearray, got: <class 'str'>
百度了一下，是说str对象有一个encode方法，bytes对象有一个decode方法，尝试了一下能run出来

import urllib.request
import chardet

response = urllib.request.urlopen("http://placekitten.com/g/500/300")
responseStr = str(response)
imag = response.read()
with open("cat_image.jpg", "wb") as f:
    f.write(imag)
responseStr = responseStr.encode()
print(chardet.detect(responseStr))

xiaofan1228

zltzlt 发表于 2020-3-20 08:04
chardet 应该这样用：

然后我的问题来了，urlopen出来的是bytes对象和str对象怎么确定？就只能看错误提示吗？

xiaofan1228

zltzlt 发表于 2020-3-20 08:04
chardet 应该这样用：

没事我去翻文档了，已经是半熟鱼油了，不能再做伸手党了

zltzlt

xiaofan1228 发表于 2020-3-20 08:49
好像也不是。。。改成print还是报错，错误提示TypeError: Expected object of type bytes or bytearray,  ...

read() 方法返回的一般都是 bytes 呀