[已解决]【零基础向】爬虫客第一节课就劝退了！！！

xiaofan1228

1. import urllib.request
   
2. import chardet
   
3. 
   
4. response = urllib.request.urlopen("http://www.baidu.com/")
   
5. html = response.read()
   
6. html = html.decode("utf-8")
   
7. # chardet.detect(response) # 这里报错了
   
8. print(html)

复制代码

问题来了，

1，chardet报错原因？

2，刚看到旧版的爬虫教程，听说现在都是用request，那教程有更新吗？

最佳答案

月排行榜 / 总排行榜

zltzlt

2020-3-20 08:04:07

chardet 应该这样用：

1. import urllib.request
   
2. import chardet
   
3. 
   
4. response = urllib.request.urlopen("http://www.baidu.com/")    # 这里是 https
   
5. html = response.read()
   
6. print(chardet.detect(html))
   
7. html = html.decode("utf-8")
   
8. print(html)

复制代码

跳转到最佳答案楼层

ouyunfu

我用python3.6运行，没有问题

zltzlt

chardet 应该这样用：

1. import urllib.request
   
2. import chardet
   
3. 
   
4. response = urllib.request.urlopen("http://www.baidu.com/")    # 这里是 https
   
5. html = response.read()
   
6. print(chardet.detect(html))
   
7. html = html.decode("utf-8")
   
8. print(html)

复制代码

xiaofan1228

zltzlt 发表于 2020-3-20 08:04
chardet 应该这样用：

好像也不是。。。改成print还是报错，错误提示TypeError: Expected object of type bytes or bytearray, got: <class 'str'>
百度了一下，是说str对象有一个encode方法，bytes对象有一个decode方法，尝试了一下能run出来

1. import urllib.request
   
2. import chardet
   
3. 
   
4. response = urllib.request.urlopen("http://placekitten.com/g/500/300")
   
5. responseStr = str(response)
   
6. imag = response.read()
   
7. with open("cat_image.jpg", "wb") as f:
   
8.     f.write(imag)
   
9. responseStr = responseStr.encode()
   
10. print(chardet.detect(responseStr))

复制代码

xiaofan1228

zltzlt 发表于 2020-3-20 08:04
chardet 应该这样用：

然后我的问题来了，urlopen出来的是bytes对象和str对象怎么确定？就只能看错误提示吗？

xiaofan1228

zltzlt 发表于 2020-3-20 08:04
chardet 应该这样用：

没事我去翻文档了，已经是半熟鱼油了，不能再做伸手党了

zltzlt

xiaofan1228 发表于 2020-3-20 08:49
好像也不是。。。改成print还是报错，错误提示TypeError: Expected object of type bytes or bytearray,  ...

read() 方法返回的一般都是 bytes 呀