论坛 › 新手乐园 › 【零基础向】爬虫客第一节课就劝退了！！！

xiaofan1228 发表于 2020-3-20 01:12:43

【零基础向】爬虫客第一节课就劝退了！！！

import urllib.request
import chardet

response = urllib.request.urlopen("http://www.baidu.com/")
html = response.read()
html = html.decode("utf-8")
# chardet.detect(response) # 这里报错了
print(html)


问题来了，

1，chardet报错原因？

2，刚看到旧版的爬虫教程，听说现在都是用request，那教程有更新吗？

ouyunfu 发表于 2020-3-20 02:52:57

我用python3.6运行，没有问题

zltzlt 发表于 2020-3-20 08:04:07

chardet 应该这样用：

import urllib.request
import chardet

response = urllib.request.urlopen("http://www.baidu.com/")    # 这里是 https
html = response.read()
print(chardet.detect(html))
html = html.decode("utf-8")
print(html)

xiaofan1228 发表于 2020-3-20 08:49:39

zltzlt 发表于 2020-3-20 08:04
chardet 应该这样用：

好像也不是。。。改成print还是报错，错误提示TypeError: Expected object of type bytes or bytearray, got: <class 'str'>
百度了一下，是说str对象有一个encode方法，bytes对象有一个decode方法，尝试了一下能run出来
import urllib.request
import chardet

response = urllib.request.urlopen("http://placekitten.com/g/500/300")
responseStr = str(response)
imag = response.read()
with open("cat_image.jpg", "wb") as f:
    f.write(imag)
responseStr = responseStr.encode()
print(chardet.detect(responseStr))

xiaofan1228 发表于 2020-3-20 08:52:52

zltzlt 发表于 2020-3-20 08:04
chardet 应该这样用：

然后我的问题来了，urlopen出来的是bytes对象和str对象怎么确定？就只能看错误提示吗？

xiaofan1228 发表于 2020-3-20 09:09:38

zltzlt 发表于 2020-3-20 08:04
chardet 应该这样用：

没事我去翻文档了，已经是半熟鱼油了，不能再做伸手党了

zltzlt 发表于 2020-3-20 13:03:03

xiaofan1228 发表于 2020-3-20 08:49
好像也不是。。。改成print还是报错，错误提示TypeError: Expected object of type bytes or bytearray,...

read() 方法返回的一般都是 bytes 呀

查看完整版本: 【零基础向】爬虫客第一节课就劝退了！！！