[已解决]python 53讲第二题

2hanhan

我自己的程序在豆瓣页面读取的时候出现了问题
复制链接可以打开豆瓣的，网址没错
把豆瓣的网址删掉就没有报错了，请问是为什么？


小甲鱼的程序也是在第三个豆瓣页面读取出现问题
Traceback (most recent call last):
  File "C:/Users/Atobe/Desktop/python/53/53.3示范.py", line 29, in <module>
    main()
  File "C:/Users/Atobe/Desktop/python/53/53.3示范.py", line 14, in main
    response = urllib.request.urlopen(each_url)
  File "C:\Users\Atobe\lib\urllib\request.py", line 222, in urlopen
    return opener.open(url, data, timeout)
  File "C:\Users\Atobe\lib\urllib\request.py", line 531, in open
    response = meth(req, response)
  File "C:\Users\Atobe\lib\urllib\request.py", line 640, in http_response
    response = self.parent.error(
  File "C:\Users\Atobe\lib\urllib\request.py", line 569, in error
    return self._call_chain(*args)
  File "C:\Users\Atobe\lib\urllib\request.py", line 502, in _call_chain
    result = func(*args)
  File "C:\Users\Atobe\lib\urllib\request.py", line 649, in http_error_default
    raise HTTPError(req.full_url, code, msg, hdrs, fp)
urllib.error.HTTPError: HTTP Error 418:

最佳答案

月排行榜 / 总排行榜

qiuyouzhi

2020-3-12 08:21:41

是不是没有加headers？
加上就好了

跳转到最佳答案楼层

zltzlt

把你的完整代码发上来。

qiuyouzhi

是不是没有加headers？
加上就好了

2hanhan

qiuyouzhi 发表于 2020-3-12 08:21
是不是没有加headers？
加上就好了

headers加在哪里呀？

import urllib.request
import chardet

def main():
    i = 0
   
    with open("urls.txt", "r") as f:
        urls = f.read().splitlines()
        
    for each_url in urls:
        response = urllib.request.urlopen(each_url)
        html = response.read()

        # 识别网页编码
        encode = chardet.detect(html)['encoding']
        if encode == 'GB2312':
            encode = 'GBK'
        
        i += 1
        filename = "url_%d.txt" % i
        print('网址%d已经完成读取'%i)

        with open(filename, "w", encoding=encode) as each_file:
            each_file.write(html.decode(encode, "ignore"))

if __name__ == "__main__":
    main()

qiuyouzhi

加在main里

2hanhan

qiuyouzhi 发表于 2020-3-13 08:55
加在main里

可以了，谢谢。
head的内容小甲鱼在56讲才将。。。一开始不知道