鱼C论坛

 找回密码
 立即注册
查看: 954|回复: 3

[已解决]遇到了418问题,求助!

[复制链接]
发表于 2020-5-21 23:03:07 | 显示全部楼层 |阅读模式
3鱼币
在做53讲作业时,最后一题复制了小甲鱼的代码,运行了一次遇到418错误,之后添加user-agent还是会报418错误,求大佬指点
import urllib.request
import chardet


head = {'User - Agent': 'Mozilla / 5.0(WindowsNT10.0;Win64;x64) AppleWebKit / 537.36(KHTML, likeGecko) Chrome / '
                           '80.0.3987.116Safari / 537.36'}


def main():
    i = 0

    with open("urls.txt", "r") as f:
        # 读取待访问的网址
        # 由于urls.txt每一行一个URL
        # 所以按换行符'\n'分割
        urls = f.read().splitlines()

    for each_url in urls:
        rep = urllib.request.Request(each_url, headers=head)
        response = urllib.request.urlopen(rep)
        html = response.read()

        # 识别网页编码
        encode = chardet.detect(html)['encoding']
        if encode == 'GB2312':
            encode = 'GBK'

        i += 1
        filename = "url_%d.txt" % i

        with open(filename, "w", encoding=encode) as each_file:
            each_file.write(html.decode(encode, "ignore"))


if __name__ == "__main__":
    main()
最佳答案
2020-5-21 23:03:08
把UA头里面两个空格去了
head = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36'}

最佳答案

查看完整内容

把UA头里面两个空格去了
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2020-5-21 23:03:08 | 显示全部楼层    本楼为最佳答案   
把UA头里面两个空格去了
head = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36'}
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

 楼主| 发表于 2020-5-21 23:18:12 | 显示全部楼层
Twilight6 发表于 2020-5-21 23:03
把UA头里面两个空格去了

感谢感谢
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2020-5-21 23:18:53 | 显示全部楼层

没事 欢迎继续来论坛问,多问多进步~
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2025-1-21 04:54

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表