鱼C论坛

 找回密码
 立即注册
查看: 760|回复: 1

小白爬虫问题求大神解答

[复制链接]
发表于 2020-4-18 17:33:37 | 显示全部楼层 |阅读模式

马上注册,结交更多好友,享用更多功能^_^

您需要 登录 才可以下载或查看,没有账号?立即注册

x
本帖最后由 熊猫打字 于 2020-4-18 17:45 编辑

作业题:写一个程序,依次访问文件中指定的站点,并将每个站点返回的内容依次存放到不同的文件中。

我在做这个作业时候,自己写了这样的代码:

  1. import urllib.request
  2. import chardet
  3. import json
  4. f= []

  5. def readURL():
  6.     f = open(input('请输入您文件的路径:')).readlines()
  7.     for url in f:
  8.         response = urllib.request.urlopen(url).read()
  9.         encode = chardet.detect(response)['encoding']
  10.         for i in range(len(f)):
  11.             filename = str(i)+'.json'
  12.         if encode == 'GB2312':
  13.             encode = 'GBK'
  14.             txturl = response.decode('GBK')
  15.             with open(filename, 'w') as file_object:
  16.                 json.dump(txturl,file_object)
  17.         else:
  18.             txturl = response.decode(encode)
  19.             with open(filename, 'w') as file_object:
  20.                 json.dump(txturl,file_object)
  21.                
  22.                
  23. readURL()
复制代码




我的‘f’文档里有三个网站:
http://www.baidu.com
http://www.fishc.com
http://www.zhihu.com


问题1:运行之后,输出的json只有2,就是文件夹里只多了一个2.json(鱼c论坛的读取结果),其他都不出现,这是为什么啊?
问题2:如果返回的内容依次存放到txt文档,则python报错:
UnicodeEncodeError: 'gbk' codec can't encode character '\xbb' in position 214855: illegal multibyte sequence。已经进行了解码,为什么还会出现编码错误?
谢谢大神们
小甲鱼最新课程 -> https://ilovefishc.com
回复

使用道具 举报

 楼主| 发表于 2020-4-18 17:38:55 | 显示全部楼层
好像是第14-22行应该缩进在创建文件下面,我再理解一下
小甲鱼最新课程 -> https://ilovefishc.com
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2025-6-16 18:30

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表