鱼C论坛

 找回密码
 立即注册
查看: 2092|回复: 2

[已解决]这段代码一直在运行,不出结果也不报错,该咋办?

[复制链接]
发表于 2020-12-18 22:31:23 | 显示全部楼层 |阅读模式

马上注册,结交更多好友,享用更多功能^_^

您需要 登录 才可以下载或查看,没有账号?立即注册

x
import csv
from zipfile import ZipFile
from io import BytesIO, TextIOWrapper
import requests,pprint

url='http://s3.amazonaws.com/alexa-static/top-1m.csv.zip' #下载列表压缩文件网址
resp = requests.get(url, stream=True)
urls = []  # top 1 million URL's will be stored in this list
with ZipFile(BytesIO(resp.content)) as zf:
    csv_filename = zf.namelist()[0]
    with zf.open(csv_filename) as csv_file:
        for _, website in csv.reader(TextIOWrapper(csv_file)):
            urls.append('http://' + website)

pprint.pprint(urls)

下载得到的压缩数据是在使用 BytesIO 类封装之
后,才传给 ZipFile 的。这是因为 ZipFile 需要一个类似文件的接口,而不
是原生字节对象。我们还设置了 stream=True,帮助加速请求。接下来,我
们从文件名列表中提取出 CSV 文件的名称。由于这个.zip 文件中只包含一个
文件,所以我们直接选择第一个文件名即可。然后,使用 TextIOWrapper 读
取 CSV 文件,它将协助处理编码和读取问题。该文件之后会被遍历,并将第二
列中的域名数据添加到 URL 列表中。为了使 URL 合法,我们还会在每个域名
前添加 http://协议。
最佳答案
2020-12-18 23:41:01
是不是内容太多导致的,我看有71w多行。
import csv
from zipfile import ZipFile
import requests

url = 'http://s3.amazonaws.com/alexa-static/top-1m.csv.zip'
r = requests.get(url, headers={"user-agent": "mozilla"}, stream=True, timeout=None)
with open('test.zip', 'wb') as f:
    f.write(r.content)
with ZipFile('test.zip') as myzip:
    myzip.extractall()
    c_name = myzip.namelist()[0]
with open(c_name) as csv_file:
    reader = csv.reader(csv_file)
    for row in reader:
        print(row[1])
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2020-12-18 23:41:01 | 显示全部楼层    本楼为最佳答案   
是不是内容太多导致的,我看有71w多行。
import csv
from zipfile import ZipFile
import requests

url = 'http://s3.amazonaws.com/alexa-static/top-1m.csv.zip'
r = requests.get(url, headers={"user-agent": "mozilla"}, stream=True, timeout=None)
with open('test.zip', 'wb') as f:
    f.write(r.content)
with ZipFile('test.zip') as myzip:
    myzip.extractall()
    c_name = myzip.namelist()[0]
with open(c_name) as csv_file:
    reader = csv.reader(csv_file)
    for row in reader:
        print(row[1])
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

 楼主| 发表于 2020-12-19 20:45:30 | 显示全部楼层
suchocolate 发表于 2020-12-18 23:41
是不是内容太多导致的,我看有71w多行。

有可能,就是怕是我代码的问题。
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2025-1-17 00:55

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表