[已解决]这段代码一直在运行，不出结果也不报错，该咋办？

Y小y

1. import csv
   
2. from zipfile import ZipFile
   
3. from io import BytesIO, TextIOWrapper
   
4. import requests,pprint
   
5. 
   
6. url='http://s3.amazonaws.com/alexa-static/top-1m.csv.zip' #下载列表压缩文件网址
   
7. resp = requests.get(url, stream=True)
   
8. urls = []  # top 1 million URL's will be stored in this list
   
9. with ZipFile(BytesIO(resp.content)) as zf:
   
10.     csv_filename = zf.namelist()[0]
    
11.     with zf.open(csv_filename) as csv_file:
    
12.         for _, website in csv.reader(TextIOWrapper(csv_file)):
    
13.             urls.append('http://' + website)
    
14. 
    
15. pprint.pprint(urls)
    
16. 
    
17. 
    

复制代码

下载得到的压缩数据是在使用 BytesIO 类封装之
后，才传给 ZipFile 的。这是因为 ZipFile 需要一个类似文件的接口，而不
是原生字节对象。我们还设置了 stream=True，帮助加速请求。接下来，我
们从文件名列表中提取出 CSV 文件的名称。由于这个.zip 文件中只包含一个
文件，所以我们直接选择第一个文件名即可。然后，使用 TextIOWrapper 读
取 CSV 文件，它将协助处理编码和读取问题。该文件之后会被遍历，并将第二
列中的域名数据添加到 URL 列表中。为了使 URL 合法，我们还会在每个域名
前添加 http://协议。

最佳答案

月排行榜 / 总排行榜

suchocolate

2020-12-18 23:41:01

是不是内容太多导致的，我看有71w多行。

1. import csv
   
2. from zipfile import ZipFile
   
3. import requests
   
4. 
   
5. url = 'http://s3.amazonaws.com/alexa-static/top-1m.csv.zip'
   
6. r = requests.get(url, headers={"user-agent": "mozilla"}, stream=True, timeout=None)
   
7. with open('test.zip', 'wb') as f:
   
8.     f.write(r.content)
   
9. with ZipFile('test.zip') as myzip:
   
10.     myzip.extractall()
    
11.     c_name = myzip.namelist()[0]
    
12. with open(c_name) as csv_file:
    
13.     reader = csv.reader(csv_file)
    
14.     for row in reader:
    
15.         print(row[1])

复制代码

跳转到最佳答案楼层

suchocolate

是不是内容太多导致的，我看有71w多行。

1. import csv
   
2. from zipfile import ZipFile
   
3. import requests
   
4. 
   
5. url = 'http://s3.amazonaws.com/alexa-static/top-1m.csv.zip'
   
6. r = requests.get(url, headers={"user-agent": "mozilla"}, stream=True, timeout=None)
   
7. with open('test.zip', 'wb') as f:
   
8.     f.write(r.content)
   
9. with ZipFile('test.zip') as myzip:
   
10.     myzip.extractall()
    
11.     c_name = myzip.namelist()[0]
    
12. with open(c_name) as csv_file:
    
13.     reader = csv.reader(csv_file)
    
14.     for row in reader:
    
15.         print(row[1])

复制代码

Y小y

suchocolate 发表于 2020-12-18 23:41
是不是内容太多导致的，我看有71w多行。

有可能，就是怕是我代码的问题。