关于mnist导入测试集并打乱的问题

facevoid · 发表于 2019-8-31 12:44:04

您需要登录才可以下载或查看，没有账号？立即注册

x

本帖最后由 facevoid 于 2019-8-31 13:01 编辑

import numpy
import torch
from torch.utils.data import DataLoader
import torchvision.datasets as datasets
import torchvision.transforms as transforms
import matplotlib.pyplot as plot
from classify_lib import kNN_classify as classify
class Image_identify_mnist():
def __init__(self):
self.batch_size = 100
self.test_dataset = datasets.MNIST('ml/pymnist',train = False, transform = None, download = True)
self.test_loader = torch.utils.data.DataLoader(dataset = self.test_dataset, batch_size = self.batch_size, shuffle = True)

复制代码

上面这个就是要导入mnist测试集，最后一行有个参数shuffle = True，意思是把数据打乱，可是我并没有发现有任何打乱效果，比如self.test_loader.dataset.data[0]，反复运行始终是一张图片。

有哪位大神知道什么原因吗。。。多谢！！

塔利班 · 发表于 2019-8-31 12:48:20

你打乱的不是测试集吗，怎么还看训练集

facevoid · 发表于 2019-8-31 13:02:29

塔利班发表于 2019-8-31 12:48
你打乱的不是测试集吗，怎么还看训练集

复制的时候复制错了。。。改过来啦，还是测试集

Charles未晞 · 发表于 2019-8-31 17:16:39

shuffle的作用是

复制代码

你可以试试打印第一个epoch第一轮iteration的数据，和第二个epoch第一轮iteration的数据，他们就是不一样的。

facevoid · 发表于 2019-9-1 15:45:05

Charles未晞发表于 2019-8-31 17:16
shuffle的作用是
你可以试试打印第一个epoch第一轮iteration的数据，和第二个epoch第一轮iteration的数据 ...

我的完整代码大概这个样子

import numpy
import torch
from torch.utils.data import DataLoader
import torchvision.datasets as datasets
import torchvision.transforms as transforms
import matplotlib.pyplot as plot
def main():
batch_size = 100
train_dataset = datasets.MNIST('ml/pymnist',train = True, transform = None, download = True)
train_loader = torch.utils.data.DataLoader(dataset = train_dataset, batch_size = batch_size, shuffle = True)
data_train = train_loader.dataset.data[ : 100].numpy()
digit = train_loader.dataset.data[0]
plot.imshow(digit, cmap = plot.cm.binary)
plot.show()
main()

复制代码

我把这个跑了几遍画出来的第一张图片都是一样的，我不太理解你说的那个epoch跟iteration的意思

Charles未晞 · 发表于 2019-9-1 16:02:33

本帖最后由 Charles未晞于 2019-9-1 17:31 编辑

facevoid 发表于 2019-9-1 15:45
我的完整代码大概这个样子

一个epoch代表迭代一遍数据集，一次iteration一般代表一个batch。

复制代码

第一个epoch时，num_iter=1的数据才和第二个epoch时, num_iter=1的数据不一样。

facevoid · 发表于 2019-9-1 16:27:34

本帖最后由 facevoid 于 2019-9-1 16:29 编辑

Charles未晞发表于 2019-9-1 16:02
一个epoch代表迭代一遍数据集，一次iteration一般代表一个batch。

第一个epoch时，num_iter=1的数据才 ...

我按照你的说法把代码改了一下

import numpy
import torch
from torch.utils.data import DataLoader
import torchvision.datasets as datasets
import torchvision.transforms as transforms
import matplotlib.pyplot as plot
def main():
batch_size = 100
train_dataset = datasets.MNIST('ml/pymnist',train = True, transform = None, download = True)
train_loader = torch.utils.data.DataLoader(dataset = train_dataset, batch_size = batch_size, shuffle = True)
data_train = train_loader.dataset.data[ : 100].numpy()
for epoch in range (10):
for num_iter, data_batch in enumerate(data_train):
if num_iter == 1:
plot.imshow(data_batch, cmap = plot.cm.binary)
plot.show()
else:
pass
main()

复制代码

就是对每个epoch只画出来num_iter= 1的那个图片
可是图片还是都一样呀。。。

不过还是多谢你热心回答！

Charles未晞 · 发表于 2019-9-1 17:32:08

facevoid 发表于 2019-9-1 16:27
我按照你的说法把代码改了一下

train_loader不是data_train...

facevoid · 发表于 2019-9-1 19:06:40

Charles未晞发表于 2019-9-1 17:32
train_loader不是data_train...

复制代码

这一行的data_train改成train_loader运行会报错的

改成train_loader.dataset.data可以运行但是跑出来还是一样的图片 >_<

账号		自动登录	找回密码
密码			立即注册