一只魈咸鱼 发表于 2022-2-7 09:35:53

关于深度学习图片大小处理与gpu空间不够

第一个是：
要训练的图片有1000x1000和1100x1100两类，但是pytorch的Dataloader只接受同大小的图片。
那么我是事先把1000的周边加上空像素变成1100呢还是用transforms的Resize强行改成1100呢，我主要担心后者失真影响训练。

第二个是：
可能这个图片实在太大了，我把batch_size从64减到8还是报错

这可如何是好{:10_284:} 话说我好像一次也没见过网上有训练这么大图片的

阿奇_o 发表于 2022-2-7 17:24:48

看报错也就差个70, 80M的GPU内存，总共4G，PyTorch占大头，用了2.41G，那可不可以搜一下能不能设置Pytorch的预留空间，比如设置到2G，或1.5G ?

ps: 个人没用过PyTorch，但有遇到过类似内存分配不足的问题，以上是一种解决思路，仅供参考。

一只魈咸鱼 发表于 2022-2-7 17:55:31

阿奇_o 发表于 2022-2-7 17:24
看报错也就差个70, 80M的GPU内存，总共4G，PyTorch占大头，用了2.41G，那可不可以搜一下能不能设置Pytorch ...

{:10_250:}已经放弃用自己计算机这条路了，申请了超算

Charles未晞 发表于 2022-2-8 13:54:30

resize到相对小的resolution也可以的，看task的，不一定resolution越大越好的

一只魈咸鱼 发表于 2022-2-8 14:51:59

Charles未晞 发表于 2022-2-8 13:54
resize到相对小的resolution也可以的，看task的，不一定resolution越大越好的

这个我估计不太行，因为图片是1100*1100的，上面一堆球，要识别这些球的半径

King丨小义 发表于 2022-2-8 18:04:57

我记得我当时好像是调的系统的虚拟内存

King丨小义 发表于 2022-2-8 18:07:38

https://jingyan.baidu.com/article/363872ec614ff46e4ba16f2b.html

就是相当于向D盘借用缓存空间

Charles未晞 发表于 2022-2-8 20:12:08

一只魈咸鱼 发表于 2022-2-8 14:51
这个我估计不太行，因为图片是1100*1100的，上面一堆球，要识别这些球的半径

现实中的半径还是图片里的resolution。。。而且你要是只是检测圆形其实不需要dl，TIP 2020上好像有篇检测圆的paper，效果挺好的，你有需要我可以发给你
页: [1]
查看完整版本: 关于深度学习图片大小处理与gpu空间不够