[ torch 参数更多 ]torch.utils.data.DataLoader

torch.utils.data.DataLoader

torch.utils.data.DataLoader(dataset,
                            batch_size=1,
                            shuffle=False,
                            sampler=None,
                            batch_sampler=None,
                            num_workers=0,
                            collate_fn=None,
                            pin_memory=False,
                            drop_last=False,
                            timeout=0,
                            worker_init_fn=None,
                            multiprocessing_context=None,
                            generator=None,
                            *,
                            prefetch_factor=2,
                            persistent_workers=False,
                            pin_memory_device='')

paddle.io.DataLoader

paddle.io.DataLoader(dataset,
                     feed_list=None,
                     places=None,
                     return_list=False,
                     batch_sampler=None,
                     batch_size=1,
                     shuffle=False,
                     drop_last=False,
                     collate_fn=None,
                     num_workers=0,
                     use_buffer_reader=True,
                     use_shared_memory=False,
                     timeout=0,
                     worker_init_fn=None)

参数映射

PyTorch PaddlePaddle 备注
dataset dataset 表示数据集。
batch_size batch_size 每 mini-batch 中样本个数。
shuffle shuffle 生成 mini-batch 索引列表时是否对索引打乱顺序。
sampler - 表示数据集采集器，Paddle 无此参数，暂无转写方式。
batch_sampler batch_sampler mini-batch 索引列表。
num_workers num_workers 用于加载数据的子进程个数。
collate_fn collate_fn 用于指定如何将样本列表组合为 mini-batch 数据。
pin_memory - 表示数据最开始是属于锁页内存，Paddle 无此参数，一般对网络训练结果影响不大，可直接删除。
drop_last drop_last 是否丢弃因数据集样本数不能被 batch_size 整除而产生的最后一个不完整的 mini-batch。
timeout timeout 从子进程输出队列获取 mini-batch 数据的超时时间。
worker_init_fn worker_init_fn 子进程初始化函数。
multiprocessing_context - 用于设置多进程的上下文，Paddle 无此参数，一般对网络训练结果影响不大，可直接删除。
generator - 用于采样的伪随机数生成器，Paddle 无此参数，一般对网络训练结果影响不大，可直接删除。
prefetch_factor - 表示每个 worker 预先加载的数据数量，Paddle 无此参数，暂无转写方式。
persistent_workers - 表示数据集使用一次后，数据加载器将会不会关闭工作进程，Paddle 无此参数，一般对网络训练结果影响不大，可直接删除。
pin_memory_device - 数据加载器是否在返回 Tensor 之前将 Tensor 复制到设备固定存储器中，Paddle 无此参数，一般对网络训练结果影响不大，可直接删除。
- feed_list 表示 feed 变量列表，PyTorch 无此参数，Paddle 保持默认即可。
- places 数据需要放置到的 Place 列表，PyTorch 无此参数，Paddle 保持默认即可。
- return_list 每个设备上的数据是否以 list 形式返回，PyTorch 无此参数，Paddle 保持默认即可。
- use_buffer_reader 表示是否使用缓存读取器，PyTorch 无此参数，Paddle 保持默认即可。
- use_shared_memory 表示是否使用共享内存来提升子进程将数据放入进程间队列的速度，PyTorch 无此参数，Paddle 保持默认即可。