PyTorch DDP 多进程训练在 Kaggle 笔记本中的正确启动方式

发布日期： 2026-01-01 阅读量： 作者： 霞舞

在 kaggle 等基于 jupyter 的环境中直接运行 pytorch ddp（distributeddataparallel）多进程代码会因 `__main__` 模块序列化失败而报错；根本解决方案是将 ddp 主逻辑写入独立 `.py` 文件，并通过命令行方式执行，避开 notebook 的模块上下文限制。

PyTorch 的 torch.multiprocessing.spawn 要求被启动的函数（如 main）必须可被子进程通过 pickle 反序列化——这在标准 Python 脚本中自然成立，因为 if __name__ == "__main__": 块内定义的函数属于顶层模块 __main__。但在 Kaggle 或 Jupyter Notebook 中，整个 cell 代码实际运行在这一动态、不可序列化的内置模块中，导致子进程无法定位 main 函数，从而抛出：

AttributeError: Can't get attribute 'main' on

✅ 正确做法：分离定义与执行
将 DDP 训练逻辑封装为标准 .py 文件，而非在 notebook cell 中直接调用 mp.spawn()。

✅ 实施步骤（Kaggle 环境）

使用 %%writefile 魔法命令创建独立脚本
在 notebook 新建 cell，粘贴并保存完整 DDP 代码（参考 PyTorch 官方示例），顶部添加 %%writefile ddp.py：

%%writefile ddp.py
import torch
import torch.nn as nn
import torch.optim as optim
import torch.distributed as dist
from torch.nn.parallel import DistributedDataParallel as DDP
from torch.utils.data import DataLoader, DistributedSampler
import torch.multiprocessing as mp
from torchvision import datasets, transforms
import os

def main(rank, world_size, epochs=5, batch_size=32, lr=1e-3):
    # 初始化进程组
    dist.init_process_group(
        backend="nccl",
        init_method="env://",
        world_size=world_size,
        rank=rank
    )

    # 设置设备
    torch.cuda.set_device(rank)
    device = torch.device(f"cuda:{rank}")

    # 构建模型、数据集、优化器等（此处省略细节）
    model = nn.Sequential(nn.Linear(784, 128), nn.ReLU(), nn.Linear(128, 10)).to(device)
    model = DDP(model, device_ids=[rank])

    train_dataset = datasets.MNIST("./data", train=True, download=True,
                                    transform=transforms.ToTensor())
    sampler = DistributedSampler(train_dataset, num_replicas=world_size, rank=rank)
    train_loader = DataLoader(train_dataset, batch_size=batch_size, sampler=sampler)

    optimizer = optim.Adam(model.parameters(), lr=lr)

    for epoch in range(epochs):
        model.train()
        sampler.set_epoch(epoch)  # 关键：确保每个 epoch 数据打乱一致
        for data, target in train_loader:
            data, target = data.to(device), target.to(device)
            optimizer.zero_grad()
            output = model(data.view(data.size(0), -1))
            loss = nn.functional.cross_entropy(output, target)
            loss.backward()
            optimizer.step()

    dist.destroy_process_group()

if __name__ == "__main__":
    import argparse
    parser = argparse.ArgumentParser()
    parser.add_argument("--world_size", type=int, default=torch.cuda.device_count())
    args = parser.parse_args()

    # 注意：Kaggle 中需显式设置环境变量（spawn 自动读取）
    os.environ["MASTER_ADDR"] = "127.0.0.1"
    os.environ["MASTER_PORT"] = "29500"

    mp.spawn(main, args=(args.world_size, 5, 32, 1e-3), nprocs=args.world_size, join=True)

在另一个 cell 中执行脚本
使用系统命令运行，绕过 notebook 解释器上下文：

!python -W ignore ddp.py

⚠️ 注意事项：务必设置 MASTER_ADDR 和 MASTER_PORT：spawn 依赖这些环境变量初始化 NCCL 后端，Kaggle 默认未设置。避免在 notebook 中直接调用 mp.spawn()：即使加了 if __name__ == "__main__":，notebook 的 __main__ 仍不可序列化。-W ignore 是可选的：用于抑制 PyTorch 分布式警告（如 UserWarning: ... is deprecated），提升日志可读性。单节点多卡适用：本方案专为 Kaggle 提供的 2×T4 场景设计；跨节点需额外配置 MASTER_ADDR 和网络互通。

该方法严格遵循 Python 多进程的“spawn”启动方式语义，确保每个子进程从干净的 .py 文件入口重新导入模块，彻底规避 AttributeError。这是在受限 notebook 环境中安全启用 PyTorch DDP 的工业级实践。

上一篇: 如何在 PHP 单元测试中正确模拟带方法的图像处理门面（Fa

下一篇: Win10怎么卸载迅雷_Win10彻底卸载迅雷方法【步骤】

PyTorch DDP 多进程训练在 Kaggle 笔记本中的正确启动方式

随便看看

南昌壹佳企网络通信有限公司