\u200E
模型库 智能视觉(PaddleCV)
图像语义分割-DeepLabv3+
类别 智能视觉(PaddleCV)
应用 自动驾驶 室内导航 医学图像诊断 穿戴设备 虚拟现实与增强现实 无人机
模型概述
DeepLabv3+ 通过encoder-decoder进行多尺度信息的融合,同时保留了原来的空洞卷积和ASSP层,其骨干网络使用了Xception模型,提高了语义分割的健壮性和运行速率。
模型说明
DeepLab运行本目录下的程序示例需要使用PaddlePaddle Fluid v1.3.0版本或以上。如果您的PaddlePaddle安装版本低于此要求,请按照安装文档中的说明更新PaddlePaddle安装版本,如果使用GPU,该程序需要使用cuDNN v7版本。 ## 代码结构 ``` ├── models.py # 网络结构定义脚本 ├── train.py # 训练任务脚本 ├── eval.py # 评估脚本 └── reader.py # 定义通用的函数以及数据预处理脚本 ``` ## 简介 DeepLabv3+ 是DeepLab语义分割系列网络的最新作,其前作有 DeepLabv1,DeepLabv2, DeepLabv3, 在最新作中,DeepLab的作者通过encoder-decoder进行多尺度信息的融合,同时保留了原来的空洞卷积和ASSP层, 其骨干网络使用了Xception模型,提高了语义分割的健壮性和运行速率,在 PASCAL VOC 2012 dataset取得新的state-of-art performance,89.0mIOU。 ![](https://raw.githubusercontent.com/PaddlePaddle/models/develop/PaddleCV/deeplabv3%2B/imgs/model.png) ## 数据准备 本文采用Cityscape数据集,请前往[Cityscape官网](https://www.cityscapes-dataset.com)注册下载。 下载以后的数据目录结构如下 ``` data/cityscape/ |-- gtFine | |-- test | |-- train | `-- val |-- leftImg8bit |-- test |-- train `-- val ``` # 预训练模型准备 我们为了节约更多的显存,在这里我们使用Group Norm作为我们的归一化手段。 如果需要从头开始训练模型,用户需要下载我们的初始化模型 ``` wget https://paddle-deeplab.bj.bcebos.com/deeplabv3plus_gn_init.tgz tar -xf deeplabv3plus_gn_init.tgz && rm deeplabv3plus_gn_init.tgz ``` 如果需要最终训练模型进行fine tune或者直接用于预测,请下载我们的最终模型 ``` wget https://paddle-deeplab.bj.bcebos.com/deeplabv3plus_gn.tgz tar -xf deeplabv3plus_gn.tgz && rm deeplabv3plus_gn.tgz ``` ## 模型训练与预测 ### 训练 执行以下命令进行训练,同时指定weights的保存路径,初始化路径,以及数据存放位置: ``` python ./train.py \ --batch_size=1 \ --train_crop_size=769 \ --total_step=50 \ --norm_type=gn \ --init_weights_path=$INIT_WEIGHTS_PATH \ --save_weights_path=$SAVE_WEIGHTS_PATH \ --dataset_path=$DATASET_PATH ``` 使用以下命令获得更多使用说明: ``` python train.py --help ``` 以上命令用于测试训练过程是否正常,仅仅迭代了50次并且使用了1的batch size,如果需要复现 原论文的实验,请使用以下设置: ``` CUDA_VISIBLE_DEVICES=0 \ python ./train.py \ --batch_size=4 \ --parallel=True \ --norm_type=gn \ --train_crop_size=769 \ --total_step=500000 \ --base_lr=0.001 \ --init_weights_path=deeplabv3plus_gn_init \ --save_weights_path=output \ --dataset_path=$DATASET_PATH ``` 如果您的显存不足,可以尝试减小`batch_size`,同时等比例放大`total_step`, 缩小`base_lr`, 保证相乘的值不变,这得益于Group Norm的特性,改变 `batch_size` 并不会显著影响结果,而且能够节约更多显存, 比如您可以设置`--batch_size=2 --total_step=1000000 --base_lr=0.0005`。 ### 测试 执行以下命令在`Cityscape`测试数据集上进行测试: ``` python ./eval.py \ --init_weights_path=deeplabv3plus_gn \ --norm_type=gn \ --dataset_path=$DATASET_PATH ``` 需要通过选项`--init_weights_path`指定模型文件。测试脚本的输出的评估指标为mean IoU。 ## 实验结果 训练完成以后,使用`eval.py`在验证集上进行测试,得到以下结果: ``` load from: ../models/deeplabv3plus_gn total number 500 step: 500, mIoU: 0.7881 ``` ## 其他信息 |数据集 | norm type | pretrained model | trained model | mean IoU |---|---|---|---|---| |CityScape | group norm | [deeplabv3plus_gn_init.tgz](https://paddle-deeplab.bj.bcebos.com/deeplabv3plus_gn_init.tgz) | [deeplabv3plus_gn.tgz](https://paddle-deeplab.bj.bcebos.com/deeplabv3plus_gn.tgz) | 0.7881 | ## 参考 - [Encoder-Decoder with Atrous Separable Convolution for Semantic Image Segmentation](https://arxiv.org/abs/1802.02611)