Temporal Segment Network (TSN) 是视频分类领域经典的基于2D-CNN的解决方案。该方法主要解决视频的长时间行为判断问题,通过稀疏采样视频帧的方式代替稠密采样,既能捕获视频全局信息,也能去除冗余,降低计算量。最终将每帧特征平均融合后得到视频的整体特征,并用于分类。本代码实现的模型为基于单路RGB图像的TSN网络结构,Backbone采用ResNet-50结构。
详细内容请参考ECCV 2016年论文StNet:Local and Global Spatial-Temporal Modeling for Human Action Recognition
TSN的训练数据采用由DeepMind公布的Kinetics-400动作识别数据集。数据下载及准备请参考数据说明
数据准备完毕后,可以通过如下两种方式启动训练:
python train.py --model_name=TSN
--config=./configs/tsn.txt
--save_dir=checkpoints
--log_interval=10
--valid_interval=1
--pretrain=${path_to_pretrain_model}
bash scripts/train/train_tsn.sh
从头开始训练,需要加载在ImageNet上训练的ResNet50权重作为初始化参数,请下载此模型参数并解压,将上面启动脚本中的path_to_pretrain_model设置为解压之后的模型参数存放路径。如果没有手动下载并设置path_to_pretrain_model,则程序会自动下载并将参数保存在~/.paddle/weights/ResNet50_pretrained目录下面
可下载已发布模型model通过--resume
指定权重存放路径进行finetune等开发
数据读取器说明: 模型读取Kinetics-400数据集中的mp4
数据,每条数据抽取seg_num
段,每段抽取1帧图像,对每帧图像做随机增强后,缩放至target_size
。
训练策略:
可通过如下两种方式进行模型评估:
python test.py --model_name=TSN
--config=configs/tsn.txt
--log_interval=1
--weights=$PATH_TO_WEIGHTS
bash scripts/test/test_tsn.sh
使用scripts/test/test_tsn.sh
进行评估时,需要修改脚本中的--weights
参数指定需要评估的权重。
若未指定--weights
参数,脚本会下载已发布模型model进行评估
当取如下参数时,在Kinetics400的validation数据集下评估精度如下:
seg_num | target_size | Top-1 |
---|---|---|
3 | 224 | 0.66 |
7 | 224 | 0.67 |
可通过如下命令进行模型推断:
python infer.py --model_name=TSN
--config=configs/tsn.txt
--log_interval=1
--weights=$PATH_TO_WEIGHTS
--filelist=$FILELIST
模型推断结果存储于TSN_infer_result
中,通过pickle
格式存储。
若未指定--weights
参数,脚本会下载已发布模型model进行推断