• 站在巨人的肩膀上：对于当前任务，目前已有较为成熟的PaddleOCR方案（http://github.com/PaddlePaddle/PaddleOCR/blob/release/2.2/README_ch.md ），与其另起炉灶，不如利用现成的资源对这个任务进行针对性的优化；

• 解耦合与控制变量：将可能需要进行实验的模块进行解耦，并且每次实验只改变一个变量；

• Tick-Tock策略：Tick：根据现有结论将所有有效策略应用于当前对照组作为下一批实验新的对照组；Tock：基于当前对照组进行ablation study获取新的有效策略。这是因为在实验过程中，我们很难确保基于当前对照组得到的结论在进行较大调整后是否依然有效，同时，这种方式也有利于我们并行实验，有利于在短时间内得到较为理想的组合。

• 先优化指标，再做小模型：模型大小与最终指标往往是互相矛盾的，鱼和熊掌难以兼得，与其在两手抓的过程中顾此失彼，不如拆分步骤逐个击破。

1. 选择字典：本任务的字符集与百度默认字符集互有交叠又不互相包含，故我们以本数据集所需字符为准；

2. 不训练空格：是否训练空格是OCR任务常常需要考虑的问题，我们通过实验发现，本任务计算最终指标时无需考虑空格问题，则将' '、'\u3000'字符移出训练范围；

3. 周期化的训练策略：考虑到单个模型训练周期较长，且较难判别合适的epoch数，我们选择对learning rate进行周期化的重启以得到及时的结果反馈，同时这也有利于我们选择更合适的训练时长；

4. 移除数据增强模块：baseline默认的数据增强可能不一定适合本任务，如果需要进一步探索的话，就有必要将其进行足够细粒度的拆分，因此我们暂时将这部分模块移除；

5. 降低模型尺寸限制的优先级：考虑到调研与实验结果和后续做小模型的可能性，我们选择基于MobileNetV3最大尺度+较宽的BiLSTM来做进一步的优化；

6. 适宜的常见超参：batchsize、学习率、GPU数、优化器超参等。在这个阶段我们的目标是排除模型优化过程中可能存在的障碍，保证实验过程中模型对于训练集的过拟合。

1. 色彩：色彩抖动、随机反色等；

2. 噪声：高斯模糊、运动模糊、高斯噪声、Cutout等；

3. 几何形变：行切除、TIA、旋转、缩放等；

4. 图像尺度：其他输入尺寸、多尺度等。

class Imau:
    def __init__(self, transforms, **kwargs) -> None:
        self.transforms = transforms

        self.augmenter = iaa.Sequential(
            [self.imau_builder(t) for t in self.transforms]
        )

    def imau_builder(self, cfg: dict) -> iaa.Augmenter:
        assert isinstance(cfg, dict) and 'typename' in cfg
        args = cfg.copy()

        obj_type = args.pop('typename')
        if isinstance(obj_type, str):
            obj_cls = getattr(iaa, obj_type)
        else:
            raise TypeError(
                f'typename must be a str, but got {type(obj_type)}')

        for k in ['transforms', 'children', 'then_list', 'else_list']:
            if k in args:
                args[k] = [self.imau_builder(t) for t in args[k]]

        return obj_cls(**args)

    def __call__(self, data):
        image = data['image']
        if self.augmenter:
            aug = self.augmenter.to_deterministic()
            data['image'] = aug.augment_image(image)

        return data

    def __repr__(self):
        repr_str = self.__class__.__name__ + f'(transforms={self.transforms})'
        return repr_str

# modified from mmdet
# https://github.com/open-mmlab/mmdetection/blob/master/mmdet/datasets/pipelines/transforms.py
class Albu:
    def __init__(self, transforms, **kwargs) -> None:
        self.transforms = transforms

        self.aug = Compose([self.albu_builder(t) for t in self.transforms])

    def albu_builder(self, cfg: dict) -> albu.BasicTransform:
        assert isinstance(cfg, dict) and 'typename' in cfg
        args = cfg.copy()

        obj_type = args.pop('typename')
        if isinstance(obj_type, str):
            obj_cls = getattr(albu, obj_type)
        else:
            raise TypeError(
                f'typename must be a str, but got {type(obj_type)}')

        if 'transforms' in args:
            args['transforms'] = [
                self.albu_builder(transform)
                for transform in args['transforms']
            ]

        return obj_cls(**args)

    def __call__(self, data):
        data = self.aug(**data)

        return data

    def __repr__(self):
        repr_str = self.__class__.__name__ + f'(transforms={self.transforms})'
        return repr_str

1. 解决过拟合：当新训练集拟合效果很好时，新验证集指标依旧较低——Dropout、Dropout2D、调整FC正则化项、Multi-Scale等；

2. 提高模型容量：考虑到模型容量受参数量限制较大，我们尝试通过一些成本较低（参数增量小）的方法提升模型容量——SE模块、ResNetV1D的残差块、更复杂的激活函数、多尺度feature融合、其他策略的downsample（AdaptivePool、Max/MeanPool）等；

3. 从感受野角度优化：当前的模型如不考虑sequence模块，其横向只在backbone最初及最终进行了下采样，特征感受野过小——增加宽度方向的下采样次数、增加池化层的kernel size等。

• 增强：

• 行切除(HeightRatioCrop), ratio∈[0, 0.05], p=0.5

• Cutout, ratio∈[0, 0.05], p=0.5, num∈[1, 3], size∈[0.05, 0.1], mode=constant, value∈[0, 255]

• TIA, p=0.4

• AdditiveGaussianNoise, scale∈[0, 10], p=0.5

• MotionBlur, k∈[3, 7], p=0.5

• ColorJitter, p=0.5

• 清洗：为专注于更为普适的模型优化、避免不公平竞争，我们不对原始数据进行诸如人工过滤、其他完备模型过滤等操作。

1. Backbone采用的是scale=0.6的MobileNetV3(large), 并且做了如下改进：

1. 在backbone的C2层增加一次对宽度的下采样；

2. 在backbone的最后一层pool根据输入图像尺寸的大小将配置改成了kernel_size=3，stride=3；

3. 在backbone的C5阶段加入了基于课程学习的Dropout2D。

2. Neck使用了hidden_size=64的BiLSTM

3. Head中的fc层加入了Dropout

Optimizer:
  name: Adam
  beta1: 0.9
  beta2: 0.999
  lr:
    name: CyclicalCosine
    learning_rate: 0.004  # 4 gpus
    cycle: 50
    eta_min: 0.00001
  regularizer:
    name: 'L2'
    factor: 0.00001

Architecture:
  model_type: rec
  algorithm: CRNN
  Transform:
  Backbone:
    name: MobileNetV3
    scale: 0.6
    model_name: large
    large_stride: [[1,1], [2,2], [2,1], [2,1]] # 在backbone的C2层多做了一次对宽度的下采样
    last_pool:  # backbone最后一层pool的配置
      type: max
      kernel_size: 3
      stride: 3
      padding: 0
    dropout_cfg:  # 在backbone中做spatial dropout
      start_epoch: 200
      final_p: 0.1
      start_block_idx: 12  # 12 for large:C5
      curr_finish_epoch: 1000  # p=0.1 at 1000 epoch
  Neck:
    name: SequenceEncoder
    encoder_type: rnn
    hidden_size: 64
  Head:
    name: CTCHead
    fc_decay: 0.00004
    dropout:
      p: 0.1

Loss:
  name: CTCLoss

PostProcess:
  name: CTCLabelDecode

1. 确保模型在训练集上的学习效果（过拟合）

1. 重视细节的检查