任务决策路径

一、NLP任务决策路径

文本分类

开始
 |
 +-- Baseline: BERT/RoBERTa微调([CLS]+Linear)
 |-- 短文本(<50词): TF-IDF + BernoulliNB快速baseline
 |-- 有keyword等元信息: 关键词增强输入
 |-- 社交媒体文本: 提取hashtag/mention/url特征
 |-- 样本不均衡: Focal Loss / 类别权重 / 采样策略
 |-- 过拟合: Label Smoothing / Multi-Sample Dropout / 对抗训练
 |-- 领域不匹配: 继续预训练 / 对比学习级联迁移
 |-- 模型升级: DeBERTa V3(单模型最强) / MacBERT(中文优化)
 |-- 分类头增强: [CLS]+LSTM+Linear / 混合池化(Max+Avg+Self-Att)
 +-- 后期冲刺: 多模型概率融合 / 伪标签 / TTA

NER命名实体识别

开始
 |
 +-- Baseline: RoBERTa+CRF(数据少优先RoBERTa权重)
 |-- 编码器增强: BiLSTM+CRF(数据量大) / IDCNN+CRF(推理速度要求高)
 |-- 多层融合: BERT最后4层加权求和(上分点大)
 |-- 标注方法: IOBS(简单) vs BIOES(约束强)，可同时标注投票融合
 |-- SOTA模型: FLAT(中文NER引入词信息，决赛加分)
 |-- 脱敏数据: 词频映射 + 混合词表初始化
 |-- 预测偏移: Offset Mapping修正 + 边界后处理
 |-- 标签约束强: CRF解码; 无约束: Softmax即可
 |-- 有格式实体: 规则方法(Regex) 100%准确率
 |-- 类别多数据少: 多任务拆分(边界+分类)
 |-- 后处理: Bad Case分析 → 规则修正(书名号/引号/格式校验)
 |-- 融合: 特殊概率融合(超参控制权重) > 简单概率平均 > 投票
 +-- 伪标签/半监督: 高置信度无标注数据加入训练

阅读理解/多选

开始
 |
 +-- 分词器选择: Byte-level BPE避免UNK
 |-- 输入顺序: QA顺序调换做伪融合
 |-- 模型增强: BERT上层加LSTM/Attention
 +-- 提分: Label Smoothing / TTA / 概率分布融合

数据增强与训练

开始
 |
 +-- 文本增强: 同义词替换 / 回译 / 实体替换 / EDA
 |-- Mixup: 在Embedding空间做插值(非原始文本)
 |-- 伪标签: 高置信度(0.9+)无标注样本加入训练
 |-- 训练稳定: Warmup(0.1) + 梯度裁剪(1.0) + 分层学习率
 +-- 融合多样性: 不同架构(BERT/RoBERTa/DeBERTa) + 不同折 + 不同超参

二、CV任务决策路径

图像分类

开始
 |
 +-- Baseline: ResNet18/34 + 基础增强
 |-- 冲分: EfficientNet-B3~B7 + MixUp/CutMix
 |-- 大数据量: ViT/Swin Transformer
 |-- 噪声标签: Bi-tempered Loss / Label Smoothing / Clean Label
 +-- 融合: 多架构概率平均(EfficientNet+ViT+ResNet)

目标检测

开始
 |
 +-- Baseline: EfficientDet-D0~D5 / YOLOv5s
 |-- 冲分: EfficientDet + YOLOv5 + Faster R-CNN 跨架构融合
 |-- 密集目标: Soft-NMS替代标准NMS
 |-- 多模型融合: WBF(首选) > Soft-NMS > NMS
 |-- 后处理: OOF选最优置信度阈值
 +-- 数据增强: Mosaic(检测标配) + MixUp

语义分割

开始
 |
 +-- Baseline: U-Net + ResNet34 backbone
 |-- 冲分: U-Net + EfficientNet backbone + Attention
 |-- 医学大图: TIF→PNG切片→训练→预测拼接
 |-- 损失: BCE + Dice(通用首选)
 |-- 小目标: Dice Loss分母平方优化
 +-- 融合: 多模型像素级概率平均

非典型CV数据

开始
 |
 +-- 频谱图/热力图: 直接当图像输入CNN
 |-- 人脸表情: 先人脸检测裁剪→再分类
 +-- 图像检索: 孪生网络 / ArcFace

CV按比赛阶段

三、时间序列任务决策路径

数据预处理

开始
 |
 +-- 量纲差异大: offset+log变换 → 固有值去除
 |-- 趋势性强: 趋势特征衍生(短期-长期中位数)
 |-- GBT趋势外推不足: 复合预测(LR拟合趋势+NN/GBT拟合残差)
 +-- 评价指标为SMAPE: 损失函数直接用SMAPE

建模

开始
 |
 +-- 树模型: LightGBM/XGBoost/CatBoost + 时序特征工程
 |-- DNN: 多输入(静态+动态) + Skip Connection
 |-- LSTM: 时序任务首选，捕捉长程依赖
 |-- GRU: 数据量小/快速实验，参数少训练快
 +-- 复合策略: 中位数模型 + DNN残差拟合

深度学习

开始
 |
 +-- 输入构造: 滑动窗口(前T步预测后1步)
 |-- 归一化: z-score(每个特征独立)
 |-- 双向: 慎用，预测任务可能数据泄露
 |-- 高频因子挖掘: 订单簿因子+成交因子+买卖单细分+联动因子+聚类因子
 |-- 因子评估: IC/ICIR(>0.5强因子) + 分层回测(单调性)
 |-- 半监督: 伪标签(高置信度) + 一致性正则 + Mixup时间步对齐
 +-- 多模型融合: 树模型+深度模型+统计模型

验证与集成

开始
 |
 +-- 交叉验证: 时序划分 + Gap防泄漏
 |-- NN集成: 20个NN取中位数
 +-- 后处理: round()取整 + 阈值截断

四、推荐系统竞赛决策路径

召回阶段

开始
 |
 +-- 协同过滤: ItemCF(电商/物品稳定) / UserCF(新闻/兴趣变化快)
 |-- 图嵌入: DeepWalk / Node2Vec / LINE
 |-- 深度召回: YouTube DNN(双塔) / DSSM
 |-- 多兴趣: MIND(动态路由) / ComiRec(注意力)
 |-- 向量检索: FAISS-IVF(通用) / FAISS-HNSW(高召回)
 +-- 多路召回: ItemCF + UserCF + DeepWalk + 双塔DNN 合并

排序阶段

开始
 |
 +-- 基础: Wide & Deep(需人工交叉特征) / DeepFM(自动交叉，通用首选)
 |-- 序列建模: DIN(注意力加权历史行为) / BST(Transformer编码序列)
 |-- 特征工程: 用户统计 + 物品统计 + 交叉统计 + 时间特征 + 序列特征
 +-- 训练: 负采样(随机+热门) + 多折时间划分验证

多目标优化

开始
 |
 +-- Shared-Bottom(简单但易负迁移)
 |-- MMOE(多Expert+多Gate，软共享)
 +-- PLE(任务Expert+共享Expert，目前最强)

知识图谱

开始
 |
 +-- 嵌入: TransE(1对1) / TransH(1对多) / TransR(复杂关系)
 +-- 增强: 实体链接 + 路径推理 + Embedding特征增强

五、结构化数据任务决策路径

特征工程

开始
 |
 +-- 缺失值: 按缺失原因分类处理
 |-- 异常值: 散点图识别 + 选择性删除
 |-- 偏态分布: log1p / Box-Cox变换
 |-- 数值实为类别: astype(str)修正语义
 |-- 有序类别: Label Encoding保留等级
 +-- 组合特征: 领域知识构造(如总面积)

模型选择

开始
 |
 +-- 线性模型: Lasso/ElasticNet/Ridge + RobustScaler
 |-- 树模型: GBR/XGBoost/LightGBM
 +-- 集成: Stacking + 加权平均融合

调参

开始
 |
 +-- 传统ML: GridSearchCV / 随机搜索 / 贝叶斯优化
 +-- 深度学习: 手动实验，lr最关键

六、新增技术决策路径

参数高效微调决策

开始
 |
 +-- 显存不足: LoRA(仅增0.1%~1%参数)
 |-- 多任务切换: Adapter / LoRA(每任务独立参数)
 |-- 少样本: P-Tuning v2(接近全参数微调)
 +-- 追求极致: 全参数微调

NER解码器决策

开始
 |
 +-- 扁平实体: CRF(稳定首选)
 |-- 嵌套实体: GlobalPointer / Span-based
 |-- 少样本: MRC-NER(问题引入先验)
 |-- 追求速度: Linear + 后处理
 +-- 追求极致: GlobalPointer / Biaffine

时序深度模型决策

开始
 |
 +-- 短序列: LSTM / GRU
 |-- 长序列多步: PatchTST / N-HiTS
 |-- 多周期: TimesNet
 |-- 趋势季节明显: Autoformer / N-BEATS
 |-- 多变量: PatchTST(通道独立)
 +-- 需要可解释性: TFT

推荐排序模型决策

开始
 |
 +-- 通用首选: DeepFM(自动二阶交叉)
 |-- 高阶交叉: DCN V2(有界阶交叉) / xDeepFM(向量级交叉)
 |-- 可解释性: AutoInt(注意力可视化)
 |-- 序列行为: DIN(注意力加权) / BST(Transformer)
 +-- 多目标: MMOE(软共享) / PLE(最强) / ESMM(CVR预估)

调参方法决策

开始
 |
 +-- 快速实验: 人工调参
 |-- 小搜索空间: 网格搜索
 |-- 大搜索空间: 贝叶斯优化(Optuna)
 |-- 训练成本高: Hyperband / BOHB
 |-- 分布式环境: ASHA + Ray Tune
 +-- 长时间训练: PBT(训练调参一体化)

CV新架构决策

开始
 |
 +-- 分类冲分: EfficientNetV2-M/L(比V1快5~11倍)
 |-- ViT替代: ConvNeXt(CNN归纳偏置+ViT设计)
 |-- 检测backbone: ConvNeXt-T/S
 |-- 分割backbone: Swin Transformer
 +-- 快速验证: EfficientNetV2-S