26年CH计算机 基于多流图卷积的手语翻译系统的研究与实现(35942字).docx

I摘要手语是听障人士主要的交流方式，在信息无障碍领域中有着重要的作用。现有的手语识别系统大多基于 2D 或者 3D 的 CNN 模型，存在计算量大、易受环境变化影响、推理速度慢、鲁棒性低等缺点。论文针对上述问题，设计并实现了基于关键点和 CTC的手语识别模型，并以此为底座构建了连续手语翻译系统。手势识别系统在感知层使用多流图卷积网络分别对姿态、双手、面部进行独立编码，通过门控机制调整模态权重达到跨模态准确融合。在时序建模层中以动作驱动智能采样，利用三层 Transformer 编码器和时间卷积提取时序特征，配合 CTC 解码器对手语进行初步的解码。...