(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210667801.8 (22)申请日 2022.06.14 (71)申请人 青岛理工大 学 地址 266000 山东省青岛市青岛经济技 术 开发区嘉陵江路7 77号 (72)发明人 陈成军　王金磊　李长治　史宏思　 代成刚　黄居鑫　官源林　李东年　 张庆海　 (74)专利代理 机构 福州科扬专利事务所(普通 合伙) 35001 专利代理师 魏珊珊 (51)Int.Cl. G06V 10/22(2022.01) G06V 10/40(2022.01) G06V 10/764(2022.01)G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 面向装配顺序监测的图像多视角语义变化 检测网络及方法 (57)摘要 本发明提供了面向装配顺序监测的图像多 视角语义变化检测网络， 包括特征提取模块、 注 意力模块、 步骤识别模块、 度量模块； 特征提取模 块采用一种密集连接的特征提取模 型； 注意力模 块采用融合上下文特征的自注 意力模型， 对提取 的双时图像特征信息加权处理， 并将信息分别输 入步骤识别模块和度量模块； 将加权处理后的特 征信息分别输入步骤识别模块和度量模块， 以分 别判断当前装配步骤和图像的变化区域， 根据装 配步骤赋值图像上的变化区域， 得到语义变化图 像； 本发明还提供了基于该监测网络的监测方 法， 包括建立数据集阶段、 训练阶段和测试阶段， 能够监测漏装、 错装、 装配步骤等， 根据实验对比 现有的监测方法， 本发明具有检测性能优良的优 点。 权利要求书2页 说明书8页 附图3页 CN 115115819 A 2022.09.27 CN 115115819 A 1.面向装配顺序监测的图像多视角语义变化检测网络， 包括： 特征提取模块、 注意力模 块和度量模块， 其特 征在于， 还 包括： 步骤识别模块； 所述特征提取模块分别提取输入检测网络的不同视角的双时图像特 征信息； 所述注意力模块对提取的双时图像特征信 息加权处理， 加权处理后的双时图像特征信 息分别输入步骤识别模块和度量模块； 所述步骤识别模块检测变化目标物体的类别， 并识别变化零部件当前所处装配阶段， 对装配顺序进行监测； 所述度量模块判断图像的变化 区域， 根据步骤识别模块得到的目标类别对变化 区域赋 值， 从而得到语义变化图像。 2.根据权利要求1所述的面向装配顺序监测的图像多视角语义变化检测网络， 其特征 在于， 所述步骤识别模块具有一种使用Transformers方法处理全局特征信息的卷积神经网 络。 3.根据权利要求1所述的面向装配顺序监测的图像多视角语义变化检测网络， 其特征 在于， 所述特征提取模块具有一种密集连接的特征融合机制， 所述特征提取模块将浅层子 解码器中节点输出连接到深层子解码器节点， 所述特征融合机制 工作时， 将编码器中的细 粒度特征依次传输 到深度解码器， 最后输出 具有相同尺寸的多组特 征图。 4.根据权利要求1所述的面向装配顺序监测的图像多视角语义变化检测网络， 其特征 在于， 所述注意力模块具有一种融合上下文特征信息的自注意力机制Cot， 所述自注意力 Cot机制步骤为： 首先通过3 ×3卷积对输入值进行上下文编码， 挖掘相邻键之间的静态上下文特征信 息， 从而产生静态上 下文键key； 然后根据query和静态上下文键key之间的相互关系， 在静态上下文key的指导下利用 两个连续的1 ×1卷积来执行动态注 意力矩阵学习， 学习到的注意力矩阵用于聚合所有输入 值， 从而实现动态上 下文特征信息表示； 最后将静态上 下文特征信息和动态上 下文特征信息融合并输出。 5.根据权利要求4所述的面向装配顺序监测的图像多视角语义变化检测网络， 其特征 在于， 度量模块先将特征提取模块输出的多组特征图相加， 然后利用自注意力Cot机制对四 组特征图进 行加权处理， 同时将四组特征图拼接， 再次利用自注意力Cot机制加权处理得到 提取的特征， 所述提取 的特征用于自动选择和关注不同组之间更为有效的信息量， 以生成 图像变化区域。 6.基于权利要求1～5任一所述的面向装配顺序监测的图像多视角语义变化检测网络 的检测方法， 其特 征在于， 包括以下阶段： 建立数据集阶段、 训练阶段和 测试阶段； 所述建立数据集阶段生成训练样本供所述面向装配顺序监测的图像多视角语义变化 检测网络学习； 所述训练阶段让所述特征提取模块学习训练样本的装配体图像特征信 息， 并经过注意 力模块、 步骤识别模块和度量模块处理后， 输出训练样本的语义变化图像， 判断此语义变化 图像是否 达到训练要求， 经多次训练后最终保存最优 模型； 所述测试阶段由所述特征提取模块对新输入的装配体图像提取特征， 并根据最优模型 获得语义变化图像。权　利　要　求　书 1/2 页 2 CN 115115819 A 27.根据权利要求6所述的面向装配顺序监测的图像多视角语义变化检测方法， 其特征 在于， 所述建立数据集阶段的步骤为： 先建立机械与真实场景中装配体尺寸一致的装配体3D模型， 将该装配体模型划分为多 个装配步骤的3D模型， 然后依次将每个装配步骤的3D模型导入并对每个零件进行颜色标 记， 同时设置坐标系原 点并导出为设定的格式文件， 再将该文件导入并进 行合成图像生 成， 从不同的角度采集图像， 最后提取图像中对应的颜色标签， 改设颜色标签中颜色值作为变 化语义特 征。 8.根据权利要求6所述的面向装配顺序监测的图像多视角语义变化检测方法， 其特征 在于， 所述训练阶段的步骤为： S1： 分别将不同视角的前一时刻图像作为基准图像T1和后一时刻图像作为待检测图像 T2输入到特 征提取模块； S2： 特征提取模块分别提取上述双时图像的特征信息， 该模块采用 密集连接跳跃融合 机制提升细粒度特 征的浅层信息 权重值， 使网络具有丰富的特 征信息； S3： 注意力模块对上述双时图像的特征信息加权处理， 充分利用相邻键之间的上下文 特征信息来指导动态 注意力矩阵学习， 从而 进一步增强计算机 视觉特征表示能力； S4： 将加权处理后的特征信息分别输入步骤识别模块和度量模块， 步骤识别模块判断 当前装配阶段， 度量模块根据特征信息获取变化区域， 根据当前装配阶段赋值变化区域得 到语义变化图像； S5： 利用数据集中的训练样本图像不断迭代执行步骤S1至S4， 直至达到设定的训练次 数， 保存训练过程中最优 模型。权　利　要　求　书 2/2 页 3 CN 115115819 A 3