(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210998966.3 (22)申请日 2022.08.19 (71)申请人 中国科学院上海微系统与信息技 术 研究所 地址 200050 上海市长 宁区长宁路865号 (72)发明人 王旭　陈南希　李嘉茂　张晓林　 (74)专利代理 机构 上海智信专利代理有限公司 31002 专利代理师 杨怡清 (51)Int.Cl. G06T 7/73(2017.01) G06T 7/50(2017.01) G06N 3/04(2006.01) (54)发明名称 一种基于均一型残差网络的空间位置关系 检测方法 (57)摘要 本发明提供一种基于均一型残差网络的空 间位置关系检测方法， 包括： 使用均一型残差网 络从图像的深度信息中提取深度信息特征； 其 中， 均一型残差网络在下采样时输入和输出通道 数不变； 从物体标签、 物体边界框提取第一类空 间位置特征， 从RGB图像中提取第二类空间位置 特征； 将所有深度信息特征、 第一类空间位置特 征和第二类空间位置特征都送入空间位置关系 分类网络， 以进行空间位置关系的检测。 本发明 的基于均一型残差网络的空间位置关系检测方 法使用残差网络从图像深度信息中提取深度信 息特征并设计了均一型残差网络， 处理深度信息 时神经网络在下采样的时候通道数保持不变， 从 而可以有效提高空间位置关系的检测精度。 权利要求书2页 说明书15页 附图2页 CN 115359122 A 2022.11.18 CN 115359122 A 1.一种基于均一型残差网络的空间位置关系检测方法， 其特 征在于， 包括： 步骤S1： 使用均一型残差网络从图像的深度信息中提取深度信息特 征； 步骤S2： 从物体标签、 物体边界框提取第一类空间位置特征， 从RGB图像中提取第二类 空间位置特 征； 步骤S3： 将所有深度信息特征、 第一类空间位置特征和第二类空间位置特征都送入空 间位置关系分类网络， 以进行空间位置关系的检测； 在所述步骤S1中， 所述均一型残差网络通过如下 方法设计得到： 步骤S11： 在基本式构成单元和瓶颈式构成单元这两种构成单元中选择一种作为均一 型残差网络的构成单 元； 步骤S12： 设置残差网络中构成单 元的数量； 步骤S13： 在第一个构成单元前插入一个7 ×7的卷积层和一个3 ×3的最大池化层， 在最 后一个构成单元后插入一个平均池化层； 第一个构成单元是指在处理输入图像的过程中最 早进行数据处理的构成单 元； 步骤S14： 选择进行 下采样的神经网络层； 步骤S15： 设置每个构成单元的输入通道数和输出通道数， 其中， 所有的构成单元具有 相同数量的卷积层， 且不同的构成单元的同一层卷积层的输入通道数和输出通道数不随下 采样而变化。 2.根据权利要求1所述的基于均一型残差网络的空间位置关系检测方法， 其特征在于， 所述均一型残差网络的构成单元采用基本式构成单元， 所述基本式构成单元由两层尺寸为 3×3的卷积层以及相应的归一化层和激活函数层构成， 两层卷积层的输入通道数和输出通 道数相同， 不随下采样而变化。 3.根据权利要求2所述的基于均一型残差网络的空间位置关系检测方法， 其特征在于， 每个基本式构成单 元中， 两个3 ×3卷积层的输入通道数均为64， 输出通道数均为64。 4.根据权利要求1所述的基于均一型残差网络的空间位置关系检测方法， 其特征在于， 所述均一型残差网络的构成单元采用瓶颈式构成单元， 瓶颈式构成单元由三层卷积层以及 相应的归一化层和激活函数层构成， 第一层卷积层的尺 寸为1×1， 第二层卷积层的尺寸为3 ×3， 第三层卷积层的尺寸为1 ×1； 对于所有瓶颈式构成单元， 第二层卷积层的输出通道数 与第一层卷积层的输出通道数相同， 不 随下采样而变化； 对于除第一个瓶颈式构成单元以 外的其它瓶颈式构成单元， 第一层卷积层的输入通道数是第二层卷积层输入通道数的4倍， 不随下采样而变化； 对于所有瓶颈式构成单元， 第三层卷积层的输入通道数与第二层卷积 层的输入通道数相同， 不 随下采样而变化， 第三层卷积层的输出通道数是第二层卷积层的 输出通道数的4 倍， 不随下采样而变化。 5.根据权利要求4所述的基于均一型残差网络的空间位置关系检测方法， 其特征在于， 第一个瓶颈式构成单元的通道数为： 第一个卷积层的输入通道为64， 输出通道为64； 第2个 卷积层的输入通道为64， 输出通道为64； 第3个卷积层的输入通道为64， 输出通道为256； 除 第一个瓶颈式构成单元以外的其它瓶颈式构成单元的通道数为： 第一个卷积层的输入通道 为256， 输出通道 为64； 第2个卷积层的输入通道 为64， 输出通道 为64； 第3个卷积层的输入通 道为64， 输出通道为256； 其中， 第一个瓶颈式构成单元是指在 处理输入图像的过程中最早 进行数据处理的瓶颈式构成单 元。权　利　要　求　书 1/2 页 2 CN 115359122 A 26.根据权利要求1所述的基于均一型残差网络的空间位置关系检测方法， 其特征在于， 在所述步骤S14中， 关键层总数是一个事先指 定的正整 数， 进行下采样的神经网络层的序数 根据残差网络的关键层总数来选择； 如果关键层总数为18， 则下采样的神经网络层为： 7 ×7的卷积层、 3 ×3的最大池化层， 第3、 5、 7个构成单 元中的第一个3 ×3的卷积层； 如果关键层总数为34， 则下采样的神经网络层为： 7 ×7的卷积层、 3 ×3的最大池化层， 第4、 8、 14个构成单 元中的第一个3 ×3的卷积层； 如果关键层总数为50， 则下采样的神经网络层为： 7 ×7的卷积层、 3 ×3的最大池化层， 第4、 8、 14个构成单 元中的3×3的卷积层； 如果关键层总数为101， 则下采样的神经网络层为： 7 ×7的卷积层、 3 ×3的最大池化层， 第4、 8、 31个构成单 元中的3×3的卷积层； 如果关键层总数为152， 则下采样的神经网络层为： 7 ×7的卷积层、 3 ×3的最大池化层， 第4、 12、 48个构成单 元中的3×3的卷积层。权　利　要　求　书 2/2 页 3 CN 115359122 A 3