基于轴向空间注意力和中间融合表示的单图像三维重建模型
DOI:
作者:
作者单位:

四川大学

作者简介:

通讯作者:

中图分类号:

基金项目:

成都市科技计划项目(No. 2021-YF05-D0916-SN);智能电网四川省重点实验室应急重点项目(No. 020IEPG-KL-20YJ01);德阳科技局(揭榜挂帅)项目(2021JBJZ007)


3D reconstruction model based on attention and intermediate fusion representation
Author:
Affiliation:

Fund Project:

  • 摘要
  • |
  • 图/表
  • |
  • 访问统计
  • |
  • 参考文献
  • |
  • 相似文献
  • |
  • 引证文献
  • |
  • 资源附件
  • |
  • 文章评论
    摘要:

    利用“编码-解码”模型实现单图像的三维重建,由于特征提取能力不足导致重建对象细节缺失,针对这一问题,本文提出基于注意力和中间融合表示的三维重建模型,旨在重建具有精细化的三维模型。利用轴向空间注意力机制学习不同方向的信息,将其嵌入至残差单元中以捕获局部结构特征;基于双流网络推测深度图和三维平均形状以设计中间融合表示模块,有效融合可见表面细节信息,更好地描绘对象的三维空间结构。实验结果表明:轴向空间注意力机制和中间融合表示模块增强了特征提取的能力,IoU和F-score比PixVox++分别提升了1.3%和0.4%,三维重建效果更优。

    Abstract:

    The coding-decoding model is used to realize the 3D reconstruction of a single image. Due to the lack of feature extraction ability, the details of the reconstructed object are missing. To solve this problem, this paper proposes a 3D reconstruction model based on attention and intermediate fusion representation, aiming at the reconstruction of a fine 3D model.The axial spatial attention mechanism is used to learn information from different directions and embed it into residual elements to capture local structural features. Based on the dual-flow network, the depth map and 3d average shape are deduced to design the intermediate fusion representation module, which effectively integrates the visible surface details and better describes the 3d spatial structure of the object. The experimental results show that the axial spatial attention mechanism and the intermediate fusion representation module enhance the ability of feature extraction, IoU and f-score are improved by 1.3% and 0.4% respectively compared with PixVox++, and the 3d reconstruction effect is better.

    参考文献
    相似文献
    引证文献
引用本文
分享
文章指标
  • 点击次数:
  • 下载次数:
  • HTML阅读次数:
  • 引用次数:
历史
  • 收稿日期:2022-09-20
  • 最后修改日期:2022-09-20
  • 录用日期:2022-10-24
  • 在线发布日期:
  • 出版日期:

漂浮通知

①《半导体光电》新近入编《中文核心期刊要目总览》2023年版(即第10版),这是本刊自1992年以来连续第10次被《中文核心期刊要目总览》收录。
②目前,《半导体光电》已入编四个最新版高质量科技期刊分级目录,它们分别是中国电子学会《电子技术、通信技术领域高质量科技期刊分级目录》(T3)、中国图象图形学学会《图像图形领域高质量科技期刊分级目录》(T3)、中国电工技术学会《电气工程领域高质量科技期刊分级目录》(T3)和中国照明学会《照明领域高质量科技期刊分级目录》(T2)。
③关于用户登录弱密码必须强制调整的说明
④《半导体光电》微信公众号“半导体光电期刊”已开通,欢迎关注