文档名：基于自适应空间稀疏化的高效多视图立体匹配
摘要：针对多视图立体匹配中构建和聚合匹配代价体时计算复杂度高的问题,现有研究通常采用级联架构或迭代优化方法.然而这些方法仍面临两个亟待解决的挑战:级联架构在精细阶段缩小了深度采样范围,导致深度不连续区域可能陷入低分辨率的错误估计;而迭代优化网络的推理时间随迭代次数线性增长,难以满足实时系统需求.为此,本文提出一种基于自适应空间稀疏化的高效多视图立体匹配网络.我们提出一种稀疏匹配代价体构建方法,通过在完整深度范围内稀疏采样,在降低计算复杂度的同时保持了网络对深度不连续区域的建模能力.同时,我们提出一种稀疏迭代优化方法,在迭代中通过自适应变分Dropout逐步剪枝深度值已收敛的区域,使推理时间随迭代次数亚线性增长.在DTU和Tanks&Temples公共数据集上的实验结果表明,本文方法的推理速度相比CasMVSNet和Patch-matchNet分别快1.2倍和0.35倍,同时点云重建效果优异,边缘伪影显著减少,且泛化能力表现出色.
Abstract：Toreducethehighcomputationalcomplexityinconstructingandaggregatingcostvolumesformulti-viewstereomatching,existingmethodscommonlyemploycascadedarchitecturesoriterativeoptimization.However,theseap-proachesstillfacetwomainchallenges.Thecascadedarchitecturesnarrowdownthedepthsamplingrangeduringthere-finementstage,whichmayleadtoerroneousestimationofdepthdiscontinuities.Whiletheinferencetimeofiterativeopti-mizationnetworkslinearlyincreaseswiththenumberofiterations,makingitdifficulttomeettherequirementsofreal-timesystems.Toaddressthesechallenges,thispaperproposesanefficientmulti-viewstereomatchingnetworkviaadaptivespa-tialsparsification.Weintroduceasparsematchingcostvolumethatsparselysampleswithinthecompletedepthrange,re-ducingcomputationalcomplexitywhilemaintainingthenetwork'sabilitytomodeldepth-discontinuousregions.Mean-while,weproposeasparseiterativeoptimizationmethodthatprogressivelyprunesregionswithconvergeddepthvaluesdur-ingiterationsusingadaptivevariationalDropout,resultinginsub-lineargrowthininferencetimewithiterationcount.Ex-perimentalresultsonthepublicdatasets,DTUandTanks&Temples,demonstratethattheproposedmethodachieves1.2×and0.35×improvementsofinferencespeedcomparedtoCasMVSNetandPatchmatchNet,respectively.Moreover,itexhib-itsexcellentperformanceinpointcloudreconstruction,effectivelyhandlesdetailsindepth-discontinuousregions,anddem-onstratesoutstandinggeneralizationcapability.
作者：周晓清 王翔 郑锦 百晓 Author：ZHOUXiao-qing WANGXiang ZHENGJin BAIXiao
作者单位：北京航空航天大学计算机学院,北京100191;北京航空航天大学软件开发环境国家重点实验室,北京100191;北京航空航天大学江西研究院,江西南昌330000北京航空航天大学计算机学院,北京100191
刊名：电子学报 ISTICEIPKU
Journal：ActaElectronicaSinica
年，卷(期)：2023, 51(11)
分类号：TP391
关键词：多视图立体 三维重建 深度估计 稀疏神经网络 循环神经网络 Transformer
Keywords：multi-viewstereo 3Dreconstruction depthestimation sparseneuralnetworks recurrentneuralnet-works Transformer
机标分类号：TP391TN919.82TP183
在线出版日期：2024年2月1日
基金项目：基于自适应空间稀疏化的高效多视图立体匹配[
期刊论文] 电子学报--2023, 51(11)周晓清 王翔 郑锦 百晓针对多视图立体匹配中构建和聚合匹配代价体时计算复杂度高的问题,现有研究通常采用级联架构或迭代优化方法.然而这些方法仍面临两个亟待解决的挑战:级联架构在精细阶段缩小了深度采样范围,导致深度不连续区域可能陷入低...参考文献和引证文献
参考文献
引证文献
本文读者也读过
相似文献
相关博文
基于自适应空间稀疏化的高效多视图立体匹配 Adaptive Spatial Sparsification for Efficient Multi-View Stereo Matching
基于自适应空间稀疏化的高效多视图立体匹配.pdf
- 文件大小:
- 3.32 MB
- 下载次数:
- 60
-
高速下载
|
|
