对对应矩阵拼接将会造成累计误差,忽略图像间多重约束,如全景图两端应联合起来。图像一个接一个被添加到捆绑调节器,最佳匹配图像(一致匹配数目最大)在每一步被添加,新图像用与最佳匹配图像具有相同旋转和焦距长度初始化,然后相机参数使用L-M算法被更新。我们使用目标函数是一种抗差总和平方预测误差。也就是说,每个特征点被投影到所有与它匹配图像中,并且平方图像距离总和依据相机参数最小化。考虑到对应关系ljkiuu(kiu表示在图像i中第k个特征点位置),残差表示为kijkikijpur()其中对应到kiu点kijp是对应于kiu点从图像j到图像i投影ljjTjiikijuKRRKp~~()误差函数是所有图像抗差剩余误差和,表示如下:niijjifkkijrhe,()其中n是总图像数,I(i)是和图像i匹配图像集,),(jif是图像i和图像j特征匹配集。我们使用Hub图像匹配连通集会成为全景图。由于每个图像可能和任意其他一个匹配,这个问题一开始就呈现是出图像数二次方。为了得到一个好拼接结果,对于图像几何而言,每个图像只需要和少数重叠图像来匹配。从特征匹配这个步骤中,我们已找出图像间有大量匹配点图像。对于当前图像,我们将m幅图像作为可能匹配图像(m=),这m幅图像与当前图像有最大数量特征匹配点。首先,使用RANSAC算法选择一系列和图像间对应矩阵兼容内点,然后应用概率模型做进一步验证。.使用RANSAC算法鲁棒对应矩阵估计RANSAC(随机抽样一致性算法)算法是使用最少一组随机采样匹配点一种鲁棒估计过程,用来估计图像变换参数,并找到与数据具有最好一致性解决方案。在全景图情况下,我们选择r=对匹配特征点,使用直接线性变换(DLT)方法计算图像间对应矩阵H。重复次试验,选择内点数最大解决方案(在像素误差范围内,其预测和H是一致)。假设一对匹配图像间特征匹配点是正确概率(内点概率)为ip,n次试验后找到正确变换概率为:Hp(iscorrect)nrip))((()经过大量试验后,找到正确对应矩阵概率非常大。例如,对于内点概率.ip,在次试验后,未找到正确对应矩阵概率为。RANSAC算法本质上是一种估计H采样方法,如果用对数似然和最大化代替内点数量最大化,结果是最大似然估计(MLE)。此外,如果变换参数先验值是有效,可以计算出最大后验概率(MAP)。这些算法被分别称为MLESAC和MAPSAC。.图像匹配关系验证概率模型对两两图像间是否存在匹配关系,我们使用一系列几何一致特征匹配点(RANSAC内点)和一系列在重叠区域内,但不一致特征点(RANSAC外点)来验证。验证模型通过比较这些正确匹配产生一系列内点和错误匹配产生一系列外点概率来进行验证。对于一幅给定图像,重叠区域内总匹配特征点数为fn,内点数为in。图像是否有效匹配通过二进制变量,m表示。第i个匹配特征点,if是否为内点被假定为独立贝努力分布,以便于内点总数服从贝努力分布::,;pnnBmfpfinf():,;pnnBmfpfinf()其中,p是可以正确匹配图像时特征点为内点概率,p是不能实现图像匹配时特征点为内点概率;fnf:表示特征匹配点变量集合finif,...,,,,内点数fniiifn,B(.)是贝努力分布,表示如下:xnppxnxnpnxBx!!!),;(()我们选择.p,.p,则可以使用贝叶斯规则(式、)计算正确图像匹配先验概率。fffnnnfpmpmfpfmp:::())()():(:mpmfpmpmfpffnn()如果满足min):()(pfmpfn,;);(min,pmppnnBmppnnBacceptfifireject()我们可以实现图像匹配。假定)(mp,.minp,进一步得出正确图像匹配判定条件:finn()其中.,.。尽管在这我们选择了p,p,mp,mp和minp值,但在原理上可以从数据中进一步确定这些值。例如,可以通过在大数据集中计算一部分匹配点和正确对应矩阵相一致来估计p。一旦图像间匹配点对确定,我们可以找到全景序列作为连接匹配图像集,它可以识别图像集中多个全景,拒绝不匹配噪声图像(见图)。(a)图一(b)图二(c)SIFT匹配点(d)SIFT匹配点(e)RANSAC内点(f)RANSAC内点(g)依据对应矩阵图像对准图,从所有图像中提取SIFT特征点。使用k-d树匹配所有特征点后,对于一个给定图像,用有最多特征匹配点m幅图像进行图像匹配。首先执行RANSAC算法计算出对应矩阵,然后调用概率模型验证基于内点数图像匹配,在这个例子中,输入图像是像素,有个正确特征匹配点。(a)图像匹配点(b)图像匹配点连接分量(c)输出全景图图,可识别全景图。考虑一个特征匹配点噪声集,我们使用RANSAC算法和概率验证过程找到一致图像匹配(a),每个图像对间箭头表示在图像对间找到一致特征匹配点集,图像匹配连接分量被找到(b),拼接成全景图(c);注意到该算法对不属于全景图噪声图像不敏感。.捆绑调整考虑到图像间几何一致性匹配集,使用捆绑调整解决所有相机参数问题,这是重要一个步骤,由于成对对应矩阵拼接将会造成累计误差,忽略图像间多重约束,如全景图两端应联合起来。图像一个接一个被添加到捆绑调节器,最佳匹配图像(一致匹配数目最大)在每一步被添加,新图像用与最佳匹配图像具有相同旋转和焦距长度初始化,然后相机参数使用L-M算法被更新。我们使用目标函数是一种抗差总和平方预测误差。也就是说,每个特征点被投影到所有与它匹配图像中,并且平方图像距离总和依据相机参数最小化。考虑到对应关系ljkiuu(kiu表示在图像i中第k个特征点位置),残差表示为kijkikijpur()其中对应到kiu点kijp是对应于kiu点从图像j到图像i投影ljjTjiikijuKRRKp~~()误差函数是所有图像抗差剩余误差和,表示如下:niijjifkkijrhe,()其中n是总图像数,I(i)是和图像i匹配图像集,),(jif是图像i和图像j特征匹配集。我们使用Hubmaticallyfindoptimalseamlinesbasedonregionsofdifferencebetweentheimages.AdvancedCameraModellingAnimportantcharacteristicofmostcamerasthatisnotincludedintheprojectivecameramodel(whichpreservesstraightlines)isradialdistortion[Bro].Whilstthisisnotexplicitlymodelledbyouralgorithm,wehavetestedtheperformanceundermoderateamountsofradialdistortion(seefigure).Althoughpanoramarecognitionandapproximatealignmentisrobusttoradialdistortioninourexperiments,therearenoticableartifactsintherenderedresults.Hencehighqualityimagestitchingapplicationswouldneedtoincluderadialdistortionparametersatleastinthebundleadjustmentandrenderingstages.Anidealimagestitcherwouldalsosupportmultiplemotionmodels,forexample,rotationaboutapoint(e.g.panoramas),viewingaplane(e.g.whiteboards)andEuclideantransforms(e.g.aligningscannedimages).Onecouldalsorendertomultiplesurfacetypes,e.g.,spherical,cylindrical,planar.PhotometricModellingInprincipleitshouldalsobepossibletoestimatemanyofthephotometricparametersofthecamera.Vignetting(decreaseinintensitytowardsimageedges)isacommonsourceofartifacts,particularlyinuniformcolourregionssuchassky.Onecouldalsoacquirehigh-dynamicrangeinformationfromtheoverlappingimageregions,andrendertonemappedorsyntheticexposureimages.WehavedevelopedaC++implementationofthealgorithmdescribedinthispaper,calledAutostitch.Ademoofthisprogramcanbedownloadedfromhttp://www.autostitch.net.Figure.Adifficultstitchingproblem.Thisexample(fromTimesSquare,NewYork)containsmanymovingobjectsandlargechangesinbrightnessbetweentheimages.Despitethesechallenges,ourapproachisabletofindconsistentsetsofinvariantfeatures,andcorrectlyregistertheimages.Futureautomaticimagestitcherscoulddetectthemovingobjects,andcomputehighdynamicrangeradiancemapsofthescene.Thiswouldenabletheuserto„re-photograph‟thescenewithdifferentexposuresettingsandmovingobjectsselected.图像匹配连通集会成为全景图。由于每个图像可能和任意其他一个匹配,个问题一开始就呈现是出图像数二次方。为了得到一个好拼接结果,对于图像几何而言,每个图像只需要和少数重叠图像来匹配。从特征匹配这个步骤中,我们已找出图像间有大量匹配点图像。对于当前图像,我们将m幅图像作为可能匹配图像(m=),这m幅图像与当前图像有最大数量特征匹配点。首先,使用RANSAC算法选择一系列和图像间对应矩阵兼容内点,然后应用概率模型做进一步验证。.使用RANSAC算法鲁棒对应矩阵估计RANSAC(随机抽样一致性算法)算法是使用最少一组随机采样匹配点一种鲁棒估计过程,用来估计图像变换参数,并找到与数据具有最好一致性解决方案。在全景图情况下,我们选择r=对匹配特征点,使用直接线性变换(DLT)方法计算图像间对应矩阵H。重复次试验,选择内点数最大解决方案(在像素误差范围内,其预测和H是一致)。假设一对匹配图像间特征匹配点***大学毕业设计(英文翻译)原文题目:AutomaticPanoramicImageStitchingusingInvariantFeatures译文题目:使用不变特征全景图像自动拼接学院:电子与信息工程学院专业:********姓名:******学号:**********使用不变特征全景图像自动拼接马修布朗和戴维•洛{mbrown|lowe}@cs.ubc.ca计算机科学系英国哥伦比亚大学加拿大温哥华摘要本文研究全自动全景图像拼接问题,尽管一维问题(单一旋转轴)很好研究,但二维或多行拼接却比较困难。以前方法使用人工输入或限制图像序列,以建立匹配图像,在这篇文章中,我们假定拼接是一个多图像匹配问题,并使用不变局部特征来找到所有图像匹配特征。由于以上这些,该方法对输入图像顺序、方向、尺度和亮度变化都不敏感;它也对不属于全景图一部分噪声图像不敏感,并可以在一个无序图像数据集中识别多个全景图。此外,为了提供更多有关细节,本文通过引入增益补偿和自动校直步骤延伸了我们以前在该领域工作。.简介全景图像拼接已经有了大量研究文献和一些商业应用。这个问题基本几何学很好理解,对于每个图像由一个估计摄像机矩阵或对应矩阵组成。估计处理通常由用户输入近似校直图像或者一个固定图像序列来初始化,例如,佳能数码相机内图像拼接软件需要水平或垂直扫描,或图像方阵。在自动定位进行前,第版REALVIZ拼接软件有一个用户界面,用鼠标在图像大致定位,而我们研究是有新意,因为不需要提供这样初始化。根据研究文献,图像自动对齐和拼接方法大致可分为两类——直接和基于特征。直接方法有这样优点,它们使用所有可利用图像数据,因此可以提供非常准确定位,但是需要一个只有细微差别初始化处理。基于特征配准不需要初始化,但是缺少不变性传统特征匹配方法(例如,Harris角点图像修补相关性)需要实现任意全景图像序列可靠匹配。在本文中,我们描述了一个基于不变特征方法实现全自动全景图像拼接,相比以前方法有以下几个优点。第一,不变特征使用实现全景图像序列可靠匹配,尽管在输入图像中有旋转、缩放和光照变化。第二,通过假定图像拼接是一个多图像匹配问题,我们可以自动发现这些图像间匹配关系,并且在无序数据集中识别出全景图。第三,通过使用多波段融合呈现无缝输出全景图,可以产生高质量结果。本文通过引入增益补偿和自动校直步骤延伸了我们以前在该领域工作,我们还描述了一个高效捆绑调整实现并展示对任意数量波段多个重叠图像如何进行多波段融合。本文其余部分结构如下。第二部分说明所研究问题几何学和我们选择不变特征原因。第三部分介绍了图像匹配方法(RANSAC)和验证图像匹配概率模型。第四部分中,我们描述了图像对准算法(捆绑调整),即共同优化每个摄像头参数。五到七部分描述了处理过程,包括自动校直、增益补偿和多波段融合。第九部分中,我们给出了结论和对未来工作展望。.特征匹配全景识别算法第一步是在所有图像之间提取和匹配SIFT特征检测点。SIFT特征检测子位于不同尺度空间高斯插值函数极值点处,对每一个特征点,特征尺度和方向被确定,这为测量提供了一个相似不变结构。尽管在这个结构中简单采样强度值是相似不变,但是不变描述子实际上是通过对方向直方图局部梯度值进行累积计算得到,这样就允许边缘有轻微移动而不会改变描述子矢量,对仿射变换提供了一定鲁棒性。空间累积计算对平移不变性同样重要,因为感兴趣点位置通常仅在~个像素范围内是精确。为了实现亮度不变性可以使用梯度(消除偏差)和对描述子矢量归一化(消除增益)。由于SIFT特征在旋转和尺度变化时是不变,我们可以处理具有变化方向和大小图像(见图)。值得注意是,这是传统特征匹配技术不能实现,例如Harris角点图像修补相关性。传统相关性在图像旋转时是变化,Harris角点在改变图像尺度时也是变化。假设相机绕光学中心旋转,图像变换群是一个对应矩阵特殊群。由一个旋转矢量,,和焦距f将每个摄像头参数化,就给出了成对对应矩阵jijiuHu~~,其中jTjiiijKRRKH()并且jiuu~~,是均匀图像坐标(,~iiiusu,其中iu是二维图像坐标)。参数相机模型定义为:iiiffK()对旋转使用指数表示:,ieRiiiiiiii()在这个变换群中,理想条件下将会使用不变图像特征。可是,在图像坐标中对于小变换表示如下:jujiiiuuuuui()或者等价于jijiuAu~~,其中,aaaaaaAij()是通过一个关于iu对应线性化得到仿射变换。这意味着每个小图像修补经过一次仿射变换,并且合理利用了在仿射变换下局部不变SIFT特征。一旦从所有n个图像中提取特征点后(线性时间内),需对特征点进行匹配。由于多个图像可能重叠在一个单一光线上,在特征空间内每个特征点需和它最近k个领域点匹配(k=),通过使用k-d树算法找到近似最近领域点,时间复杂度为O(nnlog)。k-d树是一种轴对齐二进制空间划分,它在平均最高方差维递归划分特征空间。.图像匹配图像匹配目标是找到所有匹配(例如重叠)图像,稍后图像匹配连通集会成为全景图。由于每个图像可能和任意其他一个匹配,这个问题一开始就呈现是出图像数二次方。为了得到一个好拼接结果,对于图像几何而言,每个图像只需要和少数重叠图像来匹配。从特征匹配这个步骤中,我们已找出图像间有大量匹配点图像。对于当前图像,我们将m幅图像作为可能匹配图像(m=),这m幅图像与当前图像有最大数量特征匹配点。首先,使用RANSAC算法选择一系列和图像间对应矩阵兼容内点,然后应用概率模型做进一步验证。.使用RANSAC算法鲁棒对应矩阵估计RANSAC(随机抽样一致性算法)算法是使用最少一组随机采样匹配点一种鲁棒估计过程,用来估计图像变换参数,并找到与数据具有最好一致性解决方案。在全景图情况下,我们选择r=对匹配特征点,使用直接线性变换(DLT)方法计算图像间对应矩阵H。重复次试验,选择内点数最大解决方案(在像素误差范围内,其预测和H是一致)。假设一对匹配图像间特征匹配点是正确概率(内点概率)为ip,n次试验后找到正确变换概率为:Hp(iscorrect)nrip))((()经过大量试验后,找到正确对应矩阵概率非常大。例如,对于内点概率.ip,在次试验后,未找到正确对应矩阵概率为。RANSAC算法本质上是一种估计H采样方法,如果用对数似然和最大化代替内点数量最大化,结果是最大似然估计(MLE)。此外,如果变换参数先验值是有效,可以计算出最大后验概率(MAP)。这些算法被分别称为MLESAC和MAPSAC。.图像匹配关系验证概率模型对两两图像间是否存在匹配关系,我们使用一系列几何一致特征匹配点(RANSAC内点)和一系列在重叠区域内,但不一致特征点(RANSAC外点)来验证。验证模型通过比较这些正确匹配产生一系列内点和错误匹配产生一系列外点概率来进行验证。对于一幅给定图像,重叠区域内总匹配特征点数为fn,内点数为in。图像是否有效匹配通过二进制变量,m表示。第i个匹配特征点,if是否为内点被假定为独立贝努力分布,以便于内点总数服从贝努力分布::,;pnnBmfpfinf():,;pnnBmfpfinf()其中,p是可以正确匹配图像时特征点为内点概率,p是不能实现图像匹配时特征点为内点概率;fnf:表示特征匹配点变量集合finif,...,,,,内点数fniiifn,B(.)是贝努力分布,表示如下:xnppxnxnpnxBx!!!),;(()我们选择.p,.p,则可以使用贝叶斯规则(式、)计算正确图像匹配先验概率。fffnnnfpmpmfpfmp:::())()():(:mpmfpmpmfpffnn()如果满足min):()(pfmpfn,;);(min,pmppnnBmppnnBacceptfifireject()我们可以实现图像匹配。假定)(mp,.minp,进一步得出正确图像匹配判定条件:finn()其中.,.。尽管在这我们选择了p,p,mp,mp和minp值,但在原理上可以从数据中进一步确定这些值。例如,可以通过在大数据集中计算一部分匹配点和正确对应矩阵相一致来估计p。一旦图像间匹配点对确定,我们可以找到全景序列作为连接匹配图像集,它可以识别图像集中多个全景,拒绝不匹配噪声图像(见图)。(a)图一(b)图二(c)SIFT匹配点(d)SIFT匹配点(e)RANSAC内点(f)RANSAC内点(g)依据对应矩阵图像对准图,从所有图像中提取SIFT特征点。使用k-d树匹配所有特征点后,对于一个给定图像,用有最多特征匹配点m幅图像进行图像匹配。首先执行RANS ***大学毕业设计(英文翻译)原文题目:AutomaticPanoramicImageStitchingusingInvariantFeatures译文题目:使用不变特征的全景图像自动拼接学院:电子与信息工程学院专业:********姓名:******学号:**********使用不变特征的全景图像自动拼接马修·布朗和戴维•洛{mbrown|lowe}@cs.ubc.ca计算机科学系英国哥伦比亚大学加拿大温哥华摘要本文研究全自动全景图像的拼接问题,尽管一维问题(单一旋转轴)很好研究,但二维或多行拼接却比较困难。
以前的方法使用人工输入或限制图像序列,以建立匹配的图像,在这篇文章中,