栏目导航

www.x5550.com当前位置:www.6122.com > www.x5550.com > 文章

基于视频战激光点云连系的行人检测方式pdf

发布时间:2019-08-29   浏览次数:/span>

  武汉理工大学硕士学位论文 .目前比力常用的检测方式为基于统计进修的人体检测方式。目前常用的分 类器有SVM、Adaboostlll】和神经收集等。基于统计进修的方式的道理是提取视 频图像样本中行人的表不雅特征,锻炼大量样本建立行人检测分类器,操纵锻炼 好的分类器判断待检测视频图像能否包含行人。常用的表不雅特征一般有方针的 灰度、纹理、外形、边缘和梯度曲方图等消息。该类方式存正在以下难点: 1)受行人姿态服饰的影响,表不雅特征不克不及很好的描述行人; 2)多种特征连系的方式分歧特征正在空间的分布不敷紧凑; 3)分类器的锻炼需要大量的样本,且受锻炼样本的影响很大。 虽然存正在以上不脚,基于统计进修的检测方式因其鲁棒性高,精确率高而 备受研究者青睐,且越来越多的研究都是基于此方式。Papageorgiou等【12】 人采用SVM和多标准Haar小波过完整集连系的体例进行行人检测。而Viola和 Jones则基于这种思,用积分图来达到快速特征计较的目标,操纵AdaBoost 算法来进行行人特征从动筛选,并利用一种级联合构进行行人检测【l引。上述这 些方式为此后的行人检测算子奠基了根本。 Shapelets检测特征均是操纵局部的边缘消息包罗线段和曲线来描绘全体外形特 征。此外,研究人员操纵Boosting方式别离进修头部、躯干、腿部以及的 特征算子。 ● 基于梯度的特征的采用为行人检测带来新的进展。遭到SIFT算子的, Of Gradient,HOG)特征用于 Dalai和Triggs等人提出了梯度曲方图(Histogram 行人的特征描述,并通过尝试证了然HOG比基于灰度的特征更富有消息。为了 提高检测速度,Zhu等人采用积分图的思惟加快了HOG特征向量计较【15】。受 HOG特征算子思惟的,各类基于HOG的变种方式不竭添加,并通过尝试 证明基于HOG的变种方式检测结果更好Il酬。 目前还没有其他单个特征描述算子比HOG特征算子更无效。然而,多种特 征的连系,好比HOG特征能够取其他行人特征连系来进行消息互补。大量研究 人员发觉HOG特征取其他的特征连系能够提高检测结果,连系的行人特征包罗: Haar-like 117】、颜色相关、活动特征、协方差特征、Edgelet特征【18】、LBP的纹理 特征或者LBP变种特征等等,不只是此中单一的特征取HOG特征连系,可能 是多个特征组合。别的,研究人员改良SVM分类器来处置行人遮挡的环境。因 此,纵不雅整个基于HOG特征的检测方式,HOG特征取其他的特征融合均正在一 武汉理工大学硕士学位论文 定程度上提拔机能,可是也增)JnY计较量【19】。 鉴于HOG特征的高检测率,本文采用基于SVM统计进修的方式,连系激 光数据,进一步丰硕HOG特征进行行人检测。 1.2.2基于多传感器融合的行人检测手艺 目前行人检测方式次要基于机械视觉,此次要是由于机械视觉能够获得灰 度、边缘、颜色和纹理消息而且成本很低。然而,基于机械视觉的行人检测系 统也容易受光照等要素影响,因而基于非视觉的自动传感器如激光测距仪和微 波雷达通过发射信号,按照中妨碍的反射消息,能够获得车辆和行人等目 标的速度距离消息,而且这些传感器对的度很低,速度快,不变性强【201。 基于单目传感器的行人检测有着较着的不脚,而且分歧的传感器有着各自 的劣势和缺陷。因而现正在良多研究人员努力于将多种传感器相连系来取得更好 的检测结果【2¨。很多学者采用立体视觉的方式,即多摄像机协同工做进行行人 检测和。曾等【22】人操纵多摄像机采集的数据构制三维空间,并正在三维空间 内进行方针简直定,将方针物体投影到二维原始空间进行特征提取和行人 检测,并操纵融合后的多摄像机数据进行遮挡处置。Fleuret和Ge等人均测验考试利 用多摄像机构制三维平面,并正在三维平面长进行行人定位和,并取得了一 定的结果。可是多摄像机连系的行人检测方式虽然正在必然程度上提高了行人的 检测识别率,可是仍是无法脱节摄像机受行人光照、行人穿戴等要素影响形成 的方针确定和特征提取的坚苦【2引。 近年来,基于激光传感器和视频图像融合也越来越遭到关心。SzarVas【24】等 ofInterest,ROI),‘然后正在图像 人利用激光测距仪来初步确定方针区域(Region 数据上操纵卷积神经收集来进一步验证方针区域。A.Brogiil25】等人提出了一种场 景驱动的行人检测方式,由激光数据确定的方针区域被用于基于Haar-like特征 的Adaboost分类器中。这两种方式都是采用由粗到细的检测策略。另一篇文献 睇6J提出了一种基于传感器检测的合做融合的方式,即正在视觉空间和激光空 间同步检测。正在各自传感器空间系统提取分歧的特征,然后通过系统进行 高条理融合。比来,L.Oliveiral271等人操纵激光数据的几何的上下文消息进 行视频图像的行人定位,实现激光和视频图像语义融合的方式进行行人检 测。 武汉理工大学硕士学位论文 1.3行人检测手艺存正在的问题 虽然上文提到的基于视觉传感器的行人检测手艺特别是利用HOG特征算子 能够取得很好的检测结果,可是单一利用摄像机进行行人检测仍然面对着良多 问题【28】: 1)行人检测布景复杂,包罗人、车和建建物等,服拆颜色和姿态多样; 2)光照气候的变化影响成像结果: 3)HOG特征算子维度很高,以本文为例,每一幅图像的检测窗口高达65390 个,因而计较量很大; 41拥堵场景下,行人之间彼此遮挡问题。 此外,前文提到的相关激光传感器和视频图像连系的方式中利用的一维激光 测距仪和二位激光扫描仪设备精度小,很难采集到有用的行人消息。而本文采 用的3D激光扫描仪能够更曲不雅立体和精细的展现方针消息。此外,低维激光传 感器正在获得的距离和轮廓消息后,正在计较和确定方针区域时比3D激光扫描 仪更复杂。虽然不竭有学者投入到摄像机取激光传感器连系的行人检测中,但 是基于摄像机取3D激光扫描仪融合的研究还正在起步阶段,因而本文则次要是正在 基于3D激光扫描仪和视频图像融合的行人检测方式上做必然的测验考试。 针对行人检测面对的以上问题,本文提出采用3D激光扫描仪和摄像机融合 的行人检测方式。采用这种方案次要有三个缘由:起首,3D激光扫描仪能够采 集物体的反射强度和距离消息,而这些数据受光照和气候的影响很小,很好的 填补了通过摄像机获打消息的局限性,也丰硕了视频图像中的HOG特征。其次, 分歧物体的反射强度分歧,利用3D激光扫描仪能够更便利的区分出分歧物体。 最初,操纵激光点云的三维消息能够初步提取出视频图像中的方针区域,大大 削减了特征计较时间,提高检测机能。 1.4研究内容和组织架构 本文利用3D激光扫描仪采集激光数据,操纵摄像机同步采集视频数据。正在 激光点云和摄像机数据配准后,起首操纵激光点云进行方针区域提取,然后提 取激光点云反射强度消息生成强度灰度图,融合强度灰度图和对应的视频提取 消息愈加丰硕的HOG特征,并利用SVM锻炼样本,生成适合本文研究场景的 行人检测分类器。论文沉点工做: 武汉理工大学硕士学位论文 1)激光扫描仪和摄像机的结合校准。 2)激光点云噪点剔除,地面点和非地面点的初步分手,强度灰度图像的生 成取处置。 3)视频图像的特征提取,激光点强度消息和视频HOG特征的融合。 4)样本制做和锻炼。 本论文共包罗五个部门,组织布局如下: 1)引言。阐述了行人检测的主要意义,阐发了基于3D激光点云和视频图 像的行人检测的布景、研究现状和存正在的问题,论文的组织架构和手艺线)引见了激光点云和视频融合的系统架构、据采集设备以及设备之间的配 准。 3)细致引见了HOG特征思惟,以及视频图像和激光点云的特征提取过程, 并锻炼视频图像样本,获得行人检测分类器。操纵分类器别离对视频图像和激 光点云强度灰度图进行检测,并对尝试成果进行响应阐发。 4)研究了激光数据和视频图像的融合。本章沉点引见激光反射强度消息的 提取和视频帧的连系方式,此外本部门细致阐发对比试验成果并做出响应合理 的注释。 5)总结和瞻望。对论文的工做做了总结,并针对融合的不脚之处和有待改 进处所做了瞻望。 6 武汉理工大学硕士学位论文 1.5研究手艺线 针对行人检测存正在的问题,本文提出了激光点云和视频融合的检测方式,即 将激光点云发生的轮廓特征融合到视频图像的轮廓特征中,并提取融合后的行 人特征,操纵线性SVM锻炼获得分类器进行行人检测。本文手艺线 所示。 激光扫描仪和摄像机 采集数据 制做样本,线性SVM_i)tl练 图1.1手艺线图 武汉理工大学硕士学位论文 第2章视频和激光点云的结合标定 2.1数据采集设备 本文次要采用3D激光扫描仪和摄像机做为数据采集设备。 1.3D激光扫描仪 分歧于2D激光扫描仪只能获得单一的平面,3D激光扫描仪能够高速的扫 描被测物体的概况,高效切确的获得所有被测对象的三维坐标,是成立物体三 S2 维模子的主要手艺手段。本研究项目采用美国Velodyne公司出产的HDL.64E 高分辩率激光扫描仪,安拆固定正在车辆顶部两头,如图2.3所示。 图2—1HDL.64E激光扫描仪 HDL一64E激光扫描仪包含64束的激光器,上下两层各32束激光器。 取保守的单激光器的扫描仪分歧,HDL一64E的64台激光器能够同时发射信号, 每台激光器的信号发射频次为每秒几千次,而且HDL.64E能够程度360度扭转, 垂野26.8度,供给更丰硕的激光点云消息。此外,HDL一64E采用最先辈的 信号处置和波形解析手艺,且射程高达120米,从而能够采集范畴更大,更精 确的坐标和强度消息,激光扫描仪构制如图2。I所示。 2.视频摄像机 武汉理工大学硕士学位论文 单目摄像机能够采集被测物体的颜色、纹理和轮廓等消息,且成本低,本 项目中利用韩国SAERIM公司出产的DSP220X单目摄像机,如图2.2所示。 图2-2DSP220X单目摄像机 操纵DSP220x采集的数据分辩率为800*600,为了便于摄像机和激光扫描 仪之间数据坐标的标定,将摄像头安拆正在激光扫描正前方,车辆和设备安拆如 图2—3所示。 武汉理工大学硕士学位论文 图2—4激光点云坐标 = X OS 6 RP y=”舛aS 6 (2.1) = z SSRP.H咖啷邙 因为现实使用中HDL.64E激光扫描仪有64束激光,且每束激光对应各自 分歧的校正参数,本文中坐标按照公式(2.2)【29】计较。 臼= l si 【 (SiRi+D:)sin(6i)+W l 此中: x,Y,Z:激光点的坐标: Ri:激光点到激光器i的距离; Si:激光器i的距离标准变换因子; D::激光器i的距离偏移量; 6i:激光点到激光器i垂曲标的目的角度; Bi:激光点到激光器i程度标的目的角度; H::激光器i到激光扫描平面起点的程度偏移; 记:激光器i到激光扫描平面起点的数值偏移; £:激光扫描仪编码器角度。 武汉理工大学硕士学位论文 以上参数均操纵HDL一64ES2激光扫描仪官网上供给的软件计较获得。 2.3D激光扫描仪和摄像机结合标定 3D激光扫描仪和摄像机的结合标定实现了物体正在激光坐标系中的三维几何 到摄像机二维图像坐标的映照【30川。摄像机零丁标定涉及四个坐标系:外部 世界坐标系、摄像机坐标系、成像平面坐标系和图像像素坐标系[32,331。为了计较 便利,本文间接激光坐标系做为外部坐标系,因而3D激光和摄像机结合标定也 就是摄像机零丁标定,此中外部世界坐标系即激光坐标系。摄像机标定方式采 用Tsai标定方式。按照Tsai算法【34,摄像机的成像模子如图2—5所示,参数含 义见.表2—1。 表2一lTsai算法参数表 -疆露 一潮 (zw,Yw,zw) 点P界坐标系 (本文指激光坐标系)的坐标 (x,Y,z) 摄像机坐标系坐标 (光点0为原点,光轴为Z轴) (x,l,) 成像平面坐标系 (光轴取成像平面的交点D£为原点,X, Y轴平行于摄像机坐标系) ∽u,l,u) 抱负小孔成像环境下,点P正在成像平面 坐标系坐标 (xa,l,d) 透镜畸变环境下,点P的现实成像坐标 (x厂,y厂) 图像像素坐标系,点P的坐标 f 焦距 武汉理工大学硕士学位论文 鬟,知曩) P‘鬻冁y‰雕 图2-5摄像机的成像模子【34】 第一步,激光坐标系(zw,Yw,zw)到摄像机坐标系@,Y,z)的转换,因为转换 过程只涉及扭转、平移,因而转换公式如(2.3)下: 囝=R区]+T (2.3) R是3x3扭转矩阵,T是平移向量: rrlr2 r31 r4 rs r6 (2—4) R=l I 【r7 r8 19J T=圈 (2一S) 武汉理工大学硕士学位论文 第二步,小孔成像抱负环境下,摄像机坐标系(x,y,z)N(Xu,Yu)的公式 如(2.6)和(2.7)所示,f暗示无效焦距,即Oi0的距离,是待校正参数。 Xu=f量 (2.6) Yu=f量 (Z.7) 第三步,正在现实考虑了透镜畸变后,点P正在成像平面的现实是(xd,Yd), (xd,Yd)取(Xu,Yu)的关系如下: Xd+Dx=Xu (2.8) (2.9) Yd+Dy=Yu 对于透镜畸变次要有径向和切向畸变,每一种畸变都能够用无限级数多项 式暗示。现实的工业机械视觉次要考虑了径向畸变, 而且Tsai发觉径向畸变即 k1是待校正参数【351。 Dx=Xd(klr2) (2.11) Dy=Yd(klrz) (2.2) r=后i (2.12) 坐标,(xf,YD是像素坐标,公式如(2.13)、(2.14)和(2.15)[341所示: Xf=百SxXd+cx (2.13) 武汉理工大学硕士学位论文 (Z.14) Yf=iYd+cy (2.15) d:=d.NNc既x (cx,cy)暗示二维图像核心像素坐标:Sx为标准因子,本文中为待校正参数; CCD相邻感光元件行列间距别离为dx,dy;N。x暗示每行CCD感光元件的个数, Nfx暗示每行采样的像素个数,哎暗示行像素物理间距;因为CCD对图像进行逐 行扫描,因而列像素物理间距即dv。此中,N。x,Nfx,dx,dy为已知值。 按照以上四个步调,因而待标定参数包罗R,T外参数,内参数(cx,Cy), 标准因子Sx,焦距f,畸变系数k,需要进行标定。 Tsai采用两步标定法,先操纵RAC径向分歧束缚道理,求得外参数R和T 的分量Tx和Tv。然后考虑畸变要素,操纵最优化方式提高内参精度。 因为设备无限,本文采用手动和从动连系的结合标定方式。起首,将激光 点云平均映照到图像上,手工调整使激光点云取图像根基上融合,手工从沉合 的点云和图像上选择标定点,并将标定点的像素和激光点云坐标做为输入 利用Tsai算法进行标定【3酬。本文共拔取了100个点,操纵手工提取的图像标定 坐标和激光三维坐标对操纵Tsai方式非共面模式进行参数计较。操纵计较获得 的表里参数,将非地面点映照到图像后的结果如图2。6所示。 武汉理工大学硕士学位论文 图2-6结合标定成果 2.3本章小结 本章次要引见了激光点云和视频的数据采集设备:3D激光扫描仪和摄像机。 因为采集数据时设备无限,采集时没有事后设想好标定物来便利后期数据的校 正,本文采用从动取手动相连系的标定,虽然误差比力大,可是数据大致满脚 系统要求。 本章是激光点云和视频图像融合的根本,通过设备的结合标定,能够将3D 激光点云映照到视频图像中,进而进行特征融合和行人检测。 武汉理工大学硕士学位论文 第3章视频图像和激光点云的特征提取 正在完成激光点云和视频数据的配准之后,需要对对激光点云和视频数据别离 进行行人特征提取,’从而进行数据融合。 行人特征的描述算子良多,包罗SIFT特征,LBP特征等,可是按照苏松志 等人统计,Dalai等人提出的HOG特征算子的分类其检测率高达89%,而且以 HOG特征为根本,多特征的连系的行人检测方式检测率也不竭提高。因而,HOG 特征算子被认为是视觉行人检测范畴结果最好的行人检测特征算子。 HOG特征的根基思惟是局部物体的表面和外形能够通过图像中物体的强度 梯度和边缘标的目的暗示,即便响应的颜色梯度和边缘消息不切确【了71。HOG特 征有以下长处【38】: 1)边缘或者梯度布局可以或许很好的描述局部外形,因为Cell的尺寸很小,使 得HOG受局部几何和光度变换的影响较小; 2)正在粗的空域抽样、精细的标的目的抽样以及较强的局部光学归一化等环境下, 正在只需行人根基连结曲立,答应行人肢体的挪动和姿态的变化。 因而,本文别离提取视频和激光点云灰度图中的HOG特征,然后将两个特 征融合,进行行人检测。本章次要包罗三个部门,第一个部门将细致引见视频 图像中HOG特征的提取过程:第二部部门次要引见配准后的激光点云灰度图生 成过程和HOG特征提取;第三部门将引见别离利用视频行人特征和激光点云行 人特征检测的结果对比阐发。 3.1视频图像的特征提取 视频图像中次要是提取行人的HOG特征,提取方式如图3.1所示。 输入待 区分行 I 检测图 BlcoI【l芍69∞l 人或非 H所有BI∞k向量。组H;^。I 。慧赫。H嚣卷黜謦U靴 5Ⅷ 片 警H㈣懒攀进行归,化I.威}啦筹议II 人 图3.1HOG特征计较过程 1)将输入图像进行灰; 2)Gamma平方根校正; 武汉理工大学硕士学位论文 3)按照梯度计较公式,本文中利用『一l,0,11模板别离计较x标的目的和Y标的目的梯 度,获得梯度幅值和标的目的;‘ 4)将待检测图片划分很小的单位Cell(本文中Cell大小8*8pix); 5)统计Cell内的梯度曲方图,本文中Cell内梯度曲方图的个数是9,因而.Cell 构成的描述向量维数是9; 的特征向量维数是4*9。 7)对Block进行归一化操做。把一个检测窗口内的所有Block起来形成该 检测窗口的HOG特征向量,因而,该向量的维数是7木15*36=3780维。 8)将获得的HOG特征向量送取SVM分类器进行锻炼分类,判断该特征向量中 取行人的特征向量能否类似。 3.1.1 Gamma和颜色空间尺度化 为了降低图像局部暗影和光照变化,Dalai等人别离正在灰度空间、RGB和LAB 颜色空间进行Gamma校正,校正公式如(2.1)所示: I(x,y)=t(x,y)a口mm口 (3—1) 对比校正成果发觉,利用Gamma校正对检测结果根基上没有影响,预测由 于后期对Block内梯度的归一化起到了类似的感化。Dalai等人发觉颜色消息有 帮于行人检测结果,RGB和LAB颜色空间结果大致不异,可是灰度空间的误检 率也只降低了1.5%,因而颜色消息感化不是很大。别的,Dalai等人发觉通过对 每个像素通道利用平方根Gamma压缩,检测结果仅仅提高了1%摆布的误检率 鉴于此,本文只利用灰度图像并进行了Gamma平方根压缩a 3.1.2梯度计较 HOG检测算子是基于检测方针的边缘或者轮廓特征的。图像的边缘能够认 武汉理工大学硕士学位论文 为是必然数量的点亮度发生显著变化的处所。边缘检测方式大致分为两类:基 于搜刮和基于零交叉,别离对应着求解一阶导数的最大值和二阶导数的零交叉 点来定位边缘。Dalai等人利用一阶导数梯度来暗示,起首计较梯度模,然后计 算梯度的标的目的。几种梯度计较检测结果如表2.1所示。 表3.1模板检测成果对照图 l ■蕊魏 ■懿墨 日日■譬墨 捌lE瓣 l{_ 网■曼蠢■一 潮 圆 l ■匿罾嘲 =__= I j r0 1l =_ }』}l-‘。=。。1‘11 L1叠oF 0;!。捧萋 操做符 j [-1,o,q_卜1,1l【_1_,-8,0,8,-1] 0 I-00I。 Lo__:_I___=i。j 囊j j. _ I _ L01};.==..=:20i..,0l 漏检率 (误检率 ll% 12.5% 12% 12.5% 14% le-4) 武汉理工大学硕士学位论文 对于多通道彩色空间图像,Dalai等人则别离计较分歧颜色通道的灰度梯度, 并选择最大的梯度向量做为对应像素点的梯度。此外,Dalai等人发觉对原图像 先辈行滑润操做后再提取HOG特征也会影响检测结果,底子是因为滑润操做和 复杂的梯度运算体例城市降低边缘消息的对比度,本文中视频图像并未做滑润 操做。 3.1.3空间和标的目的梯度曲方图 空间和标的目的梯度曲方图的目标是为了供给一个很好的图像局部区域梯度特 征编码体例,使得提取出来的特征可以或许很好的描述行人。Dalai等人将整个检测 窗口划分成很小的单位Cell,Cell能够是矩形也能够是星形,假如Cell尺寸为 8px*8px,步调如下: 1)将每个Cell内的梯度标的目的划分成多个标的目的块(Bin)。梯度标的目的范畴包罗 而且发觉标的目的块的个数越少,对行人特征的描述就越粗拙,而划分成9个标的目的 块行人检测结果最好。Dalai等人将划分成果如图3.2所示,每个标的目的块的 角度范畴是20。。 Y Bin0 ,,/r— Bin8/ \ N—Binlj ℃叫×7 跚叮铴 \ /Bin3 Bin6\ J / \、√ ——吒in4 Bin5 图3—2标的目的块图 2)像素的梯度投票。Cell内的每个像素按照梯度标的目的范畴别离投票到上个 步调中提到的9个标的目的块。曲方图投票的权沉是梯度幅度的函数。颠末Dalai等 20 武汉理工大学硕士学位论文 人对比,利用梯度幅度本身检测结果最好。此中,梯度标的目的和幅值的投票均采 用二线插值,即每一个像素点对两个梯度标的目的块有影响,别离是计较所获得的 标的目的块和距离比来的标的目的块,按照距离两个标的目的块中线的远近决定插值权沉。 对于多通道的图像,则别离计较每个通道的梯度,选择梯度幅值最大的通道梯 度做为该像素点的梯度成果。 3.1.4BI ock成立和梯度归一化 因为局部光照变化和前景布景对比度的变化导致整幅图像的梯度强度波动 范畴很大,无效的局部对比度归一化对检测成果的影响很大。Dalai等人将多个 比度归一化。为了可以或许更好的描述图像特征,Block之间彼此堆叠,一个Cell 正在分歧Block上表示出分歧的特征,从而进一步减小光照和暗影对检测成果的影 响。HOG描述算子现实上是所有归一化的Block的调集。 1)成立Bleok Block的外形包罗矩形和环形。Dalai等人通过尝试对比发觉,大小适中且是 ·正方形Block的结果最好。分歧于SIFT特征,做者采用固定标准的正方形 Block,布局如图3.3所示: . 卜BIock叫 图3.3Bleok—Cell图 Cell内曲方图个数是9。 2)Cell的彼此影响 武汉理工大学硕士学位论文 如图所示。原做者正在计较Block内特征向量,只是纯真的将四个Cell的9维向 量组合正在一路,而没有考虑Cell之间的彼此影响。为了将一个Block内Cell之 间的彼此感化计较正在内,本文采用将一个Cell分成四个区域,如图3.4中虚线 所示,因而一个Block被划分成A.P共16个区域。正在计较梯度标的目的曲方图时, 按照像素点的感化范畴分歧分成四组: 第l组,A,M,D,P;该组内的像素点只对所正在的Cell有贡献; .第2组,B,C,N,O;该组内的像素点对其摆布标的目的的Cell有贡献; 第3组,E,I,H,L:该组内的像素点对其上下标的目的的Cell有贡献; 第4组,F,G,J,K;该组内的像素点对其上下摆布标的目的的Cell均有贡献; 因而正在计较一个Block内Cell的特征向量时,一个像素点不只往其所正在的Cell 进行像素梯度投票,还要按照其所正在对其相邻的Cell进行投票,而对Cell 投票的权沉则是按照像素点取Cell核心距离相关。 一 I I C D AI B I …·+t一·一…·+…一 I I E F G H T础上 l I l I I K L I J l 一·——·+…一…I+…一 l l M N O P I I 图3-4Cell权沉分布图 3)归一化Block Dalai等人采用了四种归一化方案并对成果进行对比,四种归一化因子如下 所示: (3.6) L1尺度v—v/(1lvlll+E) (3.7) 武汉理工大学硕士学位论文 (3.8) 第四种是L2-Hys,先辈行L2尺度,对成果进行截短,然后再从头进行归一 化。通过对比发觉L2.Hys,L2尺度,和Ll根式三种归一化成果根基上分歧,而 利用Ll尺度的误检率也只是增大了5%。因而,本文中利用L2尺度进行归一化。 最初,将所有归一化后彼此堆叠的Block构成HOG特征向量,利用先行SVM 进行锻炼分类。 3.2激光点云的特征提取 激光点云的特征提取次要是指操纵激光点云里物体的反射强度消息生成反 射强度灰度图,然后提取灰度图里的HOG特征。 3.2.1激光点云灰度图像 3D激光点云包含物体的消息,通过对激光点云进行初步筛选,能够初 ofInterest,ROI)。本文先对激光点云进 步为视频图像供给感乐趣区域(Regions 行地面点和非地面点的分手,然后操纵非地面点构成灰度图像。 通过度析HDL.64ES2采集的激光点云数据,本文发觉地面激光点Z值存正在 上限maxZ,若是只用上限maXZ剔除地面点,良多非地面点也会被过滤掉。因 此,本文按照激光数据的X、Y值将激光点云映照到20*20的网格中,采用20*20 大小的网格能够每一个网格内能够既包含地面点和非地面点。正在一个网格Gi 地面点;不然,该网格内所有地面点k满脚以下前提:地面激光点瓦maxZ, 而且缸一minG;ZC,此中C为。 激光点云生成的灰度图像包罗两种:距离灰度图和反射强度灰度图。因为 激光点云很是稠密,点云映照到二维图像上后,每个像素对应多个激光点,取 值最大的激光点做为该像素对应的激光点,本文采用线性变换体例将激光点云 的距离和反射强度之成灰度值。距离灰度计较公式如所示,R(x,y)暗示像素 (X,y)对应的激光点到扫描仪的距离,计较二维图像内所有激光点距离的最大值 武汉理工大学硕士学位论文 示像素(XJy)对应的灰度之。反射强度灰度计较公式取式(3—9)雷同,此中距离 值换成反射强度值I(x,Y): G(x,y)=≮掣 (3.9) G(x,y)=鼍业字世 (3—10) 1max1mIn 经计较,生成的距离灰度图和反射强度图如下所示。 图3—5反射强度灰度图 武汉理工大学硕士学位论文 图3-6t距离灰度图 对比两图发觉,因为物体的反射强度分歧,反射强度灰度图能够更好的体 现物体轮廓特征,而对于距离灰度图则难以表现。本文阐发因为距离是物体表 面到激光发射仪的距离,因而距离不异的点对应的灰度值也不异,取物体无关, 因而取反射强度灰度图比拟,深度灰度图不成以或许清晰的表示出了行人轮廓特征, 因而本文只拔取反射强度灰度图取视频图像数据进行融合。 3.2.2激光灰度图闭运算 因为激光点云的离散性,灰度图像的良多区域没有灰度值,从图上能够发 现,R01中行人也是由一系列非持续的灰度值描述,本文间接将此灰度图进行 HOG特征进行检测时,发觉结果根基上为零。因而为了连通反射强度灰度图中 的物体,本文别离采用了八邻域插值法和图像闭运算操做进行对比批改。八邻 域插值是指对于灰度图中灰度为零的像素,取邻域的八个像素点的灰度值的平 均值做为该点的灰度网值。图像闭运算即先对图像进行先膨缩再侵蚀操做。膨 缩操做能够将取物体接触的必然范畴内的布景点归并到物体中,扩张物体的边 界,毗连近邻物体,填充物体内藐小的浮泛。膨缩操做后,为了消弭鸿沟噪点, 滑润鸿沟,对反射强度灰度图进行侵蚀操做。对比两种连通方式,本文发觉对 武汉理工大学硕士学位论文 无灰度区域采纳图像闭运算结果最好。闭运算后结果如图3—7所示。 图3—7闭运算操做后结果图 3.2.3激光灰度图特征提取 按照以上两步对激光强度灰度图进行预处置后,正在操纵强度灰度图进行行 人检测时本文发觉强度灰度图检测率根基为0,而对强度灰度图进行边缘提取后, 行人检测结果大大提高,阐发缘由发觉,因为以上激光点云灰度图的闭运算, 虽然处理了灰度图中的轮廓问题,可是也滑润恍惚了强度灰度轮廓,因而本文 利用Sobel算子对强度灰度图进行边缘提取,从而保留利用由激光点云强度反映 出的物体的轮廓特征,并操纵强度边缘图进行融合和锻炼,轮廓图如图3.8所示。 武汉理工大学硕士学位论文 图3-8Sobel边缘提取轮廓结果图 3.3检测成果阐发 别离提取视频图像和激光点云的行人特征后,本文采用线性SVM对样本进 行锻炼,并正在测试集上对比两种数据的行人检测结果。 3.3.1样本锻炼 因为基于统计进修方式的行人检测具有鲁棒性高,分类机能好的特点,正在 Vector 提取过视频和激光点云的行人特征,本文采用支撑向量机(Support Machine,SVM)发生行人检测分类器。 1.线性SVM SVM是上个世纪90年代Cortes和Vapnik配合提出的一种机械进修方式, 被普遍使用到统计分类、模式识别以及回归阐发中。SVM是基于统计进修理论, 正在无限的锻炼样本的进修精度(P,IJ模子复杂性)和对肆意样本的识别能力之间 衡量,从而提高机械进修的泛化能力。优于其他统计进修方式,SVM算法对样 本数量的要求相对较少,因而SVM算法能够正在统计样本数量较少的环境下亦能 武汉理工大学硕士学位论文 .获得优良的统计纪律。 取其他的统计进修方式方针分歧,SVM也是为了寻求布局化风险(经验风 险取相信风险和)最小化的算法【39l。布局化风险最小化准绳是均衡经验风险和置 信风险,正在总风险既不完全依赖经验风险值,也不外度大于经验风险的环境下 寻找最小值。 若是样天性够通过线性函数将两类样本完全准确的分隔,则认为样本数据 是线性可分的,不然是线性不成分。针对线性可分的样本,正在保特征维数不变 的环境下,SVM算法通过寻找最优超平面的方式来对样本进行分类。寻找最优 超平面的过程即便正负样本之间的几何距离最大的过程。SVM算法通过拉格朗 件求解线性分类函数的响应参数。对于线性不成分的环境,SVM算法通过引入 核函数和败坏变量来达到数据可分。核函数的感化等同于将不克不及进行线性划分 的低维空间的数据映照到能够进行线性划分高维空间,再正在高维空间找到最优 超平面。对于线性不成分环境,保守方式对于映照空间F达到无限维时无法计 算,而核函数能够间接正在本来的低维空间计较,而不消显式的计较出映照空间。 按照问题和数据的分歧,选择分歧的核函数并设置响应的参数。常用的核函 数包罗线性核函数、多项式核函数和高斯核函数。线性核函数简单,分类速度 快,且线性SVM的推广有,非线性核函数如高斯核有可能过进修。因而针 对本文的HOG特征向量,选用线性核,即线.锻炼过程 因为本文采用Velodyne公司出产的HDL一64E三维扫描仪结合摄像机采集数 据,因而需要对数据进行锻炼,得出适合本文会商场景的行人分类器。本文中 尝试东西的开辟和行人检测均是基于OPENCV库,此中样本的检测制做流程如 下: 1)预备锻炼样本调集,包罗正样本和负样本。收集视频图像负样本, 并对样本裁剪成尺度的64*128大小的图片。本文样本3200组,负样本2800 组。本文操纵自从设想的拔取裁剪东西imgaeClip裁剪样本。 2)对所有正负样本付与样本标签。正样本标签为1,负样本标签则为.1。 3)别离提取正负样本的HOG特征,并将样本对应的标签一同输入到线性 SVM进行锻炼。最初将锻炼成果计较出行人检测分类器,并将该分类器进行行 人检测。 武汉理工大学硕士学位论文 3.3.2成果阐发 行人检测的结果凡是有两个目标:漏检率(MissRate)和误报率,漏检率 取检测率和等于1。此中误报率一般有两种权衡体例:按检测窗口权衡FPPW (FalsePositive Window)和按检测图片权衡FPPI(FalsePositive Image) per per 误报率和漏检率的计较公式如下: FPPW:旦 (3.11) TN+FP FPPI=丽丽F赢P (3.12) MissRate:』L (3.13) TP+FN TP(True Positive):暗示样天职类准确,将正样本(即行人)标注为正样 本的个数; FP(False Positive):暗示样天职类错误,误将负样本标注为正样本的个数; FN(False Negative):暗示样天职类错误,误将正样本标注为负样本的个数; TN(True Negative):暗示样天职类准确,将负样本标注为负样本的个数。 跟着分类器的阈值的分歧,误报率和漏检率也会发生变化。当分类器阈值 提高时,误报率会减小,可是检测率也会减小,反之,当阈值降低时,虽然检 测率增大,可是误报率也会增加。因而分类器的阈值设定即正在误报率和漏检率 之间进行衡量。 按照Dalai等人引见,能够通过绘制DET曲线来反映出分类器的好坏。以 误检率为横坐标,漏检率为纵坐标,DET曲线即误检率和漏检率的双对数曲线。 本文别离绘制了两种DET曲线:漏检率和FPPW,漏检率和FPPI。操纵视频图 像锻炼获得的分类器,别离对115帧视频和对应的激光点云灰度图别离进行检测, 调整分类器阈值,并统计检测数据如图3-9和图3.10所示。 29 武汉理工大学硕士学位论文 andLaserPersonDetection DET—lmage ∞ 芯 L’ ∽ 。竺 ∈ 图3-9检测成果DET曲线(漏检率和FPPW) andLaserPersonDetection DET—Image ∞ CO k ‘,’ ∞ ∈ FalsePositives perImage(FPPI) 图3—10检测成果DET曲线(漏检率和FPPI) 30 武汉理工大学硕士学位论文 于本文的场景复杂而且锻炼的样本数量少。.别的,从图3-9中还能够看出,激光 点云灰度图外行人检测时,检测率高达55%(FPPW,基数le.5),因而,本文 相信激光点云灰度图也包含了很主要了行人特征消息。此外,从图3-9种还能够 看出,因为激光点云图中布景更为简单,同样的分类器阈值,激光点云灰度图 的误检率远比视频图像的误检率要低。 下图3一ll和图3.12别离暗示某一帧视频和对应的激光点云轮廓图的现实检 测成果,归并被包含的区域,此中绿色框内的方针暗示行人。 图3—1l视频检测成果 武汉理工大学硕士学位论文 图3.12激光点云灰度轮廓图检测成果 通过度析现实检测成果图发觉,虽然单一的视频检测能够检测出大部门行 人如图3.11所示,可是当其他方针物体颜色取行人的衣服颜色很像时,单一的 检测视频图像误检率会添加,如图3.13所示左侧的汽车被误检为行人。阐发此 类误检环境,初步阐发是汽车的颜色文理特征取行人很类似,加上光照的影响, 导致此类误判环境的发生。此外,正在对视频图像进行行人检测时,平均每帧图 片的检测时间为4.5s,完全不克不及满脚及时的需要,因而本文将正在第四章引见操纵 激光点云加快检测,并将激光点云的反射强度轮廓特征融入到视频图像中,并 操纵融合后的行人特征进行检测来降低误检率。细致融合过程见第四章。 武汉理工大学硕士学位论文 图3一13视频图像误检环境 3.4本章小结 本章细致引见了视频图像的HOG特征思惟和提取过程,以及SVM分类器 道理,并操纵激光点云生成反射强度灰度图,并对反射强度灰度图进行预处置, 提取激光点云强度灰度图行人特征,并锻炼视频图像样本,获得行人检测分类 器。操纵分类器别离对视频图像和激光点云强度灰度图进行检测,并对尝试结 果进行响应阐发。 武汉理工大学硕士学位论文 第4章视频图像和激光点云融合的行人检测‘ 上文阐发了检测视频图像和激光点云反射强度灰度图的行人检测成果, 发觉次要存正在以下问题: 1)检测视频图像和激光点云反射强度灰度图的检测率均比力低,而且 当视频图像中布景或者非行人方针物体颜色取行人接近时,零丁的视频图像行 人检测误检率很高。 2)检测视频图像和激光点云反射强度灰度图的时间机能很低,平均每 幅图片的检测时间大约为4.5s,完全不克不及用于及时系统的推广中。 针对以上问题,本文采用视频和激光点云的特征融合的方式进行行人检测。 正在融合激光点云生成反射强度灰度图和视频图像进行行人检测时,本文分为两 步操做:第一步操纵激光点云灰度图确定方针区域,提高检测速度;第二步将 反射强度消息融入到图像消息中,构成消息愈加丰硕的HOG特征,操纵生成的 分析激光点云和视频图像消息的HOG特征,进行行人检测,提高检测结果。 1。方针区域提取 因为激光点云的扫描范畴分歧于摄像机,本文正在生成激光点云灰度图时已 经对地面点和一些外围点进行了剔除,因而操纵生成的反射强度灰度图能够很 好的锁定方针区域。本文寻找强度灰度图中大小正在必然范畴内的连通域。起首, 操纵轮廓计较方式查找出强度灰度图中的所有轮廓区域,计较所有轮廓区域的 大小,提取所有满脚大于某个范畴的连通域,考虑到配准的误差,每个方针区 域的长宽别离添加了误差像素。 本文正在无效的连通域内调整检测窗口大小,计较视频帧和强度灰度图融合 的HOG特征。对比整幅800*600的视频图像,按照1.05比例缩放图像,统计一 幅图像共有65390个检测窗口,每一帧图像的检测时间大约为4.5s。通过操纵预 处置的激光数据提取ROI方针区域,大大的削减了特征计较范畴,加速了检测 速度,每一帧的搜刮范畴内的检测窗口个数约为视频图像的四分之一,每一组 视频和强度灰度图的检测时间约为1.7s。此外,通过度析激光点云的分布, 激光点云根基上分布正在图像的下半部门,因而本文只计较图像下半部门的HOG 特征,然后按照固定比例缩放方针区域,遍历所有检测窗口,并利用曾经锻炼 34 武汉理工大学硕士学位论文 好的分类器对检测窗口融合后的HOG特征进行分类。 图4.1方针区域 4.2特征融合 为了降低视频图像行人检测的误检率,本文将提取的激光点云特征融入到视 频图像中,并操纵融合后的行人特征进行检测,同时对比特征融合前和融合后 的检测结果,尝试成果显示融合后的检测结果更好。 Jianxin Wu等人通过尝试证明HOG特征中最次要的消息是轮廓特征。激光 点云发射强度灰度图的HOG特征向量是由物体反射强度呈现出的轮廓特征,而 对应视频帧的HOG向量中的轮廓特征次要是由物体颜色差别形成的。为了更好 的描述行人特征,本文提出了激光点云和视频融合的检测方式,即将激光点云 发生的轮廓特征融合到视频图像的轮廓特征中,丰硕行人特征消息。本文先分 别计较反射强度灰度图和对应的视频帧的HOG特征向量,将两个特征向量进行 连系,通过SVM锻炼获得行人检测器,进而利用锻炼获得的分类器进行行人检 测。 按照第三章引见的HOG特征的道理,图像正在计较HOG特征时,起首计较 武汉理工大学硕士学位论文 内的特征向量,最初再计较一个检测窗El(64木128pix)内特征向量,即最终 的HOG特征向量。因而,强度灰度图和对应视频帧两个HOG特征向量融合根 据能否添加HOG向量维数分为固定维数融合和非固定维数融合。 非固定维数融合,即将两幅图像计较出来的HOG特征向量间接组合起来, 获得大小为3780宰2维的特征向量,这种连系体例简单,可是添加了特征向量维 数,提高了问题的复杂性。 固定维数融合,即不添加最终HOG向量的维数,正在HOG特征计较过程中 进行融合。融合体例按照HOG计较单位分歧也分为Cell层融合,Block层融合。 可是两种条理的计较公式如(4.1)所示,%,仉别离为强度灰度图和对应的视频 帧计较获得的特征向量,r为各自占的权沉,本文r颠末调整取值O.7,r取值效 果对好比表4。l所示。 0r1 (4-1) H=r木Hc+(1一r)幸Hi a)Cell层融合。Cell层融合包含完全像素融合和非完全像素融合,完全像 素融合即统一像素点正在两幅图像中的梯度值和标的目的进行加权投票,可是因为激 光点云和摄像机存正在配准的误差,完全像素级此外融合会减弱行人的轮廓特征, 而非完全像素融合即正在对应的两幅图像计较不异Cell的曲方图向量,然后 按照公式进行加权获得分析版Cell曲方图向量,操纵夹杂了两种消息的Cell, 进一步计较Block内的特征向量,最终构成整个检测窗口的特征向量H。 统一Block别离归一化之后按照公式进行加权计较,获得Block层融合的特 征向量,然后计较获得特征向量H。 4.3检测成果阐发 按照第三章引见的样本锻炼体例,本节锻炼步调分歧的处所如下: 1)收集正负样本。第三章曾经收集了视频图像的正负样本,本文同时收集 视频图像样本对应的激光点云反射强度灰度图。样本尺寸和数量取第三章 不异。 2)正在计较融合后的HOG特征,按照本文提出的三种融合体例,计较出对 36 武汉理工大学硕士学位论文 应的HOG特征,别离锻炼三种HOG特征对应的分类器,并对测试集样本进行 检测,统计尝试成果如图4—2和4—3所示。 本文按照融合的体例分歧,发生了三种分类器,按照第三章的引见的行人 检测评价尺度,别离对l15帧视频和对应的激光点云灰度图进行检测,调整分类 器阈值,统计并统计检测数据如图4-2所示,图4—2融合了零丁视频和激光点云 反射强度灰度图的检测结果。 andLaserPersonDetection DET—Image FalsePositives perWindow(FPP、Ⅳ) 图4-2分类器DET曲线(FPPW) 武汉理工大学硕士学位论文 andLaserPerson DET—lmage Detection 。 苗 L t, .塑 ∈ FalsePositives perlmage(FPP!) 图4-3分类器DET曲线(FPPI) 针对曲线将从两个方面临比检测结果:误检率和漏检率。 a)误检率 从曲线中能够看出,正在分类器阈值为0时,零丁视频检测的误检率 FPPW为3e一4,融合后的行人检测误检率约为5e.5,远远小于零丁的视频检测。 曲线也能够看出,融合后的误检率FPPI为O.25摆布,远小于融合前的2。 b)检测率 从曲线中均能够看出,融合后的检测结果比融合前零丁的视频 基数2.5E一1),Blcok层融合比非固定维数融合和Cell层融合的结果好些,本文 阐发融合后行人特征轮廓特征加强,所以融合后检测结果更好,因为Cell层融 合因为融合单元太小,特征堆积结果不是很较着,因而Blcok层融合和非固定维 数融合结果更好。 此外,本文正在Block层融合的根本上对比了r取值对应的检测结果,发觉当 r取值为0.7结果更好,对比成果如表4一l所示。

  1.本坐不应用户上传的文档完整性,不预览、不比对内容而间接下载发生的问题本坐不予受理。

  请盲目恪守互联网相关的政策律例,严禁发布、、的言论。用户名:验证码:匿名?颁发评论