欢迎访问一起赢论文辅导网
本站动态
联系我们

手机:15327302358
邮箱:peter.lyz@163.com

Q Q:
910330594  
微信paperwinner
工作时间:9:00-24:00

SCI期刊论文
当前位置:首页 > SCI期刊论文
基于八叉树结构的三维体素模型检索_张满囤
来源:一起赢论文网     日期:2021-07-03     浏览数:491     【 字体:

 第4 卷第2 2 0 2 1 年2 月计算机学报C H I N E S EJ O UR N A LO FC OM P UT ER SVo l .4 4No .2F e b. 2 0 2 1基于八叉树结构的三维体素模型检索张满囤n ’2)燕明晓马英石u ’2) ’3) 王红u ’2)刘伟3) ’4) 黄向生5)1 :)( 河北工业大学人工智能与数据科学学院天津30 04 0 1 )2)( 天津市虛拟现实与可视计算国际联合中心天津3 00 4 0 1 )3 )( 维尔科宝( 天津) 科技有限公司天津3 00 4 0 1 )4 )( 河北工业大学机械工程学院天津3 G G4 0 1 )?( 中国科学院自动化研究所北京1 0 0 1 9 0 )摘要随着VR/ AR 技术发展以及三维模型的广泛应用, 实现三维检索具有越来越重要的现实意义. 基于模型的检索较好地保留了模型的空间信息和几何特征, 其不仅包含模型的表面信息而且还包含模型的内部属性. 但是, 基于模型的检索往往存在着高存储、高计算的问题. 为了解决该问题, 本文研究了三维模型预处理及三维模型表示的方法, 提出了一种基于八叉树结构的三维体素模型检索方法, 即将模型进行体素化处理后提取模型的粗粒度特征和细粒度特征, 将两种特征进行融合用八叉树形式表达特征, 输人到卷积神经网络中进行训练, 最终通过特征的欧氏距离度量实现模型的检索. 运用八叉树特征表示法, 可以有效地节省体素化存储过程的空间占用量, 而且也能保留原始三维网格模型的细节信息. 同时考虑到计算性能, 本文还在模型体素化的过程中做出一定的改进, 通过仅对模型外表面进行体素化, 实现了对体素化过程以及数据存储和卷积神经网络训练的优化, 大大降低了时间开销. 实验中将三维体素模型特征存储在八叉树结构中作为卷积神经网络的输人, 结合S OF TMAX 代价函数, 通过大量的模型训练数据, 对该卷积神经网络模型进行训练. 与其他同类算法对比, 证明了该算法在三维模型检索中的优越性.关键词特征融合; 卷积神经网络; 叉树; 模型检索; 相似性匹配中图法分类号T P3 9 1DOI 号1 0 . 1 1 8 9 7/SP . J . 1 0 1 6 .  2 0 2 1 . 0 0 3 3 43DV o xe l Mode l R e tr i ev a lB a s ed onOc t re e S t ruc tur eZH A N GM an D u n1) ,2)Y AN M i ngX ia o1) ,2) ,3)M AY i n gSh i1) ,2) ,3)WA N GH o n g1) ,2)L I UWe i3) ,4)H U A N GXi a n g Sh e ng5)1 : ) { S c h o ol  ofA r t ific ia l In t e l l ig e n c e ? Il e b e iUn i v e rs i tyo fTe c h n ol og y ? T ia nji n3 0 0 4 0 1 )2 )(.Tia njin  In ie rn a i io n a L J o in t Cen te rfo rVi rt ua l R e a li t ya n d Vis ua lComp ut in g  ? Ti a nji n 3 0 0 4 0 1 )3 )( We i e r K e ha o( Ti a nji n) Sc ie n c e&■Te c h n o lo g yCo . LL d, T ia njin3 0 0 4 0 1 )4 ){ S c h o ol o fMe c h a n ic a l En g in e e rin g ? Il e b eiUn i v e rsi ty o fT e c h n o l og yTi a nji n3 0 0 4 0 1 )5 ){ In sL i L uLe ofA uL om a L i on  ? Ch in e s eA ca de m yofS cie n c e s, Beiji n g1 0 0 1 9 0 )Abs t ra ctWit h th e dev e l o pm ento f V R/ A R t e ch no l o g y an dt h ew i de r 3 Da p p l i c a ti o n s , it i s r e al iz edt h at 3 Dmo de lr e t r i ev a l is b e comi n g mo r ea n dm o r ei mp o r t a nt . Mo de l b a s e dr e t r i e v a lp r e s e r v e st h e s p at i a la n dg e om e t r i c f e a t u r e s , w h i chi nc l ud e sn o to n l y t h es ur fa c ei n fo rma ti o nb uta l s o t h ei nt e r n a lp r o p e r t i e s o f th emo de l . H ow ev e r , t he r ea r eco nc e r ns i nr e l at et oi t s h i ghs t o r a g e an dh i ghc omp ut a t i o n .D e e pl e ar ni n gh a s d em o ns t r at eds uc c e s s fu lbr e a kt h r o u gh s i nt h efi e l d so fs p e e c hr e co g n it i o n ,g r a p hi ci ma g ec l as s i f i c a t io n an dn a t ur a ll an g ua g ep r o c e s s i nge t c .I nt h i sp a p e r , af t e r s t udyin g t h e 3 D mo de lp r e p r o c e s s i ng a nd 3 Dm o de lr e p r e s ent a ti o n , am e t ho d comb in ed收稿日期:20 1 9 0 4 30; 在线发布日期:2 0 2 0 0 2 0 7 . 本课题得到国家自然科学基金( 6 1 5 7 3 3 5 6 ) 、天津市企业科技特派员项目( 1 8 JCTPJ C5 8 7 00 ) 、河北省自然科学基金( F 2 0 1 9 2 0 2 05 4 ) 资助. 张满囤, 博士, 副教授, 主要研究方向为计算机图形学、图像处理、三维模型检索和三维物体识别.E m ai l:z h angm an d u n@ s c s e. h e b u t . ed u . c n . 燕明晓, 硕士研究生, 主要研究方向为三维模型检索. 马英石, 硕士研究生, 主要研究方向为三维模型检索. 王红, 硕士研究生, 主要研究方向为三维模型检索. 刘伟( 通信作者) , 博士, 副教授, 主要研究方向为精度标定、图形图像处理、虛拟现实.E mail :1 4 5 3 1 7 0 5 @ q q .c o m. 黄向生, 博士, 副研究员, 主要研究方向为人工智能、机器学习、态度感知与决策、自主学习.2 期 张满囤等: 基于八叉树结构的三维体素模型检索 3 3 5w it h3 Dv o x e l mo d e la ndo c tr e es tr u c t ur ei s p r o p o s e dfo r 3 Dmo de lr e t r i ev a l .F ir s to f al l ,t h eco ar s e g ra in e d fe a t u re s a n d/in e g r a i n ed f e a t ur e s o f t hev o xe l i z a ti o nm o d e la r ee x tr a c t ed .A f t e rt h e f us i o n , t h ef e a tu r e sw h i ch exp r e s s e di nt hef o rmo f o c t r e ear ei n p ut i nt o th ec o n v o l u t i o na ln eu r a ln e t w o r k f o r  tr a i n in g , a n d t h e E uc l id e a ndi s t an c e i s  t h em e t r i c f o r e v a l ua t in g a nd r e tr i ev i n gt h e m o d e l i n t he en d. I no r de rt o f o rma no c t r e ef o r s t o r i n g t h e3 Dm o de l,e i g h te qu a lc ub i cm e s h e s ar e a bl e t ob edi v i d edaf t e rt h e3 Dm o d e li s s c a l e d a n da li g n e dw i t has t a n da r dun i t3 Db o un d ar yc ub i c v o l u m e . S uc hame s h p r o c e s s w i l l co n t in u e f o r e a ch cu bi c v o l um e ,w h i chi n c l ud et h e3 Dm o d e l,u nt i l t h em e s hq ua l i t yr e a ch e s t h er eq ui r e me nt .B yus i ngt h eo c t r e ef e a t ur er e p r e s en t at i o n , no t o n l yth e s to r a g e  co n s um p t i o n i se ff e c t i v e  r e du c e ddu e t o  th ep r o c e s so f v o x e li z a t i o n , t h e d e t a il so ft h eo r i g i n a l3 Dme s hm o d e l ar eal s o p r e s e r v ed .T h ep r e s en t eda l g o r i t h mu s e s th e i m p r o v edO c t r e e s tr uc t ur e a s t h e ba s i c da ta s t r u c t u r e o f t h e m o de l v o xe l iz a ti o nw hi c hi sa p p li e d t o t h e co n v o l ut io na l n eu r a ln e tw o r k fo rm o d e l c l a s s i fi c a t i o n .B yd e s i g ni n g an o v e l s p a t ia lo c tr e e , a 3 Dmo de li s r e p r e s en t edb yw hi c hs ur f a c e i n fo rm a t io nw a s s t o r e di n t ot h e l e a fn o d e s o ft h eo c t r e e .T h el e af no de sa r ea b l et o b et r ai n e da si ni t i a lda ta a n dev a l ua t edt h r o ug ht h ei mp r o v edo c t r e en e ur a ln e tw o r ks t r u c t ur eo nG P U.I O C N N i s a bl et os u p p o r tv a r i o u s C N Ns t r uc t ur e sw it hdi ff e r e nt3 Dr ep r e s e nt a t io ns t o e xt r a c ta n dc l a s s if yt h e3 Dmo d e l f o r3 Dm o d e lr e t r i ev a l . Wi t hc ar e fu la na l yz in g o f 3 Dmo d e l,i t is f o u ndt ha titi su nn e c e s s a r yt o p r o c e s s in te r io rp a r to f t h e 3 D mo de lf o r v o x e liz a t i o n i fi t i s a c l o s e d3 D g e om e t r y .Th e  v o x e liz at i o n o f t he  i nt e r i o rp a r t o f t h e 3 Dm o d e lw il ln e v e r  af f e c t th e  r e p r e s en t at i o no f g eom e t r i c  fe at ur e s .In c o n s i de r i n g t h ecom p ut at i o na lp e rf o rma nc e, s uchmo dif ic a t io n sw e r e m ad e dur i ng th ep r o c e s s o fmo d e lv o xe l i z at i o n.A ft e r v o x e liz at i o n ,t h e no r ma li z e d3 Dm o de l i s r e p r e s en t edb yo c t r e e fo r o bt a i ni n g t h es p a t ia li nf o rm at i o n . A ni t e r a t ep r o c e s s is c a r r i edo ut w hi c h1 i ss e t t o th e  r e g i o nw h i ch i nc l u de s th e  3 Dmo d e l a nd 0is s e t to  th e r eg i o nwi t ho utt h e mo de l r e s p e c ti v e ly. B yo n lyv o x e l iz i ng  th e o ut e r  s ur f a c eo ft h e mo de l , t h e c om p ut a t i o n al o v e r h e a di s g r e at ly r e du c e dd u e t o t h e o p t i mi z e dd at a s t o r a g e  an dco nv o l ut i o n a l n eur a l ne tw o r kt r a i n in g .Th e  exp e r i m en th a s s h own , w i t ha p p l y in g t h e  S OF TM A Xco s tf u nc t io n ,a f t e r al a r g ea m o un to ftr ai n in gd at at h r o ug h co n v o l ut i o na ln eu r a ln e tw o r k ,t h ep r e s en t e da l g o r i t hmh a s mo r e ad v a n c e i n3 Dmo de lr e t r i e v a lt h an o t h e r s i mil a r al g o r i t hm s .Keywo rdsf e at ur e f us io n ; co nv o l u ti o na ln eur a ln e t w o r k ; o c t r e e; mo d e l r e tr i e va l; s i mi la r it ym at chi 引言随着三维传感技术和三维建模技术的飞速发展, 三维模型在三维游戏、虚拟现实、工业设计、影视娱乐等方面的应用越来越广泛. 三维模型数量的爆发式增长, 使得如何高效准确地在海量三维模型中检索到需要的模型, 具有重要的研究意义. 深度学习作为目前最为火热的研究方向, 在语音识别、图形图像分类和自然语言处理等领域取得众多具有突破性的成果[ 1 ]. 近年来三维模型领域的工作者也一直在尝试使用神经网络模型结构来进行三维模型分类和检索工作. B a be nk o 等人[ 2 ] 将深度学习知识引人图像检索领域, 他们验证了从深度学习网络中提取出来的图像特征是可以直接用于检索的. Wa n 等人[ 3 ]对深度学习在图像检索上的应用进行了一次较为全面的研究, 发现通过在目标数据集上进行f m e t u mn g的训练后提取特征, 可以取得比传统的人工特征更好的效果. 在三维模型与深度学习网络的相关结合应用中, 3 DSh a p e N e t[ 4 ] 通过深度置信网络学习三维模型在空间中的概率分布, 然后提取相应特征, 再将其用于模型识别及检索, 这样的方法取得了较好的效果. 当然, 基于深度学习的三维模型检索研究中也存在着许多的技术难点需要进一步的探索和研究. 大致归结为以下三个方面: ( 1 ) 对于大数据集的检索工作, 深度学习虽然可以达到较高的准确率, 但是存在高存储、高计算的问题;( 2 ) 对于三维模型的检索, 应该探索更为合理的三维模型的形状特征;( 3 ) 优化深度学习网络的算法复杂度, 提高精确度.目前, 现有的三维模型检索工作大致可以分为3 3 6 计算机学报 2 0 2 1年两类: 基于模型特征的检索&6 ] 和基于视图特征的检索& M ]. 基于视图特征的3 D 模型检索,一般情况下主要是通过两个3 D 对象之间视图特征的相似性匹配来完成. 其核心思想是用一张或多张二维视图来表示该3 D 模型, 从而实现模型的降维检索, 将模型特征进行降维处理大大降低了模型检索的难度. 而且选择代表视图来表示模型特征, 能够减少模型的无用信息, 提高模型检索的效率. 但是, 如何获取模型的代表视图、视图个数的确定、多个视图特征信息的融合以及各个视图之间的遮挡问题, 是基于视图检索中存在的难以解决且不容忽视的问题. 基于模型特征的检索是直接作用于模型对象的原生三维表示, 如多边形网格、基于体素的离散化、点云或隐式曲面, 能够较好地保留模型的空间信息和几何特征.本文采用三维体素作为原始的三维表示, 学习高层次的三维模型特征[ 1 1 ]. 使用三维体素化表示的原因如下: 首先, 三维曲面具有不规则的顶点拓扑结构和任意的网格分辨率, 而体素化被认为是能够将三维曲面转化为规则的并且充分保留三维曲面几何结构的最简单直观的离散方法. 离散体素结构和规则体素结构使得卷积神经网络能够直接从三维形状中进行特征学习. 其次, 三维体素化能够提供视觉评价,通过三维领域的深度学习模型, 获得常用的三维曲面表示, 与基于视图特征的方法中的投影深度等三维模型的表示相比, 这是体素化特有的性质. 最后,将模型体素化不仅可以保留模型的表面信息还可以描述模型的内部信息.本文对模型进行体素化处理后, 构造一种特殊的八叉树三维模型表达方式, 之后对模型八叉树进行二值化转换. 通过将模型进行八叉树划分, 获得模型空间位置的标记, 对于未包括三维模型的区间进行置〇处理, 对于包括三维模型的区间进行置1 处理, 并重复迭代, 以此来对体素化过程的三维模型进行粗细粒度的划分. 然后对划分结果进行数值化表示, 构造出模型的二值化三维矩阵, 并将其作为卷积神经网络的输人数据, 对其进行训练, 生成各类模型的特征分类值, 最终将待查询模型放人该网络中进行特征值的提取与比对, 进行三维模型之间的相似性度量, 从而完成模型的检索.2 模型预处理2 . 1 模型标准化目前, 常见的3 D 模型文件格式为O bj e c tF i l eFo rm a t C . o f f ) , 其存储格式为A S CI I 编码. 由于三维模型具有不同的空间尺度、不同的空间位置、以及旋转角度和拓扑结构等等, 这些都会成为影响三维模型检索精度的重要因素, 因此确定统一的三维模型表述方法, 保证模型的空间尺度、空间位置以及旋转角度的统一性是三维模型特征提取的重中之重. 为保证平移不变性, 将模型置于坐标系原点处; 为保证旋转的不变性, 在一个标准的坐标平面中采用PC A变换方法将模型对齐; 为保证尺度的不变性, 需要将模型归一化到标准单位大小; 为保证方位的不变性,需要将模型进行翻转变换.平移处理需要解决模型的原点位置问题, 需要对模型原点的位置进行归一化操作, 模型重心平移可以将三维模型的重心平移到标准坐标系的原点上. 本文采用对三维网格进行面积加权的方法增加对三维模型表面网格的采样数量, 从而减少不同网格面积的三角形网格对模型重心位置产生的偏差.具体表亦为式( 1 ) .N'N⑴上述公式中, C 表示三维网格模型的重心位置,巧表示模型中的每个三维网格的重心, 民表示三维网格模型中每个三角形面片的表面积. 通过这样的方式, 可以将三维模型的重心平移到坐标的原点.旋转处理的主要目的是修正相同模型在不同角度下的偏差. 采用面积加权的主成分分析法进行处理. 首先采用网格三维模型表面点集合的协方差矩阵来计算各自对应的特征值; 然后对特征值进行排序, 求出对应的特征向量( V : , v 2 , v 3 ) . 在特征值排序过程中使用降序排列, 可以求得模型顶点分布最为广泛的主方向V : , 后面依次为该模型顶点分布的第二主方向V 2 和第三主方向v 3 . 将该序列构成的矩阵进行转置变换可以得到矩阵K . 整个过程需要计算协方差矩阵, 最终实现对三维网格模型的空间旋转的归一化. 同时需要考虑到三角形面片面积的不同, 对重心造成的影响同时会对旋转偏角产生一定的影响, 在这里需要对面积进行加权来计算上述协方差矩阵, 具体过程如式( 2 ) .C#=I]( st p t  s1q1) ( st p 1s1q1)T( 2 )1 1 , )1上述公式中, ( :# 表示前面提到的协方差矩阵;九, % 分别表示每个网格三角形的重心, 同时\ \ 分张满囤等: 基于八2 期 叉 树结构的 三维体素模型 检索 3 3 7别为每个网格三角形面片构成的三角形的面积. 通过这样的方法来对模型进行旋转处理可以得到具有旋转不变性的三维网格模型.缩放预处理的目的就是将不同尺度的模型缩放到统一的尺度下, 再进行后续的特征提取工作, 这样能够保证模型特征的统一性和可用性. 本文使用的手段是先获取模型边界点的最大距离, 然后根据模型边界的最大距离对模型的大小尺度进行调整, 如式( 3 ) .IKI + KI + KIV3( 3 )上述公式中,="f X;s' P ' x , Ky= "f X;s' P 'y,O-O-z丄z丄分别为z , y , ?^ 轴方向的缩放系数, Ki  1表示整体缩放系数, 久^ 表示第* 个三角形的重心位置到YDZ 平面的距离, 表示第z 个三角形的重心位置到XO Z 平面的距离, h 表示第z 个三角形的重心位置到XO Y 平面的距离. 而& 表示每个三维网格模型中的三角形网格的表面积, S 为三维网格模型表面所有三角形网格面积的总和, S =. 通过将i 1模型中每个点的坐标除以缩放系数K , 缩放后点的坐标与原坐标的关系( ¥, y )= 〇, ,_y , , z , )XK 1, 可以将三维模型缩放到统一的尺度下, 实现模型的归一化处理.模型的翻转处理主要用来修正三维模型的主方向, 通常情况下因为三维模型的自有坐标轴的定义有差别, 或者是同一模型设置的方向有区别而造成不同模型的主方向的差别. 本文使用的翻转处理方法是首先计算模型表面点位于某个平面正方向的距离和以及位于平面下的点的距离和, 通过比较大小来定义模型的正反向, 再进行模型翻转, 从而保证模型的翻转不变性. 文中定义了三个主方向的特征量/; , /,, /; , 计算翻转矩阵的公式如式( 4 ) 所示.1n"  ̄^ ^jsiSn ( xAl + xB t + xa )*sl*i  1xAl -\ ̄xB l+ X Cl3fy二"^2sisn hA l+ y B l) ? ^?(i  1^+ yB l3fz二1^( ̄ SYjSl Sn ^-ZM+ ^G )*^3/( 4 )在上述公式中, \ 表示三维网格模型的三角形网格的面积, S 为三维网格模型表面所有三角形网格面积的总和, : 表示第z 个三角形网格中的A 点的:r 坐标. 利用这种方法可以获得三维模型的翻转矩阵F , 该矩阵的表示如式( 5 ) 所示.s ign ( fx )0〇F =0si gn ( fy)0( 5 )〇〇si gn i fy )通过进行翻转矩阵的运算就完成了模型的翻转处理标准化. 经过对模型进行平移、旋转、尺度归一和翻转处理, 可以得到能够进行后续实验的标准化模型.一个完整的坐标模型标准化的过程由式( 6 )表亦.r ( J )= K 1- F - R? ( J C )( 6 )其中, K 为缩放系数, F 为一个对角矩阵形式的翻转矩阵, R 是对应PC A 变换的旋转矩阵,J 是原始模型的坐标, C 是坐标原点, 也是三维模型的重心位置.2 . 2 模型体素化体素化( V o x e li z a t i o n ) 是将物体的几何表示形式转换成最接近该物体的体素表示形式, 产生体数据集[ 1 2 ]. 首先将一个连续的三维空间记以分块的形式转换为一个离散的三维空间D3, 离散空间D3的基本单元就是一个个边长为Z 的立方体, 这些立方体即为体素. 体素( ^ ,_ y , z ) 对应到连续的空间上,就包含了一个小的空间区域{ ( M , % ? ) } , 其中:x 1 <C m x, y ,  z ( 7 )经过这样的处理, 可以得到一个三维模型的空间分布信息. 本文中首先要确定一个固定长度为L 的立方体盒子, 盒子要刚好能够容纳下三维模型, 然后要对该模型的所有顶点进行统计, 找出其中最远的两点距离A 之后在前面归一化的三维模型基础上, 将模型中所有顶点的坐标值都乘以系数办K ( K 为归一化的放缩系数) , 然后可以得到新的顶点坐标值,这里将新的顶点坐标集合设为/ , 则/ 可以表示为式( 8 ) .其中/ 表示标准化后的模型顶点. 经过这样的操作, 使得模型刚好能够处于立方体的中心位置, 且被立方体包围. 体素化将连续的矢量转化成为离散的点, 对于每一个体素, 取值可以是二值化的, 也可以是多值化的. 对于二值化的体素, 若体素的取值为〇, 则表示当前位置没有包含模型部分; 若体素值为1 , 则表示当前位置包含模型部分. 本文运用的是三维网格模型二值体素化的表示方法.a ) 顶点体素化对于网格三维模型而言, 连续空间中任意一个33 8 计導机攀报 :_1苹顶点都有一个在离散.空间中与之对应的体素点, 同暖対顶点的体素化过:程也是一意'一的峡射过程& 3 ]. 本算法霹要将模型的连鏡点映射到体素, 从而实规三雄模型的体素化? 假设通过坐标尺度归一化处速.后的H雄模型刚好能被一个厶XLZ L 的立方体包围盒所包围, 如果将该立方体包寅食分为:wZw Z n 个体攀, '那病每个体蒙俯太小涂爾乂 t? Z■〇/ :?S中w =L/ 托, _ 此对于三潍网格|| M 上的连续,#r( 兄* # * ? > , 映射到体素, . y* 心的过_ 如式< 9 0所承. .( 2 ) 边缘体素化对〒三维网格模遵边的体素化, 可以分为两种情祝雜一种是边的长屢/ 小宁体掌的边长w , 在;这种情况下* 齊么边的两个端最在■ 一个体素内. 么两个顶点在两个体素内, 此时根据实海情况进行体.化即可? 第■二种是边的长度, 大于体攀的边柢w *这时费要將这个边迸行等分. 将/ 分成《, 个新的边/ % 使得每个厂都小T w 即可. 这样就可以按照第一种情况卞的方渎養现对边的体参fc处理.C 泊三龟形面片体素化对于网格三维模型,表面的三角萊而言, 如果它的三个边的长虔都小于体素的宽度w., 那么三角形的三个顶点会映射到同一个体素, 或是相邻的体素当中, 此时仅对三个顶点进行体素化, 就可以实现三象_ 的体着化.如果三趣灌:的进长顧过体_ 的寶:縻《,_舊对三龟形进行切割, 糌其分成多个小三角形, 其中小三角形的边长应满足任意边的边长都不超;过体素宽度t? . 之后雜'纖三翁:形斑长冰5!3 棒素窻農秘的方式对其进行体素化_至此, 就实现了三_ 网格模型的体素化过程. 其具体形式如图1 所示.用包围盒包围模型,遍历所有网格, 根据完成模型体素化决定划分的网格数量阈麵断是否覆盖该网络W 1 模塑悴素牝3 特征表不3 . 1 特征提取方法计算机M形学颔域出瑪了很歲关于三维模型的樣倉方法. 检索过: 義中对三鑛携靡雜征!i#提攻的部分称为特征提取.一般来说, 模型的几何特_ 、拓扑特征、视觉特征以及一些融合特怔都可以作为模座对比和描述的标准, 而且这些待征一般都表现为高维向_ , 也称为特怔向:■ , 该就是模■特征的载体. 除此之外一綠研食方法中也使用模型的图结构作为模:獲特征的载体, 这些特_§:取的倉:塗都被称为特征描述子< 它可以量化地羞示兰锥模型结构,使得三維模塑之间的距离度:量成为可能? 也正是因为这一点*特征提取成为了三维模塑楂素技术研究的关键内容.任駕"魔点駆离特征Sh jtp feDi stri but ion , D2 )算法是塞于统计特征的#征提取方法t l 4] _ D1 距离即瘼_表面任:意一个随机点到另一个随机京的距离. t 用芋段:是先将三维模型的不同:特征进行采样,然后利用,直方图存储这些统计特征? 最后利用统计后的特征向璧进行模型之间的相似性度AQs eda#入[1 5 ]提出了一种基于馨盡几何形状分布(Sha peD i st r ib ut ion,) 迸行擊样翁特隹鳥取算法?D2 奠法也属于形状分布算法, 它从测量3D 模型的几何属性角度,来解决三维模型眷征提取间题, 其形状函数中舉祥的最终_ 示琅式为概率分布? D 2 算法的优点最可以快速、轻松地计算祥本, 并且所得到的分布琅状对于相似性变换、噪声和曲面姻分等甚不变的I 具有尺度不变性的优势,寥方隹深度傅重:盱描遽fCMul ti p l eOr i enta ti onsD ep t hFl umier  Desrar i p tor , MQ DF.D ) 雾:法[ 1 6] 攆'出: 了一种萬于多边形集合( 三维网格模型的三维模型相似性度量的检索寘法. 三維模葉相似性度量的一个主要问■题就:是要表达出这些三维模型的形状多样性? 对于刚体模型而S , 三維模塑是易于定义和处理的, 但*它的非刚体樓型如三维阿格模型却存在许多间题? 事实上, 三雒网格模型通常是不定义三'睡形状, 而是由独立时多边形、线条和流形网格集合而产生的三维模型的错觉?M.0D FD 箅法的三维模型. 相似性度羹舉显著的特点基它接受兰维网格模型和其他定义形式的三维瘼型. 该方法仅使用模型的渲染外观作为三维模型相似性度量的基本元素? 它通过进行肩一化处理消除了_ 尺度和位置带来的模靈差张满囤等: 基于八2 期 叉 树结构的 三维体素模型 检索 3 3 9异, 结合立体角离散采样和旋转不变二维图像相似性比较算法消除了三个旋转自由度. 该算法实现过程为首先进行模型规范化处理, 然后计算一组从4 2 个视点观察到的三维模型深度图像, 以近似地使用离散型的视图来覆盖整个模型的所有可能视图,然后计算每个视点的特征向量. 每个视图的特征向量是基于二维图像的旋转不变性来构造的傅里叶描述子. 最终向量由4 2 个特征向量组合成模型的整体特征.绝对角距离直方图( A b s o l ut eA n g l eDi s t a n c eh i s t o g r a m , A A D) 算法[ 1 6 ] 提出了一种基于三维模型视觉特征相似度的形状特征描述, 用于进行三维模型之间的相似性度量. 其方法可以概述为: 首先将基于输人曲面的模型转换为定向点集模型, 然后计算每一对点的距离和方向并生成二维联合柱状图. 该算法的优点是: 可以对非刚体或非流形模型进行计算; 该算法对模型的相似变换具有不变性; 同时该算法对拓扑变化和几何误差以及退化具有一定的鲁棒性. A AD 算法是基于角距离直方图特征算法的改进,改进了角距离直方图( A n g l eDi s t an c e hi s to g r a m ,A D ) 算法的方向向量描述子对方向的敏感度. 对于A D 算法, 如果要比较的模型之间具有一致的表面方向, 例如, 多边形之间顶点的遍历顺序是一致的,则A D 形状功能表现良好. 但是, 如果数据库所包含的模型具有方向不一致的曲面, A D 算法的性能将会受到严重影响, 使用不同形状建模工具生成的模型在确定表面方向时可能有不同的规则.3. 2 基于八叉树的模型表示在O c t N e t[1 7 1 9] 的启发下, 本文提出了一种基于八叉树的三维模型表示方法, 并将其作为卷积神经网络的输人. 八叉树的逻辑为: 假设要表示的模型V 可以放在一个充分大的正方体C 内, C 的边长为2 ? , 则它的八叉树可以用以下的递归方法来定义, 八叉树的每个节点与C 的一个子立方体对应, 树根与C 本身相对应, 如果V = C , 那么V 的八叉树仅有树根, 如果V 乒C , 则将C 等分为八个子立方体, 每个子立方体与树根的一个子节点相对应. 只要某个子立方体不是完全空白或完全为V 所占据, 就要被八等分, 从而对应的节点也就有了八个子节点. 这样的递归判断和分割一直要进行到节点所对应的立方体或是完全空白, 或是完全为V 占据, 或是其大小已是预先定义的体素大小. 需要对C 与V 之交设置某一个阈值, 使体素或认为是空白的, 或认为是V 占据的.为了构造一个输人三维模型的八叉树, 本文首先将三维形状均匀地缩放成一个轴向对齐的单元三维边界立方体, 然后对其进行细化八等分. 在每个步骤中, 遍历当前深度/ ( / < 5 ) 处三维形状边界所占据的所有非空八分区, 并在下一个深度/+ 1 处将它们细分为八个子八分区. 重复这个过程, 直到达到预定义的八叉树深度A 由此可以得到模型的八叉树分割,从第一层开始标记, 若是分割的八分区覆盖了模型则将此分区值赋值为1 , 若未覆盖则赋值为〇. 按照层数依次标记, 最终得到模型的八叉树数值表达式.3 . 3 粗粒度特征与细粒度特征融合本文通过对三维网格模型进行体素化处理, 可以得到三维网格模型的体素化表示. 虽然这样能够简单地得到体素, 并将其作为卷积神经网络的输人对象进行训练, 但是实际过程中这样简单地模型体素化, 并不能满足详细表达三维模型的要求. 其原因如下: 如果仅使用粗粒度体素表示三维模型, 体素化之后会失去三维网格模型的细节信息; 如果仅使用细粒度体素表示三维模型, 那么计算机的内存使用会过于庞大, 无法满足计算需求.因此, 找到适合的体素分割粒度是解决问题的关键. 通过分析三维模型, 发现对于封闭的三维模型而言, 其内部的封闭空间是不需要进行体素化表示的. 因为即使对三维模型内部进行了体素化表示, 也不会对三维模型的外观特征产生任何影响[2 ° 2 2]. 所以本文使用一种单独对三维模型表面进行体素化的表示方法来节省三维模型体素的存储空间, 同时对三维模型进行八叉树分割. 如果模型表面细节表示较为丰富, 那么就对该区域的网格进行更细粒度的体素化; 如果该区域表面较为平滑, 就进行粗粒度的体素化表示. 将模型的粗粒度特征和细粒度特征进行结合, 可以有效地节省体素化存储过程的空间占用量, 同时也能保留原始三维网格模型的细节信息.在三维网格模型的体素化过程中, 对于单位区域内包含的三角形面片数量多于《的区域, 称为细粒度区域; 单位区域内包含的三角形面片数量少于? 的区域, 称为粗粒度区域. 实验中按照以下步骤对原始的三维网格模型进行体素化处理:首先对三维网格模型进行八叉树分割, 然后对每个区域进行均匀分割. 如果分割后在该立方体内包含的三维模型的三角形面片数量多于《, 那么就继续对分割后的区域进行八叉树分割, 并重复顶点細 计導机攀报 :_1苹体素化的:操:作r如果在分割后棚立方体冉包# 的三维檫型的三角形商片数量少于》, 那名就停止迸行八叉树分割.然后将分割后的三维模塑进行八叉树区域内的体素化?最终经过幻次的迭代, 可以获得不同粒度的模型体素化结果, 如图2 所示sn rmwrt:  ? 機龜/i策树發翻:在对体素化的三维模型迸行数值化表示的时候, 本文选择对包搐三维模型的区域进行耸1 操作,对不包含三维模型的区域进行置〇操作. 用词样的方法进行迭代处理分割模型, 具体的实? ■ 过卷如_ S 和國4 所示: ?3 基=fJi S树的体愈分0 1 0 0 10 0 0 0 1 0 1 0 0 0 0厲iA51#乘價化_幸通迓菌4 所示的二值化编码形式, 可以豪得每个三维模型的深度八叉树结构. 然后将八叉树二值化启的三维模型作为卷积神髭两络的输人, 进行卷积神经网络的爾练及分类操作.4 卷积神经网络4 . 1 网络层数及参数设置输入层的作用基对乗训练的数据进行准备0;:作,实验中将体素化的模型数据作为卷积神经柯络的输入数据, 它们的表示形式为N/CXW :X/W,固定大小的体素化数据, 其中N 表:示输人模塑的数量, C 表示通道数,%, WS 分别表示的是整个体素化擦塑的方向体素的数量- 实验中设置为N= 时6 1 ,= 1 0 0 , 为了提裔数据推备的效卓, 本文实验使用C a ff eM 框架* 它在输人处理上系用的是“预读机制”, 即在当前网络使甩当前批次数据进行训练时, 输入属单独运行一个迸* 来迸行下一批次数据的读取操作?卷积层的作用是用来接收前商输人层的数据[ 2 4 ], 对于输入层的原始输人数据, 使甩铮定卷积核对奠迸行卷积操作》得到大小为N / C / 4/A X 名的卷积图, 其中C 在输人层中_ 示逋道的个数, 在奮积晨中?示卷积核的截量? 这里要保证卷积核的数量与通:道数一致,. 同財示的是尉前一层的输人_ 进行卷积操作启的卷积M 的大小_例如当前卷积昆的第厂个卷积核的参数为t , 输人层的第彳个卷积图为X ,, 因此经过当前这个卷积核进行卷积操作后的卷积y表示为式( i a) .cy^ f {YjX i *)( 1 0 )i - l其中、, / (?》表示激活函数, 实璩中误置5 层卷积层e:如vl s 0&n v2 0KW. 3Ve D iw4;乘用R e.Lu激费函数.池化鳥的主要工作就是对诙层的输人数据进行采择然后将采祥;后的结果作为下一层的输入数据弁重新进行卷积操作. 在实验中设置3 层池化层,卷积核太小为步长为2 . 这样可以将八叉树分割的数据与未进行八叉树分割的数据进行5对齐, 同时还可以降低数据的规模?一戢来说, 采用下采样操作来进tt最大池化处理》这祥能够保证不会漏掉原始三维樓型'的任何边缘以及顶点内容池化:g 的结果用,采祥K 域内的‘一个具有代表性的值来表承. 对f任何一个食置的输电层数据_v ( ,', 厂, 都有如式( 1 1 ) 所示.(i*1 )_? u\;. /.?') ./(1'> (1 1 )^ 6本网聲經过a 个全连接层,输出一个i o oq 维的特征向量:3 本文实验所用的具体网絡设置如?1所示.张满囤等: 基于八2 期 叉树结构 的 三维 体素模 型检索 3 4 1表1 本文网络结构及参数设置k e r ne l一s iz es Lr id epadnum_oui pu LAc t- fun c t ionCo nv lUJI 1 1409 6R eLuP oo l l3 X 32———Co nv 25 X 5122 5 6R eLuP oo l 23X32———Co nv 33d 3113 8 4Co nv 43 X 3113 8 4R eLuCo nv 53 X 3112 5 6R eLuP oo l 53 X 32Fc6—一一4 0 9 6Fc7———4 0 9 6Fc8———1 0 0 04. 2 学习率设置策略由于模型的数据量巨大, 在实验中选择对模型进行批量处理, 实验设置为1 2 8 , efo c/ i设置为1 0 0 , 设置1 0 0 0 次迭代. 设置初始学习率为0 . 0 0 1. 由于本文使用的是Ca f f e 深度学习框架,Caf f e 框架中学习率机制主要有f i xe d 、s t ep 、i n v 、mu l t i s t e p 、e xp 和pl oy 这6 种?f i xe d 即固定学习率,在整个优化过程中学习率不变. s t e p 采用均匀降低的方法, 每次降低为原来的某倍数. m ul t i s t e p 采用非均勻降低策略, 指定降低的s t e p 间隔, 每次降低为原来的一定倍数.e xp 是一种指数变化,?=6 a %, X( ga mm a#), 由公式可知这是连续变化,gamma 越大则衰减越慢.i n v 也是一种指数变换, 参数gam/ na 控制曲线下降的速率,=?%r ( l +ga/ Tzwa X i re r )抑■? pol y 白勺学习曲率白分形状主要由参数如層er 的值来控制,* ( 1 —her /w axz k r )当户o wer = 1 的时候, 学习率曲线为一条直线. 当如的时候, 学习率曲线是凸的, 且下降速率由慢到快. 当如wer > l 的时候, 学习率曲线是凹的, 且下降速率由快到慢. 本文用这6 种方法进行对比实验, 观察6 种方法的检索准确率, 结果如图5 所示.1 .00 .80 .6〇0 .40 .2实验时, 初始学习率都设置为0 . 0 0 1.  S t e p 方法中设置s tep s iz e1 0 0 0 , ga mm a0 . 1 ? m ul t i s t e p方法设置即而聽为〇?5, 说2 0 0 ,4 0 0 ,6 0 0 ,8 0 0 .  ex p 方法设置ga w/ na 为0 ? 7,i nv 方法设置ga/7 zma为0 ?5, 户ower为0 ?2 5. pol y方法设置户ower为0 . 8 . 由图5 结果可知, s t e p 方法的收敛效果最好, 因此在学习率变更时, 本文选择s t ep 方法.5 实验5 . 1 实验平台:本文的繁着主妻难W indow s 1 0 魏位操作系统上进行.. 设备的配鹫翁息: 处理雜为两颗I n t e lE5HS 8服务# 芯片,GPU使用NV I DI A :GTXl ( ) 80 T i , 内存1 6 ?B , 硬盘为8 0 GSSD, 实验儘ifCaf fe 鑛虡学习猶雞, C: UD A 版举汝S ,  〇, cflDWI版本为5, & .5 . 2 实验结果分析提取三维樓望的特征并构造出三维樓望的特征向羹是封舊模型之间的相似性的第一步- 在构造出模fl 的特征向量之后, 通过特怔向量之间的距离来表示三维模型之间的相似度; 不相似的三维模_之间的距离较大, 相似的三錐模趙之间的距离较小. 根据相似度值的大小对候逸的相似衡型进行排序, 距离最近的也魏是:匹度梟高他三维模型, 这个过程就是三维模型的相似性度量*:检索部分本文来用欧氏距离来进行两个¥爵模遨之间的相似性匹配任务, 空间中两个特征向量可以屬示为X= ( ■!'1, 13 8』'3,? s A)( A s  _v 2,a , y山用xxm的值来表示两个特征之间的距离, 距离?示为式( 1 2 ) .1 12 )对于任遺一个查询模型Q , 将其与数据库M 中的模_ 进行距离度蠹i 最终得到得匹配模適Q*. 私,分别代表Q的特征? Q的计箅过程可以表示为式? 1 3 ) 、C 1A ) .S ( Q ,M)=a rgm i nD ( a , % )( 1 3 )Q *=arg ma x S ( Q ?M;)( 1 4 )q* e M三维模魏栢似性機M翁评价标准是裣索的准确度和检索的愈整度. 相关领域的衡董标?隹:是查准率与查垒津*查准率雄示的;是在所有被预测为芷的祥本中实歸为正:餘禅:本t対曝拿I 用朽赏如油關乘義琢-查全率表示的是在实际:为E的样本中被预测为M 2 计導机攀报 :_1苹正样本的概率, 通常用来表示.本文在模型训练的过程中使用的是. P rinc e to nSh邶e B en ch ma r k C:PS B ) 数据_TMQ <fclM?t 4 0①模型数磨集来迸行实验? 该数据集包含40 个大类.摟型, 每个分类下都有t rd n 集和te st 集, 本文通过训练t r a in 集的模型再通过tes t 数据集进行铡试,t ra in 集中大概包括9 4 6 1 个模型, 实验中为了验证本文算法的肴敏性, 从4 〇个分类中每个分类选择抑个模遒*携1 0 .0 个模型, 其中每个分类: 的正眷参數与負:#本数比例为s i __狼中癀m 欧a 距;禽作为度量三维模型相似性的度量手段. 首先计尊# 查询模型特征与数据集中的模型特征的欧氏距离, 慰后逋过欧氏距离计箅相似度, 最终返回检索結果. 最终得到的查全率和查准率之间的关系如图6 所承图61?箸猶神薇网:繙驗素籍果:为了评估三维樓■ 裣索性能r本文采用了以下流行的标推作为性能指标;£1 ) Precis io n- Rec all c ur ve  ( PR_ 義) 是一■ 种_合显示检素性能的曲线, PR 曲幾通过改变区分相关度和不相关度的阈值. 揭录了查准率与查全率之间的关系.( 2 1Ar ea U nd ert hfcPR c urfe CAU CJ 寅以作为综合性能指标. AU C 值越高表示性能趑好.( S ) Ne ar ft S t :K( *i g h b 〇ur可以麗来囊31:最接近匹配模麵的检索精度,C41 F i r s t表示前JV 个M 靡羅舉齒_全率, 其中JV 为数据条中相关摸型的总数.t5tlSee GiKt 'Eer (m_承潰 IN 个Hfi爾绪某的召闻營^ 興中N .为相关糢型的总数.F fifeimtfe CF) 暴对检索时雜度和查全拿的籍合:评价的方法( 7:) Di s c.?ju iit e d C um ul a t i v e Ga in (DCG ): 的定义是为排名靠前的结果分配更高的权童:., 因为思户最有可能使用第一个显示的结果?C8)Ayerag e Horfla ltze dModi fied Retr ies al Ran k( AHM RR) 是一个综合衡董排名名单的表现. 较低的值S 映较高时讀度.为了锻本文凳法的性能, 将本文_ 方法与一觀先进的方法进行对比? 其他对比的法: 如'下:S1#麵颂: N ei gh b o r(N N } !最錢近查询ff屬纖别的查询’的W 分比? A d ap t iv? Vi eiwsCl us t er i n g (AVC ) 考:虑到并非所有视图都具有同零的重賓性. A VC 逋过自适處.聚类箕法选择最优的二维视fl 进行表示和检索. 该耸法采用概率贝叶斯擦型来提高性能[ 2 7 ].Caihie :r ¥_ Cc> iist rai :n tF r e4V i ew -ba: §ed ( C'CJFV ) 对于每个查询.对象, 所有查询视图都聚集在一起以生成视图集群,然后视圈‘集群用宁构建查询隹型. C GFV模型是在渣询高斯瘼型的基础上, 结合正匹配模型和负匹配模型生成的_.实:验中甩NH 、F T 、F 和S T 四种指标来评估綱、A V C vCCFV 和本文方潘ft M〇de?rt4;0J; 的性能i在繁聲中, 对于每个_爾示例, 随机邈择5 0 个作为正样本进行训练, 然后. 从其他类别随机抽取1 0 个祥本作为负样本. 结杲如图7 所示.釋T 几种方法的性能对比图7,展示了不同标准下的性能, 从图1 可M着出本文的算法在^^ 、?1^、5^方面都取得了较好的结果, 在NK 、F T\ F 、ST 下与其他三种箅法相比分别取裰了 1 % ?4 % , 1 % ? S 軺, 2 % ? 3K ? 6 %的增益. 从图7 中也可以得出以下结论: ( l ) C CFV和AV C 都可以看做是统计模型, £ JCF V 利用裔斯模型来描述特征分布* AV C 使甩贝叶斯模型来推述待征分布, 不同的是AV C 将每个视g 视为独立的个体, . 而C CF V 采:用高斯模型考虑了视.图在特征空?The P r i nce to n Mo d e lNet . ht tp i | / m o d el ne t .c s . p r i nce t o n.ed u / 2 0 1 5 , 3张猶围筹: 基;fJll霞續翁的兰雜律素_ 型雜: 2: _ 3 43: 期间中的变化* 最后的实验鍺果也证明了C.CFV 优于AVCV C& N N: 的讓现要优于GCF V.和A V C 菌为J IN 虛用了CTfN 的#性》C NJI 网络的优点使得KN 的'性能要优fC CF V 和A V C S 05 .本文的箅法在各种指标下性能都是最优的? 因为粗粒度特征和细粒度特征融合能够更完整时表示模型, 同时使用'八叉树表示法节省了计算的时间以及存储的? 间,所以* ?本文算法的性能优于其它3 种.本文算法与D 2#怔提取的三雄模型检礞算法、MQDFD 特征提取的三维模型验索算法、AA D特征提取的三维樓型# 索算法3DS h apfi :N e t 检素Vol utaet ric :GW^ VolCM?:?0 ] 检素算法和VexJfe#5 1 ]在MoxWMe t 〗? 数磨擧上迸行对比?ModeWetiO 数据集含有W - 个太类", 将每个类别中的模型从训等集选出1 關个模型进行训练, 从测试集中选出浼个模型迸行测试, 对于每个被检素猶模型给出5 个检索緒渠, 求平均值, 该平均值即为检索正确率.表2 中对比实验一共有S 种, D 2 算法、M OD FD箕法、AAD 箅法、.3D Sh ape N et 算法、MVCNN. 算法、V o lCNK 算法、V oiN et' 箕法和本文算法? 由表r可知, 前3 种基于传统的检索方■ 法表现效果较蠢MV CNK 算法提出了一种新颖的CN N 结构, 它将三维琅状的多个视图的僧息组合成一个紧凑的形状描述# . 利用阚络的优势在实验中取得了SO , 2 % 的检。索准确率? Vo l CNM 算法是通过与多视图相结合卷积神.经网络并使用带有多方向池的3 D CN.氣来获取形状表征、实验中达到了7 9 _5春M 的正龜率. 3 D S hap e Me t 是一种较好的基于3 D 卷:积神轻网络对体素化模型进行分类的算法, 该算法在将三维模型进行体素化处理后>再选# 多个观测视点对体素模型进行二维视图化, 之后将多视点视圈"构造成卷积M络的输人数据s 焉后■ '将视图特征洵量与数据集中三维模灌进行训练后输出的特征向量进行对比? 该算法的识别芷确率在Mod e lN eft40 上达到了H . 〇M . V o xN et 算法是基于模型特征的检索方法, 将三维网络模3 转化为体素模型, 用S 2/ 3 2 7 3 2的体素模型进行实验, 使用密集的数组来执行所有的ISS N 处理<实验中迭到8 3 . 〇的淮翁氧但綦:在:三维空间并不是所有' 的体素都含有模型偾息> 所以对所有的体素进行训练计算是得不#失的, 本立的基于八叉树结构的三维体素模型楂索箕法利用八叉树结构自适应的空间剖分来压缩荐储, 构造的是完整的三维模型体素数据, 包含着模型外表面的所有细节. 进行二值化处理能够巧妙地让体素数据作为卷积神经网络的输人数据, 经过卷积神经网络的处理后得到1 〇〇〇维的待征南量f 最翁计算特怔向量闻的相似性实现模型检索工作. 该方法的识别准确率达到了S 8 .高于前面提到的7 种方法,表2 不同算法在M wW N6t4 0 数据集上的实验结果对比騰 特儀提觀i?麵娜鶴: Mad e l N et t 检愈贿率/ .%'mMQDFDAADf : D S h aR£  :MYCNr|T& ENnTas cN e t为了进一步验证本文算法的鲁棒性? 通过进行实验后得到了表2 中对应的8 种特征,提取算法识规结慕对愈的受试奢工作綠I? 曲'_( R efi e iv er Ope Krti n g:Gh ai&f t erf st ic Guwej ROG X RO C曲线JSt假市傘F Pi? ( Fa l s e Po s i tiv: eRa t e:) 为横轴, 以真诳_TPJ ?( Tme P o s i t i veRat e )为纵轴, 描绘坦麗藤本疋确识别概率随负样本误识别成K? 样本概率的变化趋勢.在R OC 曲线!| r 3 曲_ 上的点越霸近左上角说_葚正率越高、假正率越低, 算法区分能力越强, 即提取的个体差异蕾.息越明显*实验中, 首先将用于测试的4 〇类三維模型数据雖_ 合應正霉本对X_ — 类#丰对) 与負对不同类祥本对) 序列. 根据不同算法提取悻征并计算祥.本对距离通过固定负样本对的误识别傘即FW? ?选出对应的距离阈值, 然铸以同样的阈值樟测正样本对的接美率? 如_8 为嫌,过_2 中g 种木肩¥奢征提取算法分别逸定1 3 个( F PJ ?, TPi? > 点拟合将到的R 〇e 曲线厲.图88 种特纖職緣在三藥檩麵据'翁前餐舉的R〇e _3 4 4 计算机学报 2 0 2 1年图8 实验结果显示: 本文的基于深度学习的三维体素模型检索算法对应的R OC 曲线位于所有曲线的最左、最上的位置, 即FPi ?— 定时, 该算法下得到TPi? 最高, 同时在TPi? — 定时, 该算法下对应的F Pi ? 最低. 这说明本文的特征提取算法相较于其它7 种算法有明显优势, 也体现出本文算法的可行性和有效性.6 总结本文从基于模型特征的角度进行三维模型检索工作, 提出了一种基于八叉树结构的三维体素模型检索方法. 具体实现为将三维网格模型进行体素化处理, 提取三维模型的粗粒度特征和细粒度特征进行融合, 以八叉树结构来存储模型. 本文提出了一种特殊的模型体素化方式: 八叉树分割法, 该方法对包含模型的体素置1 进行迭代分割, 对不包含模型的体素置〇, 经过八等分细化迭代处理完成三维模型的数值化表达. 然后将其作为卷积神经网络的输人数据, 实现对网络模型的训练和后续的分类预测. 最终对网络提取出的模型特征向量, 进行欧氏距离度量计算模型间的相似性, 从而完成模型的检索工作.本文方法与其他算法相比在Mo de l N e t 4 0 数据集中的识别准确率可以达到8 8 .  7 % , 充分体现了本文方法的优越性和有效性.致谢在此感谢审稿人对本文提出的宝贵意见!参考文献[ 1 ]LeCu n Y , B e ng i oY , Hi n t o nG .D eep le a r n i ng . N at u r e,2 0 1 5,5 2 1 ( 7 5 5 3 ): 4 3 6 4 4 4[ 2 ]B ab en k o Y A ,Le mp i t s k y V.Ag gr egat i ng l o c al  d eep f ea t u r e sfo r i mager e t r i ev al / /P r o c e ed i ng s o f t h eI EE E I n t er n a t i o n alCo n f er e n c e o n C om p u t er  Vi s i o n .Lo s Al a mi t o s , US A, 2 0 1 5 :1 2 6 9 1 2 77[ 3 ]Wa n J ,W ang D , I l o i SC I I , e t al . Dee p l ea r n i ngfo r c o n t en tb a s ed  i mage r et r i e v al: a c o mp r e h en s i v es t u d y / / P r o c e ed i ng so f t h e 2 0 1 4 ACMCo n f er e n c e o n Mult i me d i a( MM) .F l o r i d a,US A ,2 0 1 4;1 5 7 1 6 6[ 4 ]Wu N Z , So ng S , K h o s laA , e t al.3 DS h ape N et s : A d eepr epr e s en t at i o n f o r v olum et r i c  s h ape s / /Pr o c e ed i ng s o f t h e2 0 1 5IE EECo n fe r en c e o n Co mp u te r Vi s i o n  an d P at t er n Re c og n i t i o n( CVP R) . B o s t o n ,U SA , 20 1 5: 1 9 1 2 1 9 20[5]B ai Li u, So ng Ch a o Ch ao .3 Dmo d el  r et r i ev al b a s e d o n CG Sa nd gen e ti c al go r i thm .J o u r n a l o fG r a p h i c s ? 2 0 1 6 , 3 7 ( 6 ):7 5 4 7 5 8 ( i n Ch i n es e)( 白柳, 宋超超. 基于体素构造和遗传算法的三维模型检索.图学学报,2 0 1 6, 37 ( 6 ):7 5 4 75 8 )[ 6 ]LuW ,Zh a ng X ,Li u Y .L^med i al s k ele to n b a s e d 3 D p oi n tc l o u d mo d el r et r i e va l .Mu l ti m ed i aT o o l s a n d Ap p l i c a t i o n s ?20 1 9 , 7 8 ( 1 ) : 47 9 4 8 8[7]Li B ,LuY ,Li C ,et al . SI I REC ,1 4 t r ac k:Ex t e n de d la rges c a l es k e t c h b a s ed 3 Ds h a p er e t ri ev a l / /P r o c ee d i ng s of t h eEu r ogr aph i c s W o r k s h o p  o n 3 DObje c t Re tr i ev a l .Sw i tze r l an d ?20 1 4: 1 2 1 1 30[ 8 ]W a n gF , K a n g L , Li Y .Sk e t c h b a s e d3 D s h a p er e t r i ev alu s i ngc o nv o l u t i on a l n eu r a l n et wo r k s/ / P r o c ee d i ng so f th e 2 0 1 5IEEE Co nf er e n c e o n Co mpu te rVi s i o n an d P a tt er n R ec o gn i ti o n( CVP R ) .B o s to n, US A, 2 0 1 5:1 8 75 1 8 8 3[ 9 ]Li uAA , N i eW Z , Su  YT .3 D o bje c t r et r i e v al b as ed o nm ult i vi ew la te n tv a r i ab le mo d el. I EEETr a n s ac t i o n s o nCi r c u i t s a n d Sy s te ms fo r Vi d eo T e c h n o l o g y , 2 0 1 9 ,2 9 ( 3 ) :8 6 8 8 8 0[ 1 0 ]Li uA A , S h i Y , N i eW Z,e t al . Vi ew b as ed 3 Dm od elre tr i e val v i a s upe rv i s e d mult i v i ew f eat u r e lear ni ng . Mult i med i aT o o l s a n dA p pl ic a ti on s , 20 1 8 , 7 7 ( 3 ) : 3 22 9 3 2 4 3[ 1 1 ]W u J J , Wa ng J L, Xi e B . A c o n te n t b a s ed 3 Ds h ape r et r i ev als y s t em f o r v o x el mo d el s / /P r o c ee d i ng s o f t h eIn te r n a ti o n alS y mp o s i u m o n Si gn al P r o c e s s i ng B i o med i c al  Eng i n e er i ng , a n dIn fo r ma t i c s  ( SP B EI ) .Ha ngzh o u , Ch i n a , 2 0 1 4;5 8 2 5 8 8[ 1 2 ]Zh a o Fa ngLe i, J i ng Sh i K ai,Li  Xi a ng Qi an,et al .Tr i a ngularm es hm od el s u r fa c e v o x el iz a ti o n al g o ri t hm b a s ed  on  t riang les u b d i v i s i o n . Co mp u t er I n t egr a t ed Man u fa c t u r i ng Sy s te ms ,20 1 7 , 2 3 ( 1 1 ):2 3 9 9 2 4 0 6 ( i n Ch i n e s e )( 赵芳垒, 敬石开, 李向前等. 基于三角形细分的三角网格模型表面体素化算法. 计算机集成制造系统, 2 0 1 7 ,2 3 ( 1 1 ):23 9 9 2 4 0 6 )[ 1 3 ]Mi yag i R ? Ao n oM. Sl i c e d v o x e l re p r e s e n t at i o n s wi th LSTMan d CN N f o r 3 D s h ap e r e c o g n i t i o n / / P r o c e ed i n g s o f t h e9 t hAn n u a lS u mmi t a n d C o n fe r en c e o f th eA s i a P a c i fi c S i gn alan d In f o r mat io n P r o c es s ing As s o c i a ti o n ( APSI P A ASC) .K u alaLu mpu r, Malay s i a,2 0 1 7: 3 20 3 2 3[ 1 4 ]Ch eng I IC , Lo CI I , Ch u CI I , K i mY S.S h apes i mi l ar i tyme as u r emen t f or  3 Dme c ha n i c al par tu s i ng D2 sh ape di s t r i bu t i onan d n egat i v ef ea t u r ed e c o mp o s i ti o n. Co m pu t er s  i n I n d u s try ,20 1 0 , 6 2 ( 3 ): 2 6 9 2 8 0[1 5]Os ad aR ? F u n k h ou se rT ? Cha zel le B ? e t al.Sh ape di st r i b u ti o n s.ACMT r a n s a c t i o n s o n G r ap h i c s , 20 02,2 1 ( 4 ) : 8 0 7 8 3 2[ 1 6 ]Zh o u K u n , Go ng Mi nmi n ? I l u a ng Xi n , Gu o B a i n i ng .D at apa r al lel  oc t r ee s f or  s u r fa c e re c o n s t r u c t io n.IE EE T ra n s a c ti o n so n Vi s u ali z at i o n a n dCo mpu t er G r ap h i c s ? 2 0 1 1,1 7 ( 5 ) : 6 6 96 8 1[ 1 7 ]Li u ZM , Ch en  YY , I l i d ayat i S , e tal.3 D mo d el r e t r i ev alb as ed o n d e ep a u t o en c o d er n eu r al n e t w o r k s / /P r o c e ed i ng s o fth e1 s t I n t er n at i o n a l Co n f er e n c e o nSi gn a l s a n d Sy s t e ms( ICSi gSy s ) . B al i , I n d o n e s i a ,2 0 1 7; 2 9 0 2 9 6[1 8]P e r d o mo 0 , O tal o r aS ,G o n z ale zFA , et al .O c t N e t:Ac o n v o l u t i o n a l n et w o r k  fo r  au to ma t i c  c l a s s i f i c a ti o n  o f n o r m alan d d ia b eti cma c u la r ed emau s i ng SD OCT v o l u mes / / Pr o c eed i ngs张满囤等: 基于八2 期 叉树结构 的 三维 体素模 型检索 3 4 5of  the 2 0 1 8 IEEE 1 5t hI nte r nat i on al S ym po s i um o nBi ome d i calIm ag i ng  ( I SBI 2 0 1 8) . Wa s hi ng to n ,US A ,2 0 1 8 : 1 4 2 3-1 4 2 6[ 1 9 ]Ri e g l er  G, U l u s oy  A O ,Ge i ge r A. Oct Ne t : Lea r ni ng d e ep3 D r ep r e s en ta t io ns a t hi ghr e s o l u tio n s / /P r oc ee d i ng s o f t he3 0 t hI EEE/ CVF Co nfe r e nce o nCo m p u t er  Vi s i o n and P a t t er nRe co g ni t i o n ( CVP R 2 0 1 7 ). Ho n o l u l u , US A ,2 0 1 7 : 6 6 2 0-6 62 9[ 2 0 ]Li X  X ? Cao  Q ,W e i S.3 D o bjec tr et r i ev al b as ed o nm u l t i?vi ewco nv o l u tiona l ne u r a l ne two r ks . M u l t imed i aTo o l s andAp p l i ca t i o ns? 2 0 1 7,7 6 ( 1 9 ) : 2 0 1 1 1 - 2 0 1 2 4[ 2 1 ]W a ng P e ng- S hu a i , Su n Cs hu n-Yu ,  Li u Yan g , To ng  Xi n.Ad ap t i v e〇- CNN : Ap a tc h- b as ed d e ep  r ep r e s e nt at i o no f 3 Ds ha pe s  ana l y s i s . ACMTr an s ac ti o ns  on Gra p hi cs  ( SI GGRAP I IAsia ) ,2 0 1 8 , 3 7 ( 6 ) :1-1 1[ 2 2 ]Ei tz M ,I l ay sJ , Al exa M. Ho wd o  huma ns  s ke t cho b ject s ?.ACMTr a ns a ct i o ns  o n Gr a p h i cs , 2 0 1 2 , 3 1 ( 4 ) : 1 - 1 0[ 2 3 ]J e S ,Ng u y e nI I I I, Lee J . I ma g er e co g ni t i o nme t ho d u s i ngmod u l ar s y s t ems // P r o cee d i ng s o f  th e In te rna ti o na l Co nfer e nceo nCo m p u ta t i o na l  Sci e nce&- Co mp u t a ti on al  I nt el l i g enc e.L asVeg a s,USA , 2 0 1 5 :5 0 4 - 5 0 8[ 2 4 ]Ni eW ? X i a ng S , Li u A.Mu l t i-s ca l e CNNs fo r 3 D mo d elr et r i e v al . Mu l tim ed i a To o l s  &? Ap p l i ca ti o ns,2 0 1 8,7 7 ( 1 7 ) :2 29 5 3- 2 2 9 6 3[ 2 5 ]Yang  Z X ,Ta ng L ,Z ha ng K ,e t al . Mu l t i- v i e wCNNf ea t u r e?ZHANGMan-Du n,  Ph. D.  , a s s oc i a t ep rofe s so r. Hi sr e s ea r c h in t e re s t s in c lu d ec omp ut e rg ra p hics, ima g e p ro ce s sin g ,3 Dmod e lr etri ev al and 3 D objec t  re cogn i t i on.Y ANMi ng-Xiao , M.S. c an di d a t e.H e rr e s ea rc h in t e r e stis 3 Dmo de l re t rie va l.MA Y ing- Sh i, M. S.Hi s re s ea rc h i nt er e st  i s3 Dmod e lB ackgr oundIn th isp a p er, we r es e a r c h on 3 D vo x el mo d e l re t rie va lba s e d on  oc t r e es t r uc t u re . W ith th e d e ve lo pm en t o fVR/ ARt e c hn ol og yan d th ewi d er  3 D a p pl i ca t i on s , i t i s re a l i z e d th a t3 Dmod e l re t rie va l isb e co min gmo re a nd mo r e im por t ant.Atpr e s en t, th e r ea l i z a ti o no fth e  3 Dr e tri e v a l pr ob lemc an b edi vi d e din t otwoa s pe c t s fr omc h a ra c t e r i s t i c s :Vi ew- b a s edand Mod e l- ba s e d.View- b a s e d re t rie va lme th od spr op os e d s e ve ra l v is ua lde s c ri pt o rs , s u ch  a s li g h t f i e ld d e s cr i p t o rs ( L FDs ) , e le va t i onde s c ri pt o rs ( EDs ),v is ua lf ea t ur epa ck a g e s(  BoVF )a nda g g re g at i on wi th ELM au to- e nco d er  fo r  3 D s hap e r e co g ni ti o n.Cog ni ti v e Co mp u ta t io n , 20 1 8 , 1 0 ( 6 ) : 90 8- 9 2 1[2 6]X i e J , Da iGX , Zh u F ,et a l .De ep S hap e : De ep-l e ar n eds hap e  d es c r i p t o r f o r 3 D s h ap e r e t r i ev a l . I EEE Tr a ns a ct io nso n P at t er nAn aly s i s a nd Ma chi n e In te l l i g e nce,2 0 1 7, 3 9 ( 7 ) :1 3 3 5-1 3 4 5[2 7 ]Ans ar y TF , D ao u d i M , Va nd eb o r r e J .ABay e sian 3-D s ea r che ng i ne u s i ng  ad a p t i v ev i ews  cl u s te r i ng . I EE ETr an s ac ti o n s o nM u l t imed i a , 2 0 0 7 ,9 ( 1 ) : 7 8-8 8[2 8 ]Gao Y* Tang  J ,I l o ng R ,et  al .Cam er a co ns t r ai nt-f r eev i e w- b a s ed  3 -Do b jec t r et r i e v al .I EEETr a ns a ct i o ns  on I ma geP r o ce s s i ng , 2 0 1 2, 2 1 ( 4 ) :2 2 69 - 2 2 8 1[2 9]Su I I , Maji  S , Ka l o g er a ki s E , e t al. Mu l t i- v i ew co nv o l u t i on alne u r a l ne t wo r ks f o r3 Ds ha p er e co g ni t io n/ / P r o ce ed ing s  o ft heI EEE In te r na t io na l Co nf er ence o nCo mp u ter Vi s io n. San ti ag o,Chil e ,  2 0 1 5 : 94 5 - 9 5 3[3 0 ]Qi CR , I l a o S , Ni es s ner M , e t a l .Vo l um et r i c and  mu l ti-v i e w CNNs  f o r o b ject c l as s i f i cat i o n o n3 D  d at a/ /P r o ce ed in g so f t he 2 0 1 6I EEE Co nf er en ce o nCo mp u t er  Vis i on a nd P at t er nR ec og ni ti on ( CVP R ) .Se a tt l e,U SA ,2 0 1 6 : 5 6 4 8 - 5 6 5 6[3 1 ]M at u r a naD , Sc he r er  S. Vox Ne t :A 3 D co nv o l u t i o na l ne u r a lne t wo r kf o r  r e al-t imeo b jec t re co g ni t i o n/ / P r o ce ed i ng s o ft he2 0 1 5 IE EE/ RSJ In ter na ti o na l Co nfe r ence o nI nt el l i g ent Ro b o t sa nd S y s t em s ( IR O S) . Ha mb u r g , Germ any ,2 0 1 5 ; 92 2 - 9 2 8r e t ri ev a l.WANG Hong , M. S. c an d i da t e. H er re s e a rc h in t e re s t i s3 Dmod e lr e t riev a l.L IUWe i , P h . D. , a s s oc i a t e pr of es s or .H i sr es e a rc hi nt er e st si nc lu d epr e cisi onc a l i br a ti o n,g ra p h ici ma g ep ro c es sin gand vir t u a lr e ality .HUANGXi ang- Sh eng ,P h.  D. ,a ss oc i a t er e se a r ch e r.His r e se a r c hi nt e r e st s inc l ud e a r ti fici a l in t el l i g en c e, ma ch in el e a rn in g ,sit ua ti o n a lawa re n e ss an dd e cisi o nma kin g ands e lf-l e a rn i ng .co mp a ctmu lti- view de s cri p ti o n s( CMVDs ) .T h e t ra i ni ngve c to rma c h ine i s th enpe rfo rme d on  di ffe r en t cla ss i fi e rmo de lsba se d on the e xt ra c t e dfe a t u r es ,s u c ha s ne a r e stn e i g hb or( NN) , l ine a r su p po rt, and s o on. B a s e d on th e 3 D r et rie va lof th e vi ew,  th e3 Dmod e li s t r ans fo rme d int o a 2 Di ma g e bydi me ns i o na l i t y r ed u ct i on , an df ea t u r ee x t ra c t i on  and fe a t u resimil a rit yme a s ur eme nt a r ep er for me do nth e l ev e lof 2 D.Mod e l- ba s e dr et riev al d ir e c t ly a ffe c t sth e o ri gi na l 3 Dre p re s en t a t i on of th e o bje c t , s uch  asp olyg onmes h , vox el- ba se ddis cr etiza ti on, po in t c lo ud or imp licit s ur fa c e.Comp a r ed with3 4 6 计算机学报 2 0 2 1年vi e w b a s e dr e t ri ev a l , t he o rigi na l d a t a o f t he mo d el ex t r a ct i nga h i gh er le v el o f f e a t ur e re pr es e n ta t i o nc a n be b e t t er pr e se rv e dbymo de l ba s ed .Vo x el i za t i o n ca n b e c o n si de re d a s t h e s impl es ta nd mo st i nt ui t i ve d i s c re t e me t h o d t o t r a n sf o rma  3 Ds u rf a c ei n t o a  r eg ul a rs t r uc t u r e , f u l l yr e t a i n i ngt h eg e om et r yo f t he3 D s urf a ce . How e ve r,mo de l ba s e df e a t u r er ep r e se n t a t i o nsa r eo f t e na c c omp a ni ed by pr o b l ems w i t h hi gh s t o ra g e a ndh i ghc o mpu t a t i o n.I n o r d ert o so lv et hepr o b l e m o f  h ighs t o r a g e, t h i sp a p e rp ropo se s a n o ct r e e b a s e ds t r uc t u re a st he i nput o f t h e c o n vol ut i o n a lne u ra ln e t wo rk ,v o x e lr e pr e s e nt a t i o n o ft he 3 Dmo d e l , g r ea t lyr e du c i ngt h e t ime o v er h e ad .Vo xe l i za t i o nmo d e la f t er s egme nt a t i o ni s n ume r i c a l l yr e pr e se n t e db y0  a nd1 . Th e da t a  i s st o r ed i n t h e o c t re e s t r uc t u re, t h en t h emo d e li s s u bje ct ed t o f i v e i t er a t i o ns o f  t he s e gm en t a t i o n,f i n a l l yt hevo x el i z e dr ep r es e n t a t i o nr e su lt o f t h emo d e l ca n b e o b t a i ne d .Th e mo d e l’svo x el i z a t i o n r ep r e se n t a t i o n r es u lt s a re i npu t i n t ot h ec o nvo lu t i o na l n e ur al n e t wo rk r e su l tSO FT MAXc o s tf u nc t i o n f o rmo d el t ra i ni ng . Th er e s ult ss ho wt h e met ho dp ropo s ed by t h i s pa p e ri s b e t t er t h a no t h er s imi l a rr et ri ev a lme t h o d s .O f co u rs e,t h i sa r t i c l est i l lh a salo to fro omf o ri mpro ve me n t .Us i ngmo r ea n dmo r ed a t a s et st o ve r i f yt hea lgo r i t hm,impro v i ngt h emo d el s amo unt  o f  st o ra ge s t ruc t ur e t os a ve  st o ra g es pa c ea nd c o mpu t i ngt ime i st h e f o c uso ft hen e xt s t e p .T hi sa r t i c l ew a s f u nd e d by t h e N a t i o na l N a t u ra l S c i e n ceFo u nda t i o n o f C hi n a ( 6 1 5 7 3 3 5 6 ) > t h eT ia nji nE nt e rpr i se S ci e nc ea n d Te c hn o l og yCo mmi s s i o ne rP rogra m ( 1 8 J CT PJ C 5 8 7 0 0 ),a n dt h e N a t ur a lS c i e n ce F o un d a t i o n o fH e b eiPr o vi n c e( F 2 0 1 9 2 0 2 0 5 4 ) .

[返回]
上一篇:基于成像坐标系优化的中轨星载SAR成像方法_李航
下一篇:光伏电池图像序列的深度学习检测方法_邓堡元