欢迎访问一起赢论文辅导网
SCI期刊论文
当前位置:首页 > SCI期刊论文
基于迁移鲁棒稀疏编码的图像表示方法
来源:一起赢论文网     日期:2018-05-17     浏览数:707     【 字体:

 40卷 计算机学报 Vol.402017论文在线出版号No.64 CHINESEJOURNALOFCOMPUTERS OnlinePublishingNo.64———————————————本课题得到国家自然科学基金(61602004,61472001)、安徽省高校自然科学研究重点项目(KJ2016A041)、安徽省自然科学基金(1408085MF1221508085MF127)、安徽大学信息保障技术协同创新中心公开招标课题(ADXXBZ2014-5ADXXBZ2014-6)资助. 赵鹏,女,1976年生,博士,副教授,计算机学会(CCF)会员(47751M,主要研究领域为机器学习、智能信息处理.E-mail:zhaopeng_ad@163.com.王维,男,1992年生,硕士研究生,主要研究领域为迁移学习、稀疏表示.E-mail:1603511570@qq.com. 刘慧婷,女,1978,博士,副教授,主要研究领域为数据挖掘、机器学习.E-mail:htliu@ahu.edu.cn.纪霞,女,1983,博士,讲师,主要研究领域为数据挖掘、智能信息处理.E-mail:jixia1983@163.com.基于迁移鲁棒稀疏编码的图像表示方法赵鹏1),2)王维2)刘慧婷1),2)纪霞1),2)1)(安徽大学计算智能与信号处理教育部重点实验室合肥230039)2)(安徽大学计算机科学与技术学院合肥230601)摘要图像表示是图像处理和图像理解研究中的关键问题之一。在图像的低层表示上有很多重要的研究工作。然而在图像的低层表示和高层语义间仍然存在着巨大的鸿沟。因而,很多机器学习的方法被用来学习图像的高层表示。传统机器学习假设标记图像和未标记图像服从同一分布,图像表示的误差服从高斯分布。然而现实中图像数据更新速度快,而且图像生成环境存在差异性,导致未标记图像与已标记图像不服从同一分布,因而需要重新标记数据和训练模型。并且图像数据容易出现异常,例如遮挡,腐蚀等等,从而不能再用高斯分布来估计误差。本文提出了一种基于迁移鲁棒稀疏编码的图像表示方法,引入权值矩阵削弱异常点对分类的干扰,使用稀疏编码获得数据的高级语义,利用最小化最大均值差异缩小源域和目标域图像集之间的分布差异,以及图拉普拉斯项保留图像集的几何特性。本文的主要贡献在于:一是通过权值矩阵泛化残差分布,使得所提出的基于迁移鲁棒稀疏编码的图像表示方法能大大减少异常点对编码和字典学习的影响。二是在鲁棒字典学习过程中,采用正则化参数代替迁移稀疏编码中的字典约束,从而将其转化为无约束优化问题,避免了拉格朗日求解法的复杂性。在几个通用迁移学习数据集上的对比实验结果表明,本文所提出的图像表示方法在分类上的平均准确率比其它6种相关主流方法均有不同程度的显著提高,证明了其有效性和鲁棒性。关键词迁移学习;鲁棒稀疏编码;图像表示;最大均值差异;异常点中图法分类号TP18论文引用格式:赵鹏王,维,刘慧婷,纪霞, 基于迁移鲁棒稀疏编码的图像表示方法,2017,Vol.40,在线出版号No.64ZhaoPengWangWeiLIUHui-tingJiXiaAnImageRepresentationMethodbasedonTransferRobustSparseCodingt,2017,Vol.40,OnlinePublishingNo.64AnImageRepresentationMethodbasedonTransferRobustSparseCodingZHAOPeng1),2)WANGWei2)LIUHui-ting1),2)JIXia1),2)1)(KeyLaboratoryofIntelligentComputingandSignalProcessingofMinistryofEducation.AnhuiUniversity.Hefei.Anhui230039)2)(SchoolofComputerScienceandTechnology.AnhuiUniversity.Hefei.Anhui230601)Abstract Image representation is one of the crucial problems in image process and imageunderstanding. Therehavemanyimportant researchesonlow-level representationofimages. Butthereisstillabiggapbetweenthelow-levelrepresentationandhigh-levelsemanticrepresentation.Traditionalmachinelearningassumesthatthelabeledimagesandtheunlabeledimagesaredrawn网络出版时间:2017-05-19 12:50:32网络出版地址:http://kns.cnki.net/kcms/detail/11.1826.TP.20170519.1250.012.html计算机学报 20172fromthe same distribution and the residuals of image representation followthe Gaussiandistribution. However, images update veryquicklyinthe real world. The image generationenvironmentsaresodiversethat theunlabeledimagesandthelabeledimagesdont followthesamedistribution.Moreover,thereareoftensomeoutliersappearinginimages, suchasocclusion,corruptionandsoon.Therepresentationresidualsoftheimagescannotbeestimatedwith论文在线出版号No.64 赵鹏:基于迁移鲁棒稀疏编码的图像表示方法 3Gaussiandistribution. Sothedatashouldberelabeledandthemodel shouldberetrained. Thispaperproposesanimagerepresentationmethodbasedontransferrobustsparsecoding(TRSC).Inthismethod, theweightmatrixisusedtoweakentheinterferenceofoutlierstoclassification.Thehighlevel semanticcontentoftheimageisobtainedwithsparsecoding.Thedifferencesbetweenthe source images and the target images are reduced by minimizing the maximummeandiscrepancy. Thegeometrical propertiesoftheimagedatabasearepreservedbygraphLaplacianterm.Therearetwomaincontributionsinthispaper.Oneisthattheweightmatrixisemployedtogeneralize the residual distribution, whichweakens the inferenceof outliers tothe code anddictionarylearningintheproposedimagerepresentationmethodbasedonTransferRobustSparseCoding(TRSC). Theother isthat theregularizationparameter takestheplaceof thedictionaryconstraint ofTransferSparseCoding(TSC)intherobustdictionarylearning, whichtransferstherobust dictionarylearningtotheoptimizationproblemandavoidsthecomplexityof Lagrangesolver.Experimentalresultsonthecommontransferlearningdatabasesshowtheproposedmethodsignificantly improves the average accuracies in classification compared to other 6 relatedrepresentationmethods,whichprovestheeffectivenessandrobustnessoftheproposedmethod.Keywords Transfer learning; Robust sparse coding; Image representation; Maximummeandiscrepancy;Outliers1. 引言传统的机器学习方法建立在训练样本和测试样本服从同一分布的假设上,当测试样本分布改变时,就需要重新标记训练样本,重新学习、建模。在信息量迅速增长并不断更新的大数据时代,迁移学习引起了越来越多学者的关注[1]。迁移学习与传统机器学习最重要的区别是迁移学习放宽了源域和目标域样本同分布的假设,目标域样本特征分布发生变化,迁移学习可以获得良好的学习效果。特征表示方法是迁移学习中的关键研究领域之一。现有的图像特征表示方法主要包括基于稀疏编码的特征表示,基于非负矩阵分解的特征表示和基于低秩重构的特征表示。Olshausen[2]模仿生物视觉神经提出稀疏编码,由于其简洁性和可解释性,使其在图像特征提取领域被广泛应用[3,4,5]Long[6]首次把稀疏编码引入迁移学习,提出迁移稀疏编码(TransferSparseCoding,TSC)Lee[7]提出非负矩阵分解。由于非负矩阵分解能够挖掘图像中的隐藏因子[8,9],在同构迁移学习中,Long[8]提出联合图正则化的迁移学习,通过矩阵非负二分解和三分解,提取图像隐藏因子,联合图正则化减小分布差距。在异构迁移学习中,Yang[9]针对文本到图像的迁移学习,提出鲁棒非负联合矩阵分解。低秩图像重构近来广受关注[10,11,12]Jhuo[13]提出通过低秩重构来实现鲁棒视觉域适应。本文在迁移学习中融合了稀疏编码。稀疏编码的一个关键问题是如何在提高编码精度的同时保持信号不失真。对此研究者们在稀疏编码模型中引入了不同的约束。Gao[14]引入了拉普拉斯项。Zheng[15]将其进一步拓展为图正则化稀疏编码算法(GraphSparseCoding,GSC)Wright[16]首次把稀疏编码引入人脸识别领域,提出基于稀疏编码的人脸识别(SparseRepresentation-basedClassification,SRC)Yang[17]针对人脸图像中存在的遮挡和腐蚀问题,在SRC的基础上进一步提出了鲁棒稀疏编码(RobustSparseCoding,RSC)Mukherjee[18]针对图像分类提出一个带有字典原子关联度的非负稀疏编码方法。现实图像数据往往容易存在异常(例如遮挡,腐蚀等),为了解决迁移学习中的这一类问题,本文提出了一个新的基于迁移鲁棒稀疏编码的图像表示方法(TransferRobustSparseCodingTRSC)TRSC模型分别使用权值矩阵削弱异常点对迁移学习的干扰,稀疏编码获取图像的高级语义,最小化最大均值差异(MaximumMean计算机学报 20174DiscrepancyMMD)缩小图像集之间的分布差异,利用图拉普拉斯项保留图像集的几何特性,把迁移学习中的图像表示问题转化为对模型的优化求解。对于本文目标函数的优化,难点是l1正则的最小二乘问题不可导。Lee[19]提出特征符号搜索法,将这个不可导问题转化为无约束二次规划问题,TSC模型[6]GSC模型[15]、以及针对稀疏编码的在线字典学习模型[20]等均采用了该方法求解目标函数优化问题。不同于之前的相关工作,本文提出一个一般化模型TRSC。与RSC不同,本文提出鲁棒字典学习,且不要求源域数据无异常,直接在编码过程中自动获取异常点的位置。并且TRSCRSC中单个测试数据的编码学习推广到了整个目标域数据集合的编码学习,从而大大提高算法的效率;与TSC不同,本文主要从两方面做了进一步改进,首先通过权值矩阵泛化残差分布,使得TRSC能大大减少异常点对编码和字典学习的影响,其次,在鲁棒字典学习过程中,采用正则化参数代替TSC中的字典约束,从而将其转化为无约束优化问题,避免了拉格朗日求解法的复杂性。本文的组织结构如下:第2节介绍TSC模型;第3节提出TRSC模型和它的优化方法及算法流程;第4节在几个通用迁移学习数据集上,通过实验对所提出的算法进行性能测试,并对实验结果和参数进行分析;最后对本文的工作进行总结。2.相关工作迁移稀疏编码模型(TSC)在GSC的基础上进一步最小化最大均值差异,使得该模型能够解决两个数据集分布差异大的问题,它的数学模型如公式(1)所示。2 TF,21 Fmin|| || ( (μ γ ) )λ|| || .. || || (1)trst u- + ++ £X M LBSBS S SS B其中n mR´Î X 是待编码的图像矩阵,包含源域sn msR´Î X 和目标域tn mtR´Î Xs t(n n n) = + ,m为每幅图像的维度,n为图像的个数,k mR´Î B 是字典矩阵,n kR´Î S 是编码矩阵。公式(1)共包括三项。第一项是稀疏编码,获得图像数据的高级语义。第二项分别利用M矩阵最小化源域和目标域的差异和L矩阵保留图像数据集的几何特征。其中无参数距离矩阵n nR´Î M 度量不同数据集分布的差异,图拉普拉斯矩阵n nR´Î L 保留数据集的几何特性,即如果两个数据在几何结构上的距离越近,那么它们的编码应该越接近。第三项利用正则化参数λ,调节编码的稀疏度和对矩阵X的近似程度。最后对字典基向量的约束是为了控制模型的复杂度。公式(1)的优化,可以分为以下两个交替迭代步骤:1 固定字典B,最优化编码S,问题转化为带有l1正则的最小二乘优化问题,优化目标函数转换为公式(2)) 2 ( || || λ) ) γ μ ( ( || || min1T 2FSS S BSS++ + - L M X tr2 固定编码S,最优化字典B,问题转化为带有l2约束的最小二乘优化问题,优化目标函数转换为公式(3)) 3 ( υ || || s.t. || || min2F2F£ - B BSBX下面简单介绍公式(1)中第二部分的推导过程。TSC采用不同域样本的一阶矩的差值来度量源域和目标域间概率分布差异[6]。最小化源域和目标域差异即转化为最小化公式(4)is为第i幅图像的编码。(4) ) ( tr||n1n1|| mint sn1n1 ,T 2tn1sTj j iij j iiS Ss s s sj iMM== - å å å= = =其中:论文在线出版号No.64 赵鹏:基于迁移鲁棒稀疏编码的图像表示方法 52s s2t ts t1/n , , D1/n , , D (5)1,nni jij i jìïÎï= Î íï-ïîxxM xx其它TSC利用图正则化保留数据集的几何特征。令 } ,..., , {2 1 nx x x X= 代表n个图像数据点,构建一个具有n个顶点的p近邻图G,每个顶点代表一个图像数据点。HG的权值矩阵,如果数据点ix属于jxp近邻或者jx属于ixp近邻,那么 1 =ijH ,否则 0ij= H 。令 ∑n1d==jij iH ,) d ,..., diag(dn 1= D ,则图拉普拉斯矩阵H D L - = 。编码后保持图G中数据点的几何特性转为最小化公式(6)(6) ) ( tr || ||21minn1 ,T 2å== -j iij j iS S s s L H根据公式(6),0 ijH 时,即两点之间几何上接近,此时为了目标函数的最小化,编码 j is s, 应该接近;当 0 =ijH 时,即两点无近邻关系,此时对编码距离无约束。3.基于迁移鲁棒稀疏编码的图像表示方法3.1.迁移鲁棒稀疏编码模型TSC假设误差服从高斯分布,然而当图像存在遮挡,腐蚀或者其它异常时,误差将偏离此分布,因而学习获得的编码系数与字典基向量不具有鲁棒性。为了提高编码学习和字典学习的鲁棒性,本文在TSC基础上提出一个迁移鲁棒稀疏编码模型(TRSC),其目标函数如公式(7)所示。) 7 ( || || ξ || || λ) ) γ (μ tr(|| )] vec[( || min2F 1T2 2 / 1,B SS SBSS B+ ++ +-L MX W下面给出公式(7)的推导过程。为了讨论问题方便,首先只考虑稀疏编码部分,即:) 8 ( || || min2F,BSS B- XBS E - =X ,n mR´Î E 为残差矩阵,假设每个残差矩阵中每个元素ije 独立同分布,且密度函数为σ( )ijh e,其中σ为概率分布的参数。残差矩阵的极大似然估计为:m nσ 11 21 mn σ1 1L( , ,... ) ( ) (9)iji jh= ==ÕÕ e e e e考虑对数似然,则最大化公式(9)等价于最小化公式(10)m nσ σ1 1lnL ρ( ) (10)iji j = =- =åå e其中σ σρ( ) ln ( )ij ijh =- e e ,考虑异常点对稀疏编码的影响,将(8)式转化为求解公式(11)的最小化问题:) 11 ( )) ) ( ( (ρ minm1n12σ,åå= =-i jij ijBSS BX一般地,假设密度函数σ( )ijh e 对称,且σ σ( ) ( ), if| | | | (12)ij kl ij klh h < > e e e e因此 ) ( ρσ ije 有如下性质:(0) ρσ 是全局最小值,不失一般性,假设该点的值为0。且:) 13 ( ) ( ρ ) ( ρσ σ ij ije e - =计算机学报 2017 6(14) | | | | if ), ( ρ ) ( ρσ σ kl ij kl ije e e e > <令:åå= ==m1n12σ σ(15) ) ( ρ ) ( Fi jije E用它在Eˆ点的一阶泰勒展开式来近似它,得) 16 ( ) ( R))ˆvec()ˆ( F( ))ˆ(vec( )ˆ( F ) ( F~1σ Tσ σEE E+¶¶- + =EEE E) 17 ( )] ˆ ( ;...;2ρ ) ˆ ( 2ρ ); ˆ ( [2ρ))ˆvec()ˆ( F( )ˆ( Fmn'σ 21'σ 11'σσ 'σe e eEEE =¶¶=公式中的vec表示矩阵列向量化。在稀疏编码中,一般期望保真项严格凸[17],因而令一阶残差项为公式(18)所示:) 18 ( ))ˆ(vec())ˆ0.5(vec( ) ( RT1EW E- ·- =EE E其中mn mnR´Î W 为对角矩阵。 ) ( FσE0点处取得最小值,因此 ) ( F~σE在该点也取得最小值,即 0 0= ) ( F~'σ,而:' σσˆF( )ˆF( ) ( ) vec( ) (19)ˆvec( )¶= -¶E0 W EE%从而:'σˆ ˆ(F( ))/(vec( )) (20)ii i i= w E E根据 ) ( ρσ ije 的性质可得W矩阵的元素都为非负值,且:T σσ σ1/2 21 σ 2T1/2 2ˆF( )ˆ ˆF( ) F( ) (vec( )) ( )ˆvec( )ˆR( ) F( ) 0.5|| vec( )||ˆ ˆ0.5(vec( )) (vec( ))0.5|| vec( )|| b (21)¶= + -¶+ = ++= +EE E E EEE E W EE EW E%其中 ))ˆ(vec( ))ˆ0.5(vec( )ˆ( F bTσE E E+ = ,b只与Eˆ有关,即为常数。由于常数项不影响最小化问题的求解,从而得到本文所提出的迁移鲁棒稀疏编码模型的鲁棒稀疏编码部分:1/2 2,min|| vec[( )]|| (22) - W XBSBSW为一个对角权值矩阵,它的每个对角元素分别对应某幅图像的某个像素点,误差大,则权值小,误差小,则权值大。由于逻辑函数与此性质吻合,因此本文将权值函数定义为:22exp(β β )m( 1) (23)1 exp(β β )kliikll k idd-= - + =+ -ewe,公式(23)进一步化简为:21m( 1) (24)11exp(β β )iikll k id= - + =+-we,把W矩阵表示成一个分块矩阵的形式,如公式(25)所示:) 25 ( R...mn mnn21´ÎúúúûùêêêëéW 0 0 00 0 00 0 W 00 0 0 W其中,m mR´ÎiW 即第i幅图像对应的权值对角矩阵,对角线上每个元素对应第i幅图像上每个像素的权值。计算每幅图像i 的残差平方向量( ) ( ) ( ) n ,..., 1 ] ,..., , [ Ψ2m2221= = ii i i i e e e 。论文在线出版号No.64 赵鹏:基于迁移鲁棒稀疏编码的图像表示方法 7然后将该向量各分量按升序排列获得一个新的有序序列 , a) (Ψi 令 ë ûn t = q ,其中] ( 1 , 0 ∈ t 为可调参数。令δ为序列 a) (Ψi 的第q个残差分量的平方,由公式(24)可得此时第q小残差的像素对应的权值为0.5,即为该图像的权值中心点。因而当q取值越大,则该幅图像就有越多的像素点对应的权值大于0.5。令cβd= ,它控制权值从10的下降速度。进一步将公式(22)TSC模型中的最小化最大均值差异与最小化图正则化项合并,同时将字典约束转化为目标函数中的正则项,从而得到本文所提出的模型TRSC的目标函数(7)。由公式(7)不难得出,当W矩阵的对角元素都为2时,模型转化为TSC,即二范式,误差服从高斯分布。当W矩阵的对角元素为| |1ije,模型转化为一范式,误差服从拉普拉斯分布[17]TRSC模型对图像数据进行了归一化,为了避免出现权值无穷大,将权值范围归一化为[0,1]TSC相当于TRSC中给每个像素点赋予同样的权值的特殊情况,显然不能处理异常点。一范式模型虽然同样给残差大的像素点赋予小的权值,但是无界,当残差无限小时,权值无限大,模型稳定性差。因此TRSC一般模型泛化了残差分布的各种情况,而且边界的约束使得模型稳定性较高。本文将目标函数公式(7)转化为如下两个子问题的求解。1 编码优化问题,即固定字典B,最优化编码S,问题转化为带有l1正则的最小二乘优化问题,优化目标函数转换为公式(26)) 26 ( || || λ ) ) γ μ ( tr(|| )] vec[( || min1T2 1/2S S SBSS+ + +-L MX W2 鲁棒字典学习问题,即固定编码S,最优化字典B,ξ是字典正则化参数,取代了TSC子问题②中的字典约束,将其转化为一个无约束的最小二乘优化问题,优化目标函数转换为公式(27)1/2 2 22 Fmin|| vec[( )]|| ξ|| || (27) - + W XBBS B3.2.编码优化编码优化子问题的目标函数公式(26)等价为公式(28)n1/2 21nT, 1n11min ||( ) ( )||(μ γ ) (28)          λ || ||iii isiij ij i ji jiiss ss===- ++ +åååW xM LB进一步转化为每一幅图像编码对应的目标函数的最小化:1/2 21T T( ) ( ) ( )|| λ||(μ γ ) (29)iii i i isii ii i i i iminf || s||s s s= - ++ + +s W x sM L lB其中:2 (μ γ )i ij ij jj i ¹= + åM L s l公式(29)is的分量为0时不可导,从而使得标准的无约束优化方法不可行。本文采用特征符号搜索法来求解公式(29)。不可导问题的非光滑优化方法求解中,有一个必要条件:若某个向量是局部极小点,那么零向量是它次微分集合中的一个元素[21]。令:1/2 2T T( ) ||( ) ( )||(μ γ ) (30)ii i iii ii i i i ig = - ++ +W xM L ls Bss s sk( )1( ) ( ) λ | | (31)ji i ijf g== +å s s s) (jis is的第j个分量,令 | |ji iÑ s()为is的第j个分量的次微分值,如果 ,) (0 | | >jis 那么( )| | sign( )j ji i iÑ = s s(),如果 0 | | =) (jis ,那么不可导,并且( )| |ji iÑ s 可以在[-11]之间取值。计算机学报 2017 8( )if s 取得最小值的优化条件是( )i if Ñ = s 0,即( ) ( )( )( )( )( ) λsign( ) 0,| | 0( )| ( )| λ,(32)j ji i iji ji iji igfgìÑ + =ï¹ ïÑ =íÑ £ïîs若其它s sss当公式(32)的第二个条件无法满足时:①当( )λji ig Ñ > s ( ) ,此时无论 ) sign() (jis 取什么值,( )0ji if Ñ > s ( ) ,为了最小化目标函数,则应该降低is的值,则 1 ) sign() (- =jis ;②当( )( ) λji ig Ñ <- s,此时无论( )) sign(jis 取什么值,( )0ji if Ñ < s ( ) ,则应该增加is的值,则1 ) sign() (=jis i ig Ñ s ( )的计算如公式(33)所示。T 1/2 T 1/2 T( ) 2 (( ) ) ((( ) ) ( ))2(μ γ ) (33)i ii i i iij ij i ig Ñ =- -+ + +W W xM Ls B Bss l下面给出特征符号搜索法过程中使用到的激活集和符号集的定义。定义1.每个is对应一个激活集iA( ) ( )A { | 0 | ( )| λ}j ji i i ij g = = ÙÑ > s s 。定义2.is每个分量元素的符号构成一个符号集iθ: ] ,..., , [) k ( ) 2 ( ) 1 (i i i iθ θ θ θ= ,} 1 , 0 , 1 {) (- Îjiθ 代表) (jis 的符号。同时在特征符号搜索法优化过程中引入Bˆ,isˆ,i,iθˆ 。例如当 } 5 , 3 , 1 { A=i,Bˆ为B的第1,3,5列形成的子矩阵,isˆ为is的第1,3,5个分量形成的列向量,同理i iθˆ,ˆl 分别为i iθ , l 对应分量形成的列向量。从而编码优化子问题进一步转化为无约束二次优化问题。1/2 2T T Tˆ ˆˆ ˆ min ( ) ||( ) ( )||ˆ ˆˆ ˆ ˆ ˆ (μ γ ) λ (34)iii i iii ii i i i i i if = - ++ + +sW xM L θ ls Bss s s sT 1/2 T 1/2ˆˆ ( )ˆ ˆˆ 2 (( ) ) (( ) ( ))ˆ ( )ˆ ˆˆ 2(μ γ ) λ (35)i iii iiij ij i i if ¶=- -¶+ + + +W W xM L θ lsΒ Bsss令:( )0 =¶¶iissˆˆ fˆT 1/2 T 1/2ˆ ˆˆ 2 (( ) ) (( ) ( ))ˆ ˆˆ 2(μ γ ) λ (36)i ii iij ij i i i- -+ + + + =W W xM L θ 0 lB Bssnew T 1/2 T 1/2 -1T 1/2 T 1/2ˆ ˆˆ (( ) ) (( ) (μ γ ) )ˆ ˆ ˆ(( ) ) (( ) λ /2)(37)i ii ij iji ii i i= + +- -W W M L IW W x θ l(( ( )s B BB) n ,..., 2 , 1 ( ˆnew= iis 即为优化后的编码。3.3.鲁棒字典学习鲁棒字典学习子问题目标函数公式(27)等价为公式(38):2 2F Fmin|| ( )]|| ξ|| || (38) Ä - + Q XBBS B其中Ä代表矩阵点乘操作,即对应元素相乘。定义符号1diag-为逆对角化,即将一个对角矩阵的对角元素按序排成一个列向量 , 上 式 中mnR´Î Q , 且1 1/2m,nunvec (diag ( ))-= Q W 。由于Ä的存在,不同于TSC中字典学习,鲁棒字典学习过程如下。公式(38)等价于公式(39):T T T T 2 T 2F Fmin|| ( )]|| ξ|| || (39) Ä - +BQ X SB B为了表达简洁,不妨令T= J B T T T, , = = = K QO X U S,则公式(39)等价于论文在线出版号No.64 赵鹏:基于迁移鲁棒稀疏编码的图像表示方法 9公式(40):2 2F Fmin|| ( )]|| ξ|| || (40) Ä - +JK O UJ J进一步转化为公式(41):m m2 22 21 1min || ( )]|| ξ || || (41)ii i i ii i = =Ä - + å åJK O UJ J其中i i iJ , ,O K 分别对应该矩阵的第i列。公式(41)归约为对每个子问题的求解,即:2 22 2min||diag( )( )]|| ξ|| || (42)ii i i i- +JK O UJ J由于公式(42)有解析解,从而学习到一个鲁棒字典,具有泛化残差分布的能力。公式(42)的解析解如下:T 1T( diag( )diag( ) ξ)diag( )diag( ) (43)i i ii i i-= + J U K KU IU K KO因而所求字典矩阵B为:T(44) = B J3.4. TRSC算法流程输入:数据矩阵X,最大均值差异矩阵M,图拉普拉斯矩阵L,正则化参数 ξ λ, γ, μ,,权值参数 c τ,, 迭代次数NT。输出:编码矩阵 ] ,..., [*n*1*s s S =Step1:字典随机初始化Step2:权值矩阵初始化Step3:编码学习FORk=1toNT1FORi=1ton特征符号搜索法进行编码学习获得*isENDFOR2)根据公式(44)获得字典B3)根据公式(23)进行权值更新ENDFOR4. 实验结果与分析4.1实验设置为了验证所提出的TRSC方法的有效性,本文分别和相关的六种主流图像特征表示方法进行了对比实验:主成分分析(PCA)、稀疏编码(SC)[19]、鲁棒稀疏编码(RSC)[17]、图正则化稀疏编码(GSC)[15]、不含图正则化的迁移稀疏编码(TSCMMD)[6]以及迁移稀疏编码(TSC)[6]。实验分别用它们提取源域和目标域的特征,然后用逻辑回归方法(LR)对源域进行训练获得分类器,最后对目标域样本进行分类。参照与文献[6],本文将逻辑回归分类方法中的权衡参数C设置为100,为了获得过完备字典,字典基原子的个数 200 k= 。对于字典约束正则化参数ξ,由于它限制字典基的取值范围,实验发现当ξ 0.001 = 时,字典基元素与文献[6]中拉格朗日法获得的字典的取值范围基本一致。TRSC在与其它算法的对比实验中,参数统一设置为γ 1,μ 1e5,λ 0.1,NT 10 = = = = 。本文选择几个通用的迁移学习数据集作为实验数据集,包括字符数据集USPSMNIST[6],手绘草图Sketch[22]和自然图像数据集MSRCVOC2007[6]Caltch-256Office[23~25]。所有算法随机抽取样本10次,取10次运行结果的平均值。实验采用目标域上的分类准确率Accuracy作为算法性能的评价标准[15,26],其计算如公式(45)所示。ttˆ | : D y( ) y( )|(45)| : D|AccuracyÎ Ù ==Îx x x xx xtD表示目标域,( ) yx 表示真实标签,( )ˆyx表示预测标签。4.2USPSMNIST数据集USPSMNIST数据集中的数字书写风格和明暗度不一样,分布不同。实验从计算机学报 2017 10USPS中随机取1800幅图像,从MNIST中随机取2000幅图像,分别作为源域和目标域,将所有图像统一缩放成10×10大小,每幅图像表示成100维的向量。为了验证算法鲁棒性,实验分别对两个数据集进行了不同程度的随机遮挡,从而既加大了分布的差别,又产生了异常图像。图1分别给出了MNISTUSPS数据集,随机5%遮挡后的MNISTUSPS数据集以及随机10%遮挡后的MNISTUSPS数据集中的示例。定义6个分类迁移学习任务U_M, 5U_5M,5M_5U,10U_10M,10M_10U,分别表示取不同程度遮挡的MNIST数据集或者USPS数据集作为源域或者目标域。例如5U_5M表示取随机5%遮挡的USPS数据集作为源域,随机5%遮挡的MNIST数据集作为目标域。实验结果如表1所示。(aMNISTUSPS数据集示例(b)随机5%遮挡后的MNISTUSPS数据集示例(c)随机10%遮挡后的MNISTUSPS数据集示例图1USPS数据集和MNIST数据集示例字符数据集的特点是每幅图像比较简单规则,从表1中可以看出无论是传统方法(PCA,SC,GSC,RSC)还是迁移学习方法(TSCMMDTSCTRSC),分类准确率随着遮挡程度加大而下降。由于RSC是把源域作为字典,只进行了编码学习,当源域存在遮挡,且源域与目标域存在分布差异,将不再能体现其鲁棒性。TSCMMD仅考虑目标域和源域的分布差异,GSC仅考虑数据集的局部几何特性,实验结果显示,GSC的平均准确率高于TSCMMD,表明在字符数据集中,几何特性的保留对于分类准确率起着更为重要的作用。而本文所提算法TRSC模型不但考虑了源域和目标域的分布差异和数据集局部几何特性,且考虑了图像存在的异常情况,在此六组实验结果中,SC提取了图像数据的高级语义,平均准确率相比PCA提高了10.05%。把SC作为基准方法,因为后面的5种方法都是建立在SC的基础之上,与其平均准确率相比,GSC,TSCMMD,TSC,TRSC 分别提高了11.18%6.51%13.67%24.08%,而RSC下降了2.07%TRSC相比PCAGSCRSCTSCMMDTSC分别提高了34.13%12.9%26.15%17.57%10.41%,体现了TRSC的鲁棒性和有效性。表1字符数据集上的平均分类准确率(%)数据集方法M_U 5M_5U 10M_10U U_M 5U_5M 10U_10M 平均值PCA 37.78 17.89 10.44 31.75 32.25 28.45 26.43SC 43.66 37.15 31.91 38.96 37.23 29.95 36.48GSC 59.29 56.15 49.08 44.26 41.83 35.34 47.66RSC 31.95 29.90 28.95 43.33 39.22 33.11 34.41TSCMMD 49.52 45.29 41.63 44.47 41.72 35.28 42.99TSC 54.14 53.19 48.74 52.32 50.77 41.73 50.15TRSC 66.17 65.72 63.44 60.95 59.80 47.30 60.564.3Sketch,MSRCVOC2007数据集(aSketch数据集示例(bMSRC数据集示例论文在线出版号No.64 赵鹏:基于迁移鲁棒稀疏编码的图像表示方法 11cVOC2007数据集示例图2Sketch,MSRCVOC2007数据集示例Sketch数据集是手绘草图[22],而MSRCVOC2007数据集是自然拍摄的照片,且拍摄环境不一样,特征分布各不相同,数据示例如图2所示。实验在SketchMSRC中随机取了七类,其中Sketch数据集有560幅图像,MSRC数据集有1365幅图像;在VOC2007MSRC中随机取了六类,其中VOC2007数据集有1530幅图像,MSRC数据集有1269幅图像。把所有图像统一成 10 10´ 大小,每幅图像表示成100维的向量。定义4个分类迁移学习任务:S_M(Sketch作为源域,MSRC作为目标域)M_S(MSRC作为源域,Sketch作为目标域)V_MVOC2007作为源域,MSRC作为目标域)M_V(MSRC作为源域,VOC2007作为目标域)。实验结果如表2所示。与字符数据集不同,在自然图像数据集中,图像异常点比较多,对于分类准确率的影响比较大。从表2中可以看出,SCPCA平均准确率提高了0.87%。相比SC,在只考虑源域和目标域分布差异时,TSCMMD的平均准确率下降了0.51%,表明只考虑分布差异的迁移学习方法不能在异常点较多的数据集获得好的迁移学习效果。只考虑数据集的几何局部特性的GSC的平均准确率比SC提高了0.90%。而RSC相比于SC,平均准确率下降了7.42%,主要是因为RSC对于字典的依赖性太强,不能自学习获得字典,因而不能较好处理含异常数据较多的字典的问题。TSC平均准确率比SC提高了8.95%,而TRSC平均准确率比PCASCGSCTSCMMDRSCTSC分别提高了21.69%20.82%19.92%21.33%28.24%11.87%。分析原因,主要由于异常点带来了以下两点影响:首先在TSC迭代过程中,大部分残差由图像中的异常点产生,学习过程中为了目标函数的下降,而导致模型强行表示异常点,降低了学习到的编码的分类效果;其次异常点干扰了局部特性和分布差异的衡量标准,因而干扰了模型学习保留图像正常点的局部特性和降低正常点的分布差异。TRSC模型引入了能够动态调整的权值矩阵,对异常点赋予低权值,从而实现了鲁棒性。表2SKetchMSRC,VOC2007数据集上的平均分类准确率(%)数据集方法S_M M_S V_M M_V 平均值PCA 27.61 14.29 37.19 20.98 25.02SC 19.46 14.29 42.94 26.87 25.89GSC 26.13 14.29 44.15 22.59 26.79RSC 11.75 14.82 28.53 18.76 18.47TSCMMD 16.00 12.64 41.47 31.39 25.38TSC 34.57 21.75 48.56 34.46 34.84TRSC 54.15 30.95 55.16 46.58 46.714.4Caltech-256Office数据集(aAmazon数据集(bCaltech-256数据集(cDslr数据集(dWebcam数据集图3Office,Caltech-256数据集示例Office数据集中的三个子数据集Amazon,DslrWebcam,共计包括314652幅图像。Caltech-256数据集包括25630607幅图像。数据示例如图3所示。本文分别在这四个数据集随机取十类,其中Amazon数据集包括958幅图像,Caltech-256数据集包含1123幅图像,Dslr数据集包括157幅图像,Webcam数据集包括295幅图计算机学报 2017 12像。把所有图像统一成 10 10´ 大小,每幅图像表示成100维的向量。实验分别任选其中两个数据集作为源域和目标域,排列组合产生12组分类迁移学习任务。分别用A,C,D,W 表示 Amazon, Caltech-256,Dslr,Webcam数据集,例如A_C表示A作为源域,C作为目标域的迁移学习任务。实验结果如表3所示。从表3中可以看出Caltech-256Office同样作为自然图像集,在十二组实验结果中,SCPCA平均准确率提高了0.86%。相比SCTSCMMD平均准确率下降了2.27%GSC平均准确率提高了0.13%RSC平均准确率下降了1.09%TSC平均准确率下降了0.06%,而TRSC平均准确率相比PCASCGSCTSCMMDRSCTSC分别提高了10.35%9.49%9.35%11.76%10.57%9.55%。在分类迁移学习任务D_WW_D中,迁移学习方法平均准确率有所下降,一方面从图3(c)(d)看出两个数据集分布差异非常小,不能体现迁移学习算法的有效性;另一方面源域和目标域数据集较小,分别为157295,不利于迁移学习训练获得一个有效的模型,降低了迁移效率。表3AmazonCaltech-256DslrWebcam数据集上的平均分类准确率(%)数据集方法A_C A_D A_W C_A C_D C_W D_A D_C D_W W_A W_C W_D 平均值PCA 17.28 33.12 26.78 15.87 13.38 7.80 15.45 12.11 52.20 15.76 9.53 60.51 23.32SC 15.91 24.71 22.92 16.98 13.89 8.07 18.42 12.00 62.27 14.44 10.40 70.19 24.18GSC 14.79 28.22 24.71 18.50 17.52 13.56 14.24 15.33 56.20 14.71 11.72 62.29 24.32RSC 15.94 22.93 15.25 18.79 14.01 11.86 19.62 11.67 64.07 11.90 9.97 61.15 23.10TSCMMD 16.99 17.77 15.83 18.68 23.06 18.98 16.45 12.12 41.12 16.33 11.62 54.01 21.91TSC 18.07 27.64 22.14 19.34 23.31 13.86 14.39 12.00 49.93 18.58 13.07 57.13 24.12TRSC 33.87 32.10 30.68 27.11 38.34 37.80 21.46 17.93 54.58 27.34 24.87 57.96 33.674.5参数分析为了检验TRSC中各参数对方法表示性能的影响,本文分别对权值矩阵参数τ,c,迭代次数NT,图正则化参数γ,最大均值差异正则化参数μ,稀疏正则化参数λ进行实验分析。首先对权值参数τ,c,在9个数据集,13个分类迁移学习任务进行对比实验,实验中分别固定一个参数值,调节另一个参数值,实验结果如图4所示。(a)τ对USPSMNIST上的分类准确率的影响(bcUSPSMNIST上的分类准确率的影响论文在线出版号No.64 赵鹏:基于迁移鲁棒稀疏编码的图像表示方法 13c)τ对MSRC,VOC2007,Sketch上的分类准确率的影响(dcMSRC,VOC2007,Sketch上的分类准确率的影响(e)τ对Caltech-256Office上的分类准确率的影响(fcCaltech-256Office上的分类准确率的影响图4权值参数τ和c对各数据集分类准确率的影响从图4中可以看出,τ对分类准确率影响相对比较大,它决定权值的中心,当τ越大,如0.9,则有百分之九十的像素点的权值在0.5以上,说明异常点相对比较少,从图4(a),(c),(e)可以看出字符数据集偏向于τ越大,效果越好,这是由于字符数据集相对于自然图像集异常点少。参数c决定权值在01之间的波动幅度,从图4(b),(d),(f)可以看出,c取值适中效果相对比较好,稳定性更高。为了检验迭代次数NTTRSC表示方法性能的影响,在6个数据集上3个分类迁移学习任务上进行对比实验,实验结果如图5所示。从图5可以看出,TRSC在迭代次数NT10时开始收敛,表明TSRC算法的收敛速度快,同时也验证了TRSC中用正则化约束代替字典不等式约束是有效的。图5迭代次数NT对目标函数收敛的影响(a)图正则化参数γ对各数据集上的分类准确率的影响计算机学报 2017 14b)最大均值差异正则化参数μ对各数据集上的分类准确率的影响(c)稀疏正则化参数λ对各数据集上的分类准确率的影响图6γ,μ,λ对分类准确率的影响最后为了分析图正则化参数γ,最大均值差异参数μ和稀疏正则化参数λ对表示方法性能的影响,分别在6个数据集上3个分类迁移学习任务上进行对比实验,实验结果如图6所示。对于图正则化参数γ,它的大小决定了新特征空间下数据集原几何特性的保留在最小化目标函数中所占的权重。从图6(a)可以看出,当γ→0时,即几乎忽略数据集的几何特性,和γ→+∞时,即几乎忽略不同域间数据的分布差异和稀疏结构,都会导致分类准确率下降。从图6(b)可以看出,当μ→0时,即几乎忽略不同域间数据差异,和μ→+∞时,即几乎忽略数据集的几何特性和稀疏结构,都会导致分类准确率下降。从图6(c)可以看出,稀疏正则化参数越小,对编码稀疏度惩罚越小,导致其中的非零分量增加,容易使得模型以更小的残差学习获得图像的近似,从而异常点也被很好地表示,丢失了异常点的信息;当稀疏正则化参数超过一定数值后,随着稀疏正则化参数的增大,对编码稀疏度惩罚越大,导致非零分量减少,极端的情况就是趋向于全部为零,此时正常点和异常点都不能被表示。这两种情况都使得模型对异常点信息不敏感,即正常点和异常点混淆不清,从而分类准确率大幅度下降。TRSC是在综合考虑了异常点信息,不同域间差异,数据集的几何特性,在保留数据几何特性和缩小不同数据集的分布差异的同时,削弱异常点对分类的干扰,实现了迁移鲁棒稀疏编码和字典的学习。5 总结本文针对迁移学习领域存在的图像异常,提出了迁移鲁棒稀疏编码模型,与鲁棒稀疏编码不同的是,将单个测试样本的模型推广到样本矩阵,提高了算法效率,更符合大数据的需求,且提出了鲁棒字典学习,使得模型更加一般化。在问题的求解上,编码的学习仍然采用特征符号搜索法,而字典的学习,通过把不等式约束转化为正则化项,使其成为一个无约束最优化问题,避免了用拉格朗日法求解的复杂性。TRSC模型在实现领域适配的同时,通过图正则化保持了数据几何特性,稀疏编码提取图像高级语义,权值矩阵削弱异常点对分类产生的影响。从实验中的数字和自然图像两类数据集可以看出,TRSC算法在异常点较多的数据集上效果更明显,验证了TRSC算法在处理异常点时的有效性。参考文献[1] PanSJ, YangQiang. Asurveyontransfer learning. IEEETransactions onKnowledge andData Engineering, 2010,22(10):1345-1359[2]OlshausenBA, FieldDJ. Emergenceofsimple-cell receptivefieldpropertiesbylearningasparsecodefornatureimages.Nature,1996,381(6583):607-9[3]ZhaoZhong-Qiu, JiHai-FengGaoJun.Sparsecodingbasedmulti-scale spatial latent semantic analysis for imageclassification. ChineseJournal of Computers, 2014, 37(6):1251-1260(inChinese)(赵仲秋,季海峰,高隽等.基于稀疏编码多尺度空间潜在语义分析的图像分类.计算机学报,2014,37(6):1251-1260[4]Dash KS, Puhan NB, Panda G.Asparse concept codespatio-spectral feature representation for handwrittencharacter recognition. //Proceedings of the InternationalConference on Signal Processing and Communications .Bengaluru,India,2016:1-5[5]XuBing-xin, YinQian, GuoPinget al. Imagerepresentationviasub-dictionarybasedsparsecoding.//Proceedingsof theInternationalJointConferenceonNeuralNetworks.论文在线出版号No.64 赵鹏:基于迁移鲁棒稀疏编码的图像表示方法 15Vancouver,Canada,2016:5113-5118[6]LongMing-sheng, Ding Gui-guang, Wang Jian-min, et al.Transfer sparse coding for robust image representation.//Proceedingsof theIEEEConferenceonComputerVisionand Pattern Recognition. Portland, Oregon, USA,2013:407-414[7]Lee DD, SeungHS. Algorithms for non-negative matrixfactorization. //Proceedings of the Neural InformationProcessingSystems.Vancouver,Canada,2001:556-562[8]LongMing-sheng, Wang Jian-min, Ding Gui-guang, et al.Transfer learning with graph co-regularization. IEEETransactions on knowledge and dataengineering,2014,26(7):1805-1818[9]Yang Liu, Jing Li-ping, Michael K N. Robust andnon-negative collective matrix factorization fortext-to-image transfer learning. IEEE TRANSACTIONSONIMAGEPROCESSING,2015,24(12):4701-4714[10]You Cong-zhe, Wu Xiao-jun, Palade Vet al. Manifoldlocality constrained low-rank representation and itsapplications. //Proceedings of the International JointConferenceonNeural Networks.Vancouver, Canada, 2016:3264-3217[11]Wang Rong, Chen Cai-kou, Li Jing-shan et al. Facerecognitionvianon-negativesparselow-rankrepresentationclassification.//Proceedings of the 12th InternationalConference onNatural Computation, FuzzySystems andKnowledgeDiscovery.Changsha,China,2016:1609-1614[12]Lee J, ChoeY. Lowrankmatrixrecoveryvia augmentedlagrange multiplier with non-convexminimization.//ProceedingsoftheIEEE12thImage, Video,and Multidimensional Signal Processing Workshop.Bordeaux,France,2016:1-5[13]JhuoI H, LiuDong, LeeDTet al. Robust visual domainadaptionwithlow-rankreconstruction.//Proceedings of theIEEE Conference on Computer Vision and PatternRecognition.Providence,USA,2012:2168-2175[14]GaoSheng-hua, TsangIWH, ChiaLT, et al. Local featuresare not lonely laplacian sparse coding for imageclassification. //Proceedings of the IEEEConference onComputer VisionandPatternRecognition. San-Francisco,USA,2010:3555-3561[15]ZhengMiao, Bujia-jun, ChenChun, et al.Graphregularizedsparsecodingfor imagerepresentation. IEEETransactionsonImageProcessing,2011,20(5):1327-36[16]Wright J,YangAY,GaneshA, et al.Robust facerecognitionvia sparse representation. Journal of Inner MongoliaAgriculturalUniversity,2010,31(2):210-227[17]Yang Meng, Zhang Lei, Yang Jian, et al. Robust sparsecoding for face recognition. //Proceedings of the IEEEConferenceonComputer VisionandPatternRecognition.ColoradoSprings,USA,2011:625-632[18]MukherjeeL, HallAet al. Non-Negativesparsecodingwithregularizer for image classification. //Proceedings of theIEEEWinter Conference on Applications of ComputerVision.Hawaii,USA,2015:852-859[19]Lee H, BattleA, Raina R, et al. Efficient sparse codingalgorithms.//ProceedingsoftheNIPS. Vancouver,Canada,2006:801-808[20]MairalJ,BachF,PonceJ,etal.Onlinedictionarylearningforsparse coding. //Proceedings of the ICML. Montreal,Canada,2009:689-696[21]Fletcher R. Practical methods of optimization. RI, USA: AWiley-Intersciencepublication,1987[22]EitzM, Hays J, AlexaM. Howdohumanssketchobjects?AcmTransactionsonGraphics,2012,31(4):44-54[23]LongMing-sheng, WangJian-min, DingGui-guanget al.Transfer joint matchingfor unsuperviseddomainadaption.//Proceedingsof theIEEEConferenceonComputerVisionandPatternRecognition.Ohio,USA,2014:1410-1417[24]Long Ming-sheng, Wang Jian-min, Sun Jia-guang et al.Domain invariant transfer kernel learning. IEEEtransactions on knowledge and dataengineering,2015,27(6):1-1[25]LongMing-sheng, WangJian-min, DingGui-guanget al.Transfer Feature Learning with Joint DistributionAdaptation. //Proceedings of the IEEE InternationalConference on Computer Vision. Sydney, Australia,2013:2200-2207[26]Quanz B, Huan J, Mishra M. Knowledge transfer withlow-qualitydata: afeatureextractionissue. //ProceedingsoftheICDE.Hannover,Germany,2011,24(10):769-779ZHAOPeng,bornin1976,Ph.D., associateprofessor.Her计算机学报 2017 16research interests includemachine learning andintelligent informationprocessing.WANGWei, bornin1992,M.E. candidate. Hismainresearchinterestsincludetransfer learningandsparsecoding.LIUHuiting, bornin1978,Ph.D.,associateprofessor.Her research interests include data mining andmachinelearning.JI Xia, bornin1983, Ph.D., lecturer. Her researchinterests include data mining and intelligentinformationprocessing.BackgroundMachinelearninghas alreadyachievedgreat success inmanyresearchareas includingpredication,annotationandclassification.Traditionalmachinelearningassumesthatthetrainingdataandthefuturedatafollowthesamedistribution. However, inreal world, thisassumptionoftendoesnothold.Theenvironmentsandconditionsofthedatagenerationaresodiversethatthetrainingdataandthetestdataarenotdrawnfromthesamedistribution.Somanytraditionalmachinelearningmethodscannotworkwellinreal-worldapplication.Incontrast, transferlearningallowsthedistributionsinthesourcedomainandthetargetdomaintobedifferent. Transfer learningfocusesonhowtotransfer theknowledgeobtainedfromthesourcedomaintothetargetdomain. Thetransferlearningbasedonthefeaturespaceexpects tofindagoodfeaturerepresentationspace, inwhichthedifferencebetweenthesourcedomainandthetarget domainisreduced. Oneof themajor challenges inreal-worldtransferlearningishowtodeal withtheoutliers. Thispaperproposesanimagerepresentationmethodbasedontransferrobustsparsecoding(TRSC). Inthismethod,theweightmatrixisusedtoweakentheinterferenceof outlierstoclassification. Thehighlevel semanticcontentof theimageisobtainedwithsparsecoding.Thedifferencesbetweenthesourceimagesandthetargetimagesarereducedbyminimizingthemaximummeandiscrepancy. Thegeometrical propertiesof theimagedatabasearepreservedbygraphLaplacianterm. Experimental results onthecommontransfer learningdatabases showtheeffectiveness androbustnessof theproposedmethod.Thispaper issupportedbytheNational Natural ScienceFoundationof China(GrantNos.61602004, 61472001) , Natural ScienceFoundationof theEducationDepartment of AnhuiProvince(Grant No. KJ2016A041), Natural ScienceFoundationof Anhui Province(Grant Nos.1408085MF122, 1508085MF127)andFoundationofCenterofInformationSupport&AssuranceTechnology(GrantNos.ADXXBZ2014-5,ADXXBZ2014-6).

[返回]
上一篇:基于序列移动距离的用户行为挖掘与相似度计算
下一篇:基于方程求解与相位估计攻击RSA的量子算法