首页 > 传媒 > 关键词 > PaddlePaddle最新资讯 > 正文

用PaddlePaddle和Tensorflow实现GoogLeNet InceptionV2/V3/V4

2018-04-13 16:27 · 稿源:站长之家用户投稿

上一篇文章我们引出了GoogLeNet InceptionV1 的网络结构,这篇文章中我们会详细讲到Inception V2/V3/V4 的发展历程以及它们的网络结构和亮点。

GoogLeNet Inception V2

GoogLeNet Inception V2 在《Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift》出现,最大亮点是提出了Batch Normalization方法,它起到以下作用:

  • 使用较大的学习率而不用特别关心诸如梯度爆炸或消失等优化问题;

  • 降低了模型效果对初始权重的依赖;

  • 可以加速收敛,一定程度上可以不使用Dropout这种降低收敛速度的方法,但却起到了正则化作用提高了模型泛化性;

  • 即使不使用ReLU也能缓解激活函数饱和问题;

  • 能够学习到从当前层到下一层的分布缩放( scaling (方差),shift (期望))系数。

  在机器学习中,我们通常会做一种假设:训练样本独立同分布(iid)且训练样本与测试样本分布一致,如果真实数据符合这个假设则模型效果可能会不错,反之亦然,这个在学术上叫Covariate Shift,所以从样本(外部)的角度说,对于神经网络也是一样的道理。从结构(内部)的角度说,由于神经网络由多层组成,样本在层与层之间边提特征边往前传播,如果每层的输入分布不一致,那么势必造成要么模型效果不好,要么学习速度较慢,学术上这个叫InternalCovariate Shift。 

假设:yy为样本标注,X={x1,x2,x3,......}X={x1,x2,x3,......}为样本xx通过神经网络若干层后每层的输入;

理论上:p(x,y)p(x,y)的联合概率分布应该与集合XX中任意一层输入的联合概率分布一致,如:p(x,y)=p(x1,y)p(x,y)=p(x1,y);

但是:p(x,y)=p(y|x)⋅p(x)p(x,y)=p(y|x)·p(x),其中条件概率p(y|x)p(y|x)是一致的,即p(y|x)=p(y|x1)=p(y|x1)=......p(y|x)=p(y|x1)=p(y|x1)=......,但由于神经网络每一层对输入分布的改变,导致边缘概率是不一致的,即p(x)≠p(x1)≠p(x2)......p(x)≠p(x1)≠p(x2)......,甚至随着网络深度的加深,前面层微小的变化会导致后面层巨大的变化。

  BN整个算法过程如下: 

  • 以batch的方式做训练,对m个样本求期望和方差后对训练数据做白化,通过白化操作可以去除特征相关性并把数据缩放在一个球体上,这么做的好处既可以加快优化算法的优化速度也可能提高优化精度,一个直观的解释:

  

   左边是未做白化的原始可行域,右边是做了白化的可行域;

  • 当原始输入对模型学习更有利时能够恢复原始输入(和残差网络有点神似):

  

  这里的参数γγ和σσ是需要学习的。

  卷积神经网络中的BN

  卷积网络中采用权重共享策略,每个feature map只有一对γγ和σσ需要学习。

GoogLeNet Inception V3

GoogLeNet Inception V3 在《Rethinking the Inception Architecture for Computer Vision》中提出(注意,在这篇论文中作者把该网络结构叫做v2 版,我们以最终的v4 版论文的划分为标准),该论文的亮点在于:

  • 提出通用的网络结构设计准则

  • 引入卷积分解提高效率

  • 引入高效的feature map降维

网络结构设计的准则

前面也说过,深度学习网络的探索更多是个实验科学,在实验中人们总结出一些结构设计准则,但说实话我觉得不一定都有实操性:

  • 避免特征表示上的瓶颈,尤其在神经网络的前若干层 

神经网络包含一个自动提取特征的过程,例如多层卷积,直观并符合常识的理解:如果在网络初期特征提取的太粗,细节已经丢了,后续即使结构再精细也没法做有效表示了;举个极端的例子:在宇宙中辨别一个星球,正常来说是通过由近及远,从房屋、树木到海洋、大陆板块再到整个星球之后进入整个宇宙,如果我们一开始就直接拉远到宇宙,你会发现所有星球都是球体,没法区分哪个是地球哪个是水星。所以feature map的大小应该是随着层数的加深逐步变小,但为了保证特征能得到有效表示和组合其通道数量会逐渐增加。   

下图违反了这个原则,刚开就始直接从35×35× 320 被抽样降维到了17×17×320,特征细节被大量丢失,即使后面有Inception去做各种特征提取和组合也没用。

  • 对于神经网络的某一层,通过更多的激活输出分支可以产生互相解耦的特征表示,从而产生高阶稀疏特征,从而加速收敛,注意下图的1× 3 和3× 1 激活输出:

  • 合理使用维度缩减不会破坏网络特征表示能力反而能加快收敛速度,典型的例如通过两个3× 3 代替一个5× 5 的降维策略,不考虑padding,用两个3× 3 代替一个5× 5 能节省1-(3×3+3×3)/(5×5)=28%的计算消耗。

  • 以及一个n×n卷积核通过顺序相连的两个1×n和n× 1 做降维(有点像矩阵分解),如果n=3,计算性能可以提升1-(3+3)/9=33%,但如果考虑高性能计算性能,这种分解可能会造成L1 cache miss率上升。

  • 通过合理平衡网络的宽度和深度优化网络计算消耗(这句话尤其不具有实操性)。

  • 抽样降维,传统抽样方法为pooling+卷积操作,为了防止出现特征表示的瓶颈,往往需要更多的卷积核,例如输入为n个d×d的feature map,共有k个卷积核,pooling时stride=2,为不出现特征表示瓶颈,往往k的取值为2n,通过引入inception module结构,即降低计算复杂度,又不会出现特征表示瓶颈,实现上有如下两种方式:

  平滑样本标注

对于多分类的样本标注一般是one-hot的,例如[0,0,0,1],使用类似交叉熵的损失函数会使得模型学习中对ground truth标签分配过于置信的概率,并且由于ground truth标签的logit值与其他标签差距过大导致,出现过拟合,导致降低泛化性。一种解决方法是加正则项,即对样本标签给个概率分布做调节,使得样本标注变成“soft”的,例如[0.1,0.2,0.1,0.6],这种方式在实验中降低了top- 1 和top- 5 的错误率0.2%。

  网络结构

GoogLeNet Inception V4

GoogLeNet Inception V4/和ResNet V1/V2 这三种结构在《Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning》一文中提出,论文的亮点是:提出了效果更好的GoogLeNet Inception v4 网络结构;与残差网络融合,提出效果不逊于v4 但训练速度更快的结构。

GoogLeNet Inception V4 网络结构

GoogLeNet Inception ResNet网络结构

 代码实践

  Tensorflow的代码在slim模块下有完整的实现,paddlepaddle的可以参考上篇文章中写的inception v1 的代码来写。

 总结 

  这篇文章比较偏理论,主要讲了GoogLeNet的inception模块的发展,包括在v2 中提出的batch normalization,v3 中提出的卷积分级与更通用的网络结构准则,v4 中的与残差网络结合等,在实际应用过程中可以可以对同一份数据用不同的网络结构跑一跑,看看结果如何,实际体验一下不同网络结构的loss下降速率,对准确率的提升等。  

 作者:Charlotte77 

网友热搜:

免责声明:“站长之家”的传媒资讯页面文章、图片、音频、视频等稿件均为自媒体人、第三方机构发布或转载。如稿件涉及版权等问题,请与我们联系删除或处理。稿件内容仅为传递更多信息之目的,不代表本网观点,亦不代表本网站赞同其观点或证实其内容的真实性,更不对您的投资构成建议。我们不鼓励任何形式的投资行为、购买使用行为。

  • 相关推荐
  • 大家在看
  • 259GB!Windows 10系统惊现巨型dll文件

    了解Windows系统的用户应该都知道dll文件,也就是动态链接库(Dynamic Link Library),包含可由多个程序共用的代码、数据等,一般体积都不大,多数都几十KB,超过1MB就算顶天了,但是你见过259GB

  • Mate系列首款平板 华为MatePad Pro降价:3099起

    7月9日消息,华为商城宣布MatePad Pro限时直降200元,起售价3099元起(6GB+128GB)。MatePad Pro是Mate系列首款平板电脑,它采用10.8英寸2560×1600显示屏,搭载麒麟990芯片,前置800万像

  • CFDL战队面试答题活动全部答案汇总 CFDL战队面试答案大全

    CFDL战队面试答题活动在最近正式的开启了,在其中之要玩家答对了问题的答案的话就可以获得很多奖励,下面就来为大家详细的介绍一下全部CFDL战队面试答题活动答案大全。

  • DDR5内存标准正式发布 DDR5技术规格详细介绍

    ?7 月 15 日,JEDEC固态技术协会正式发布下一个主流内存标准DDR5 SDRAM的最终规范(JESD79-5)。2007 年DRAM产业迎来DDR3 时代, 2012 年正式步入DDR4,而DDR5 是DDR标准的最新迭代,它再次扩展了DDR内存的功能,将峰值内存速度提高了一倍,同时也大大增加了内存容量。基于新标准的硬件预计将于 2021 年推出,先从服务器层面开始采用,之后再逐步推广到消费者PC和其他设备。JEDEC预计,DDR5 的生命周期将和DDR4 一样长,甚至更长一

  • 金融行业需要什么样的端到端AI系统?蚂蚁SQLFlow告诉你

    导语:端到端机器学习是一种由输入端的数据直接得到输出端结果的AI系统,它可以对业务人员屏蔽复杂技术细节,同时给模型以更多自动调节空间,增加模型整体契合度。近两年来,端到端机器学习成为AI领域研发热点,蚂蚁集团于2019年4月发布端到端AI系统SQLFlow开源项目,受到业界广泛关注。今天,就让我们来看看它对端到端AI的思考与解答。正文:SQLFlow 是蚂蚁集团开源的使用 SQL 完成 AI 工作流构建的编译系统。SQLFlow 将多种数据库系统(MyS

  • 腾讯云发布上半年DDoS威胁报告,国内DDoS攻击呈高发态势

    以云计算、5G、AI等为代表的ICT技术迅猛发展,为生活带来便捷的同时却也产生了大量黑产通过恶意流量挤占网络宽带,扰乱正常运营的现象。在过去半年时间里,不法黑客不仅把最大DDoS攻击记录推升到2.3T,而且还创造了45%的DDoS攻击次数增幅,其中100G以上的超大流量攻击数量甚至翻番……这些攻击不仅给企业带来数据资产的严重损失,也产生了恶劣的社会影响。近日,腾讯云发布《 2020 年上半年DDoS威胁报告》(以下简称《报告》),通

  • 挖掘绘画天赋 华为MatePad Pro 5G不仅是创作工具 还是贴心伙伴

    科技与艺术是人类探索世界的两种不同方式,但科技与艺术也是相互成全、相互成就的关系。科技的发展赋予了艺术新的模样,让艺术的表现更多元、更丰富。而当科技注入艺术,会变得更有生命力,更有

  • 与日本官方系统直连,「FreePay」将赴日旅游消费退税业务升级

    目前覆盖东京及大阪地区,去年流水已达数十亿日元和被微信、支付宝等巨头瓜分的中国支付市场不同,日本电子支付市场仍处于爬坡阶段,大大小小的支付公司仍在不断发展业务。日本聚合支付服务商「FreePay」,正是从 2017 年开始,首先瞄准中国游客赴日旅游的大趋势,为日本当地商户提供聚合支付业务。聚合支付即是将一个以上的银行、非银机构或清算组织的支付服务,整合到一起,为商户提供服务。比如一个日本的当地商户无需对接多个?

  • LandLab区块链游戏的未来畅想

    区块链游戏公司LandLab已经获得共识资本、智链资本和分布资本合计 3000 万美元的天使轮投资,并且推出了第 1 款游戏神龙岛,第 2 款游戏Jurassic World也将于 2020 年 7 月 15 日上线内测。LandLab成立的契机是看到游戏理念随着新技术出现而不断变迁,从软件游戏的Pay to Play,到互联网游戏的Free to Play,再到区块链游戏的Play to Earn,区块链技术的出现为LandLab提供了弯道超车的机会。以Play to Earn为契机,LandLab计划陆续

  • 西数紫盘HDD包装升级 外观跟名字终于一致了

    作为硬盘行业最喜欢集齐颜色的公司,西数旗下已经有黑盘、蓝盘、绿盘、紫盘、金牌等按颜色区分的产品线了,其中紫盘主打监控市场。近期西数还对紫盘进行了一轮升级,换了全新的包装,颜色也一齐

  • 全球高端婴童品牌Nuna CUDL婴儿背带,开启育儿“轻”生活

    当了父母之后你会发现,就好像普普通通的一碗蛋炒饭是中华美食中“最简单也最复杂”的,普普通通的一项“抱小孩”其实也是“最简单辛苦”的了。如果育儿是一项工作,那么引起“工伤”很大一个因素可能就是抱小孩,很多父母和老人肩部、手臂甚至腰部的酸痛、拉伤、扭伤,其实都跟每天看似不经意的“抱小孩”有关。某育儿网站曾经做过一个调查:每天带孩子,你最怕做什么?“抱孩子出门”妥妥地高居前三位!(其他两项分别是喂孩子吃饭和

  • Sleepace享睡荣获深圳创新创业大赛盐田赛区一等奖

    7 月 30 日,第十二届中国深圳创新创业大赛盐田预选赛区暨深圳创新创业投资大会盐田分会场(人工智能行业)复赛圆满落幕,Sleepace享睡凭借专业、务实的产品技术实力及商业策划能力,得到评委们一致好评,荣获企业组一等奖。Sleepace享睡总裁黄锦锋(右)上台领奖深创赛见证深圳创新创业力量本次大赛由深圳市科技创新委员会、深圳市科学技术协会、深圳市盐田区人民政府主办,由专业的投资人和技术专家作为评委,使技术能力强,投资

  • 华为发布10.8英寸MatePad 支持手写笔和键盘售2399元起

    7月30日消息,华为于今天下午在北京举行发布会,推出10.8英寸MatePad,该平板定位学生和新职场用户,可搭配官方手写笔和键盘,售价2399元起;发布会上同时推出了手环、儿童手表等智能设备,组成华为全场景智慧生活。华为MatePad 10.8 为之前华为平板M6的升级版本,相比之前的版本,华为MatePad10.8更加注重打造新型智慧学习和轻办公体验。华为希望通过此次升级为“Z世代”大学生和初入职场的白领用户带?

  • Intel 12代酷睿首次现身:无缘DDR5内存

    Intel 11代酷睿家族低功耗移动版Tiger Lake即将发布,桌面版Rocket Lake则要等到明年上半年,但是更往后的12代桌面版Alder Lake已经在紧锣密鼓地开发中了,最近也是曝料不断。现在,SiSoftwar

  • iOS14 Beta2 代码显示苹果ApplePay可能支持扫描二维码支付

    苹果 iOS14Beta2 代码显示 ApplePay 可能支持扫描二维码支付。据MacRumors消息,苹果iOS14 测试版中的代码表明,苹果正在开发一项新功能,该功能将使用户可以通过使用iPhone相机扫描二维码或条形码来使用Apple Pay付款。

  • Linkflow作为优秀数据驱动类产品经典案例入选艾瑞咨询最新研究报告

    数字经济时代催生了以大数据为代表的新型生产要素,数据驱动强调以数据作为关键生产要素,是企业数字化转型的主线。近期,艾瑞咨询发布了《中国数据驱动型企业成长路径研究报告》,深入分析数据驱动型企业的成长路径、应用场景和未来趋势,指导企业如何利用海量、多维度的数据建立起更加全面的评估体系,创造业务增长。在企业经营管理的各个环节中,营销场景具有贴近客户、和外部互动频繁的特点。随着企业与客户之间的数据触点不断

  • Linkflow CDP白皮书重磅发布,全面解读2020营销技术新风向

    2018以来,互联网经济整体增速放缓,流量红利消失,增长停止了,蛋糕突然不够分了,大家纷纷开始找寻流量运营新思路。企业在流量运营的探索上从未止步,CRM、SCRM、DMP、MA都是探索过程中的产物,它们从不同的运营目的、不同的数据类型、不同的触达方式上,帮助企业实现更高效的流量运营。但随着互联网的发展,流量的成本变高了、留存变差了、触点也更多了,面临如此严峻的考验,以往的营销经验和软件都难以很好地支持现阶段的流量

  • 萤石视频锁DL20VS 让小偷流泪的安全防盗神器

    近日,某地派出所接辖区群众报警称家中被盗。经民警缜密侦查发现,这是一起典型的“白日闯”案件,嫌疑人白天作案,作案时先敲门,确定家中无人后,再使用简单的开锁工具,十秒钟就可以开门进屋实施盗窃。门锁,是守护家庭人身财产安全的第一道屏障。据了解,70%以上的入户盗窃案件均通过撬锁、开锁方式“登门入室”,当家中无人时,该如何避免这类“白日闯”案件的发生?目前来说,最靠谱的手段就是安装一把安全性能高的锁,比如?

  • 币安三周年丨SafePal CEO Veronica:实现与现实世界的关联才能释放区块链真正的潜力

    2020 年 7 月 14 日,在币安三周年“超越极限”虚拟大会中,SafePal CEO Veronica和众多行业顶尖大咖共同探讨公链赛道的未来及落地,Veronica认为目前公链上所承载的价值主要是来自虚拟数字加密货币,需要通过较长时间的发展和打磨呈现比较好的形态。Veronica表示从今年开始公链的头部效应逐渐明显,公链的发展势力是“强者恒强”,那些原本就有扎实的技术基础并且技术雄厚的公链团队,熬过了几轮牛熊之后开始逐步做到生态落地,这

  • LV在小红书直播,Gucci拍抖音…2020年,奢侈品变Low了吗?

    2020 年的开局,给了昔日风光无限的奢侈品行业当头一棒。受疫情这只“黑天鹅”的影响, 2020 年第一季度,路易威登LV的母公司LVMH集团营收减少15%,旗下拥有古驰Gucci、圣罗兰YSL等奢侈品牌的开云集团营收减少15.4%。

  • 参与评论
文明上网理性发言,请遵守新闻评论服务协议
  • 热门标签