56书库 通过搜索各大小说站为您自动抓取各类小说的最快更新供您阅读!

对于这个神经网络的训练过程,就是要确定这11935个参数。

训练的目标可以粗略概括为:对于每一个训练样本,对应的输出无限接近于1,而其它输出无限接近于0。

根据MichaelNielsen给出的实验结果,以上述网络结构为基础,在未经过调优的情况下,可以轻松达到95%的正确识别率。而核心代码只有74行!

在采用了深度学习的思路和卷积网络(convolutionalnetworks)之后,最终达到了99.67%的正确识别率。而针对MNIST数据集达到的历史最佳成绩是99.79%的识别率,是由LiWan,MatthewZeiler,SixinZhang,YannLeCun,和RobFergus在2013年做出的。

考虑到这个数据集里还有一些类似如下这样难以辨认的数字,这个结果是相当惊人的!它已经超越了真正人眼的识别了。

在这个过程中一步步调整权重和偏置参数的值,就必须引入梯度下降算法(gradientdescent)。

在训练的过程中,我们的神经网络需要有一个实际可行的学习算法,来逐步调整参数。

而最终的目的,是让网络的实际输出与期望输出能够尽量接近。我们需要找到一个表达式来对这种接近程度进行表征。这个表达式被称为代价函数(costfunction)

x表示一个训练样本,即网络的输入。其实一个x代表784个输入。

y(x)表示当输入为x的时候,期望的输出值;而a表示当输入为x的时候,实际的输出值。y(x)和a都分别代表10个输出值(以数学上的向量来表示)。而它们的差的平方,就表征了实际输出值和期望输出值的接近程度。越接近,这个差值就越小。

n是训练样本的数量。假设有5万个训练样本,那么n就是5万。因为是多次训练,所以要除以n对所有训练样本求平均值。

C(w,b)的表示法,是把costfunction看成是网络中所有权重w和偏置b的函数。为什么这样看呢?进行训练的时候,输入x是固定的(训练样本),不会变。在认为输入不变的情况下,这个式子就可以看成是w和b的函数。那么,式子右边的w和b在哪呢?实际上,在a里面。y(x)也是固定值,但a是w和b的函数。

总结来说,C(w,b)表征了网络的实际输出值和期望输出值的接近程度。越接近,C(w,b)的值就越小。因此,学习的过程就是想办法降低C(w,b)的过程,而不管C(w,b)的表达形式如何,它是w和b的函数,这就变成了一个求函数最小值的最优化问题。

由于C(w,b)的形式比较复杂,参数也非常多,所以直接进行数学上的求解,非常困难。

为了利用计算机算法解决这一问题,计算机科学家们提出了梯度下降算法(gradientdescent)。

这个算法本质上是在多维空间中沿着各个维度的切线贡献的方向,每次向下迈出微小的一步,从而最终抵达最小值。

由于多维空间在视觉上无法体现,所以人们通常会退到三维空间进行类比。当C(w,b)只有两个参数的时候,它的函数图像可以在三维空间里呈现。

就好像一个小球在山谷的斜坡上向下不停地滚动,最终就有可能到达谷底。这个理解重新推广到多维空间内也基本成立。

而由于训练样本的数量很大(上万,几十万,甚至更多),直接根据前面的C(w,b)进行计算,计算量会很大,导致学习过程很慢。

、于是就出现了随机梯度下降(stochasticgradientdescent)算法,是对于梯度下降的一个近似。

在这个算法中,每次学习不再针对所有的训练集,而是从训练集中随机选择一部分来计算C(w,b),下一次学习再从剩下的训练集中随机选择一部分来计算,直到把整个训练集用光。然后再不断重复这一过程。

深度神经网络(具有多个hiddenlayer)比浅层神经网络有更多结构上的优势,它有能力从多个层次上进行抽象。

从上个世纪八九十年代开始,研究人员们不断尝试将随机梯度下降算法应用于深度神经网络的训练,但却碰到了梯度消失(vanishinggradient)或梯度爆发(explodinggradient)的问题,导致学习过程异常缓慢,深度神经网络基本不可用。

然而,从2006年开始,人们开始使用一些新的技术来训练深度网络,不断取得了突破。这些技术包括但不限于:

采用卷积网络(convolutionalnetworks);

Regularization(dropout);

Rectifiedlinearunits;

利用GPU获得更强的计算能力等。

深度学习的优点显而易见:这是一种全新的编程方式,它不需要我们直接为要解决的问题设计算法和编程,而是针对训练过程编程。

本小章还未完~.~,请点击下一页继续阅读后面精彩内容!

喜欢我的超级黑科技帝国请大家收藏:(www.56shuku8.com)我的超级黑科技帝国56书库更新速度全网最快。

56书库推荐阅读: 空城全民海岛:我能点化诸天万界BOSS聊天群人在美漫:开局点满智力值穿越者之灾我在末世有个基地黑科技研发系统无限垂钓系统系统之游戏主播奥特曼之从光之国出发我在末世位列仙班超位面穿行虚界时代从超凡世界开始穿越诸天纣临水墙,埃及往事地窟求生:我获得了签到能力我在漫威扮演DC英雄港岛王炸诸天位面世界现实世界模拟器全球震惊:我竟是深渊之主超神学院之异能者降临漫威的火影忍者全球降临:我的二次元副本我的天灾小屋港综之功夫皇帝从红楼开始的名著之旅长生从锦衣卫开始从超神学院开始征服万界末世重生之不做肉文女配东北虎王末世废土之火种天灾收容所诸天之配角的完美人生人间冰器全球撤离,独自求生末世被曝光了我的游戏神国被困在无限的我成了丧尸从西游穿越诸天空想舰娘星际江湖全民领主:从丧尸开始攻略诸天万界大力哥吞噬星空:源星归来万界传说之最强王者银河军火商末世小馆港岛BOSS之路主神:时代变了
56书库搜藏榜: 吞噬星空捡到一个末世世界惊醒之后我的天灾小屋宇宙职业选手诸天降临之主灵笼之浴火重生我,才是怪物之王无限:从顶上战争开始我先修个避难所从紫罗兰开始的无限穿越我能制造怪物无双剑圣末世废土之火种超越进化大汉的旗帜插遍影视位面我有一家诸天管理所时空棋局我摧毁小行星被妹妹偷偷直播了制造召唤器!我在特摄搞事情星级猎人天灾收容所港综:开局拒绝卧底诸天之配角的完美人生我真没想拥有超能力诸天答题:只有我知道正确答案末日献祭录世界冒险传奇从射雕开始的诸天之旅最强末日系统末日之丧尸来袭诸天福运数据眼无限的使徒们穿梭大千人间冰器我能魔改黑科技自由旌旗位面之掠夺系统末日教皇穿越白垩纪之恐鳄传说末世拼夕夕系统无垠的战线诸天从蔡李佛开始我有一本未来日记!我有了游戏面板影视世界的影帝极品穿梭王者系统时空斗甲行重启之黑暗末世
56书库最新小说: 异相都市星际开荒:我有一颗原生态的星球超现实游戏:我是工程师超级军火商星徒龙腾宇内无限之万界公敌星际江湖恐怖通缉令生化王朝异形转生末世虫潮超弦空间无双剑圣星际修士烈空神武穿越世界的技术宅无限之勇敢者游戏单机连杀无限终焉我的主神妹妹龙骸战神黑暗国术神话复苏神服超位面征服系统最终信仰执掌无限一睡万年无限之黑暗势力崛起武幻轮回闯星际无限斩杀位面审判者时空旅行者的探险队末世超级物品商店狂暴连击最终救赎无限星域星河大时代无限之血脉进化超级战士系统重生之位面霸主最终末日无限之高端玩家生化末日之求生降临深渊武布天下地球OL