互联网

您的位置:主页 > 互联网 >

揭开谷歌AutoML的神秘面纱‘bbin宝盈国际’

发布日期:2021-09-14 23:30浏览次数:
本文摘要:(公众号:)「图普科技”编译器从Googleautoml : cuttingthroughthehype推出automl时,Google CEO Sundar Pichai在博客上说:“在神经网络的设计上非常这就是我们创立AutoML法的理由,如果有它的话,神经网络也可以设计神经网络。我们希望AutoML现在能享受一些博士享有的能力,在3~5年内很多开发者通过AutoML设计神经网络,满足其特定的市场需求。

宝盈集团

(公众号:)「图普科技”编译器从Googleautoml : cuttingthroughthehype推出automl时,Google CEO Sundar Pichai在博客上说:“在神经网络的设计上非常这就是我们创立AutoML法的理由,如果有它的话,神经网络也可以设计神经网络。我们希望AutoML现在能享受一些博士享有的能力,在3~5年内很多开发者通过AutoML设计神经网络,满足其特定的市场需求。

”谷歌首席执行官Sundar Pichai说,我们都必须设计自己的神经网络Google人工智能负责人Jeff Dean的回答,100倍的计算能力可以代替人类机器学习专家, 他是相当需要计算能力的神经架构检测(在他的TensorFlow DevSummit大会的基调演说录像中约为23:50左右)这是很多开发者“设计神经网络,符合其特定的市场需求”(来源PICT 你知道非常大的计算能力可以代替人类机器学习的专家吗? 在评价谷歌声明时,如果被说服有效应用于深奥自学技术的关键是提高计算能力,谷歌应该记住在这个领域谷歌遥遥领先,因此它将受益。如果知道这一点,我们有可能不得不销售谷歌的产品。关于其本身,并不意味着著Google的诸说是错误的,但我非常理解隐藏在他们声明背后的经济动机是合适的。

上一篇文章解释了AutoML的历史,解释了什么是神经结构搜索,并认为对于许多机器学习项目,设计或自由选择结构不是最困难、最耗时或最痛苦的问题。在今天的帖子中,我想特别关注谷歌的AutoML本身。这是一个非常引人注目的产品,试图解决问题。

什么是AutoML? 什么是入植自学? 神经架构搜索和移居自学:两个相反忽略的方法需要更多的证据。为什么谷歌的AutoML很受欢迎呢? 我们如何解决机器学习专家不足的问题? 什么是燕麦? AutoML的领域已经发展了很多年(包括开源的AutoML库、研讨会、研究和比赛),但在2017年5月,谷歌将其神经结构的搜索称为AutoML。在谷歌I/o大会发表的博客声明中,谷歌CEO Sundar Pichai写道:“这是我们创立automy法的理由,有了它,神经网络也可以设计神经网络。” ; 谷歌ai研究者Barret Zoph和Quoc Le写道:“我们的方法(我们称之为“AutoML”),神经网络控制器可以明确提出“子”模型体系结构……”。

谷歌于2018年1月推出了机器学习产品-ccle。到目前为止,只有一个AutoML Vision是用于识别或分类图像中对象的API。

根据产品页的描述,Cloud AutoML Vision依赖于自学和神经体系结构搜索两项主要技术。既然我们已经说明了神经结构探索,下次就转移到自学上来,试着理解一下与神经结构探索的关系。关于Google的AutoML和神经网络搜索的一小部分的头条新闻关注: Google Cloud AutoML还有处于阿尔法测试状态的拖放式ML产品。

我两个月前采访了申请人,至今没有得到谷歌的康复。我打算在那个发表后贴上来写文章。什么是入植自学? 入植自学是一种强大的机器学习技术,通过利用已经类似的大规模数据集训练的预训练模型,可以以小数据集和低计算能力得到最先进的设备结果。由于通过植入自习自习的模型不需要从头自习,所以与不用于植入自习的模型相比,一般来说可以用较少的数据和计算时间超过更高的精度。

入驻自学是我们免费码农简单深度自学课程整体使用的核心技术——我们的学生将其在生产过程中应用很大,既是自己的创业公司也是财富500强有力的公司。与神经网络检索相比,植入自学可能“没有那么多人”,但利用Jeremy Howard和Sebastian Ruder等植入自学技术构筑了划时代的学术成果,在6个数据集上达成了最佳分类另外,入植自学技术也是用OpenAI进一步研究这个领域的基础。神经网络搜索和移居自习:两种相反的忽略方法移居自习的基本想法是将神经网络体系结构一般化以解决问题的类似类型的问题。

例如,许多图像具有与其他类型的图像完全相同的基本特征(角、圆形、狗的脸、车轮等)。相比之下,神经结构搜索解决问题的基本理念正好相反:每个数据集都有自己的高度专业化的结构。从Matthew Zeiler和Rob Fergus的例子中,图像分类器学习的四个特征是,角、圆、狗的脸和车轮在神经结构的搜索中发现了新的结构时,必须从最初开始自学该结构的权重,但转移到自学方法时,需要预先训练从这个意义上来说,你不能同时用于神经结构的搜索和转移到自学解决问题一样的问题。

如果你在自学新结构,你必须为此训练新的权重。如果使用实训模型转移到自学,就不能对体系结构进行实质性的变更。当然,可以将移居自学应用于通过神经结构的搜索方法学到的结构(我指出这是个好主意! 中选择所需的墙类型。

这只有少数研究者用于神经结构的探索,必须是他们要找的模型的开源。当可以转移到自学解决问题时,所有的机器学习者都不适合用于神经结构搜索方法。

但是,杰夫dean的主题演说、Sundar Pichai的博客文章、谷歌cloud的宣传资料、媒体报道指出了忽视的观点:每个人都需要神经结构检索。神经结构搜索有什么好处? 神经结构探索有助于寻找新的结构! Google的AmoebaNet通过神经网络搜索自学,fast.ai响应得到改进,自学过程变慢的同时训练中的图像尺寸发生了变化。

AmoebaNet是在一台机器上训练ImageNet的最便宜的方法! AmoebaNet没有考虑到有扩展能力的奖励函数而设计,因此不能像ResNet那样扩展到多个设备,但对于性质不同的可以很好地扩展的神经网络,将来自动自学的可能性很高。我需要更多的证据。目前没有证据表明每个数据集不是对现有模型进行微调,而是对自己的自定义模型建模最不好。

神经结构搜索需要更大的训练集,因此对小数据集来说尤其如此。甚至谷歌自己的研究也不是为每组数据(如NASNet )找到新的体系结构,而是在Cifar10上自学体系结构模块,用于构建ImageNet的体系结构。

我还没听说过机器学习比赛的胜者被用于神经结构检索。另外,不告诉我们谷歌展开的需要计算能力的神经架构的搜索方法是否具有明显的优势。例如,最近有高效的神经网络检索(ENAS )和微架构检索(DARTS )等论文,明确提出了更有效的算法。

DARTS只需4个GPU工作日即可掌握体系结构,但NASNet需要1800个GPU工作日,AmoebaNet为3150个GPU工作日(全部由Cifar-10自学,精度完全相同)。杰夫dean是ENAS论文的作者,在论文中明确提出了计算能力低1000倍的技术,这可能与他一个月后在TF DevSummit大会上特别强调计算能力低100倍的方法不完全一致。为什么谷歌燕麦粥很受欢迎? 鉴于上述允许,为什么Googleautoml的简单性还没有被验证(至少到目前为止)? 1 .有人指出,谷歌的AutoML更强调了盈利企业在设立学术研究室时可能面临的风险。

在这种环境下,人们很容易以有趣的学术研究为中心构建产品,而不评价是否满足实际的市场需求。许多人工智能初创企业(如MetaMind和Geometric Intelligence )在被收购时还没有推出同样的产品。我对创业公司创始人的建议是不要把你的博士论文投入生产或只录用学术研究者。2 .谷歌擅长市场营销。

许多门外汉指出人工智能是一个难以接近的可怕领域,他们指出不能评价这些声明,特别是谷歌这样的知名公司发表的声明。很多记者也是如此,没有特别批评就把谷歌的广告宣传写成了热文。

我定期和那些不专门研究机器学习领域的人聊天。他们没有被谷歌ML产品使用过。我对这些产品很感兴趣,但真的很有名。介绍谷歌讽刺误解报道的典型例子。

谷歌人工智能研究者发表了题为“用深奥的自学技术修复确实的人类基因组”的文章,将自己的工作与诺贝尔奖获得者的发现联系在一起(狂妄! 这篇文章刊登在Wired名次上。但是,约翰斯霍普金斯大学生物医学工程、计算机科学和生物统计学的优秀教授Steven Salzberg反驳了谷歌的投稿。

Salzberg认为这项研究实质上没有修复人类基因组,认为“这是对现有软件的改良,也有可能还没有改良”。其他很多基因组学研究者赞成Salzberg的见解。谷歌正在开展真正的工作,如果不验证这么多误解明确什么是合理的,那份工作就不会更容易被否定。

3 .如果我们被说服了,相信有效用于深造自学技术的关键是提高计算能力,谷歌由此受益。因为谷歌在这个领域遥遥领先。AutoML一般要做大量的计算。

例如,要自学AmoebaNet,谷歌必须在450个K40 GPU上训练7天(等于3150个GPU工作日)。工程师和媒体经常热衷于计算能力和其他更大的东西,但历史指出创造性是基于制约和创造性产生的。

谷歌用于以庞大的计算能力处理大量的数据。我们现在生活在资源有限的制约世界里,你知道这个方法可以一般化来解决问题吗? 想法不是把事情做大,而是用不同的方法解决问题。fast.ai证明最近在斯坦福大学的DAWNBench比赛中取得了顺利。

问题如何解决机器学习专家不足的问题? 回到杰夫dean在TensorFlow DevSummit的基调演说中明确的关于机器学习者全球不足的问题,我们可以从另一个角度解决问题。我们可以通过仅次于障碍的几种方法避免用于深度自学:1.易于使用深度自学2现在作为标准方法的一些发现包括• Dropout允许训练小数据集,成为过剩的数值• Batch normalization可以放慢训练的速度。• Rectified linear units有助于防止坡度爆炸。

为了几个目的提高易用性的最近的研究还包括自学速度查询器使训练过程更顺利。超发散减慢训练速度,增加计算资源。

现有体系结构的“Custom heads”可以更好地重建体系结构,以解决一系列问题(例如,更改ResNet作为分类以查询边界板或展开样式) 这些搜索与计算能力无关。无视,这些都是用来用创造性的方法解决问题的。为深度自学而神秘化的另一个障碍是使许多错误观念深刻的自学不适合他们很多人相信只有机器学习领域的博士需要用于深度自学技术,许多公司因为雇不到专家而进入这一方面但事实上,公司不仅可以训练他们数量的员工作为机器学习专家,这也是更错误的做法。

因为你现有的员工已经具备了你的专业领域的专业知识。他指出,对大多数和我聊天的人来说,深度自学的转移门槛超过了他们的预期。你只需要一年的编码经验和访问GPU的权限。减少采访权限: Googlecolabnotebooks认为,云GPU (每小时约50美分)的成本在我们大多数人的支出范围内,但如果定期与世界各地的学生联系,有些学生几乎无法分担GPU的使用。

在一些国家,即使有钱人也不会因为银行和信用卡的规定而难以使用AWS等服务。谷歌colabnotebooks是解决方案! Colab Notebooks获得了Jupyter笔记本电脑环境。必须设定为可以使用。

几乎在云中运行,不允许长时间使用GPU,但允许采访免费GPU。它还可以用于创建包含在交互环境中执行的代码示例的文档。谷歌colabnotebooks在构建深度自学大众化方面达到了AutoML。

这可能会成为未来谷歌营销设备的更好的自由选择。相关文章:谷歌大脑文章分析AutoML :神经网络如何自己设计神经结构? |谷歌I/o 2017暴露|谷歌自动化机器学习认识这样的上帝吗? 技术人员创始人夏粉:用AI构建AI版权文章,发出许可禁令刊登。以下,听取刊登的心得。


本文关键词:揭开,谷歌,AutoML,的,宝盈集团,神秘,面纱,‘,bbin,宝盈

本文来源:宝盈集团-www.biquge01.net

微信扫码 关注我们

  • 24小时咨询热线

    24小时咨询热线034-324517046

  • 移动电话11116930126

Copyright © 2006-2020 www.biquge01.net. 宝盈集团科技 版权所有 地址:黑龙江省绥化市青冈县费算大楼80号 备案号:ICP备41704118号-3 网站地图 xml地图