大量数据驱动,深度学习训练的完美组合

电工电气网】讯

从1956年夏天在达特茅斯首次提出人工智能概念以来,人工智能技术的发展已经走过了60余载。如今,随着数据量的爆炸性增长、计算能力的大幅提升以及深度学习算法的成熟,人工智能在第三次浪潮中迎来了“奇点”,基于图像识别、语音识别以及自然语言处理等技术的人工智能应用开始大量兴起,并且在真实的商业世界中扮演着越来越重要的角色。

图片 1

人工智能不再只是存在于让人们对未来充满梦想的科幻小说和主题电影中,如今已广泛应用于从生产制造到医药的各个行业领域。

然而,不可忽视的是深度学习对于算力和存储的渴求可谓是极其迫切,尤其是随着模型规模不断增大,数据量的不断增加,深度学习用于训练的神经网络深度也不断增加,传统计算平台的算力和存储性能的瓶颈逐渐显现。对于大部分人工智能公司而言,计算和存储性能的不足已经成为其人工智能之路上的重要挑战。

自动驾驶汽车企业Drive. ai。

此外,当今社会主要是数据驱动的。智能手机和健身追踪器等工具大量收集个人数据,而企业则依靠业务数据和专业平台对业务未来发展做出更明智的决策。

图片 2

6月26日,据外媒报道,苹果公司于25日向科技媒体Axios确认,已经收购了自动驾驶汽车企业Drive. ai,并已雇用了该公司数十名工程师,其中大部分工程师从事工程和产品设计工作。Axios称,这意味着苹果并未放弃自动驾驶项目。

人工智能如何适应这个已经拥有大量数据的世界,将如何带来影响?随着人工智能的采用加速,它可能会增加对云计算和数据中心容量的需求,因为企业将会创建大量数据,并提供分析数据的计算能力。

地平线作为一家全球估值领先的人工智能芯片独角兽,在其人工智能产品研发过程中也遇到了类似情况,自身数据中心的计算和存储逐渐显露出性能短板。不过,地平线公司与国内领先的公有云服务提供商、英特尔公司共同合作,构建基于高性能云物理主机(Elastic Physical Compute,简称EPC)集群的模型训练计算平台,并且充分发挥英特尔傲腾性能、低延迟以及稳定性的优势,走出了一条云上构建高效深度学习平台之路。

2017年,Drive. ai曾被估值2亿美元。据Axios报道,苹果公司约于3周前接触Drive. ai,但并未透露具体收购价格。

例如,亚马逊网络服务公司表示,在其平台上使用人工智能工具的数量比去年增加了250%。亚马逊网络服务人工智能部门总裁Matt Wood博士日前在召开的纽约AWS峰会上表示,“机器学习正在经历云计算的复兴。我们可以存储尽可能多的数据,并根据需要来调低计算量。大多数的限制和束缚已经融化在云端。”

不可忽视的性能短板

Drive.ai成立于2015年,致力于用深度学习的算法和人工智能技术发展自动驾驶。AI领域的顶级专家吴恩达目前为Drive.ai的董事,其妻子卡罗尔·莱利(Carol Reiley)则是该公司的创始人之一。吴恩达曾出任过百度首席科学家。

业务采用将带来更多的人工智能的数据存储

地平线是一家全球著名的人工智能创业公司,拥有世界领先的深度学习和决策推理算法开发能力,其自主研发的AI芯片和算法主要应用于智能驾驶、智慧城市和智慧零售等应用场景。

据科技媒体The Verge报道,一年前Drive. ai还是最炙手可热的自动驾驶科技公司,以深度学习和智能躲避道路障碍物闻名,但现在Drive. ai也陷入困境之中。

一项研究对北美和欧洲地区的1,000多名IT专业人士在2018年的业务计划进行了调查。调查表明,受访者预计在2018年人工智能的采用率将增加30%。值得注意的是,13%的受访者表示他们的公司已经开始使用人工智能。

众所周知,深度学习本质就是一种大规模的神经网络,其模型训练通常需要规模庞大的高性能计算集群来完成,并且需要大量小文件数据样本进行持续训练。业界普遍认为,深度学习至少要从十万个样本起步。自动驾驶领域是深度学习一个重要的应用领域。在自动驾驶领域,深度学习对于数据样本的要求则会更高,当前一辆自动驾驶汽车一天收集的样本就是上百万张高清图像,并且需要不断地对这些海量数据样本进行持续学习。以地平线面向智能驾驶的算法为例,地平线预测未来一辆自动驾驶汽车每天在路上产生的数据就高达4TB。

The Verge指出,Drive. ai正面临逐渐冷却的自动驾驶市场。投资者已向自动驾驶初创公司投入了数十亿美元,但其中许多已经延后其进度表,或遇到技术障碍。许多专家认为,自动驾驶技术还需要几十年才能成熟。

这些统计数据有力地表明,企业用户将极大地激发寻找存储人工智能数据有效方法的需求。

图片 3

据旧金山纪事报报道,Drive. ai提交给加州就业发展局的文件显示,Drive. ai将于本周五关闭办公室,裁撤CEO等高管职位。虽然关闭办公室,裁减人员,但Drive. ai仍表示向收购方案敞开大门,并可能因此为公司带来转机。

用于人工智能数据的技术必须具有一些优良特性来应对人工智能存储和处理。这些特性包括始终可用的充足空间,运行存储系统软件阵列的错误检查,自动化功能,用户友好性,以及更高的性能。

尤其是,随着深度学习训练数据的不断扩容,以及训练过程中的高并发和高 IO 需求,地平线专家团队意识到自身数据中心中存在的各种短板,尤其是在存储系统的短板最为突出。首先,旧有存储系统在低延迟数据访问、海量小文件存取以及扩展性方面都有待提升,已无法弹性应对地平线深度学习所需的海量数据读写。其次,地平线由上一代固态盘、硬盘组成的存储基础设施,也无法提供与强大计算力相匹配的 IOPS能力,形成了明显系统性能瓶颈。

据科技媒体9to5mac从领英上统计的数据,目前至少已有5名工程师跳槽苹果公司,从事“特殊项目”。9to5mac表示,在目前该阶段,还不确定苹果公司是否会对Drive. ai进行全面收购,或只是招聘部分员工,收购方案可能还在讨论之中。

全闪存系统提供这些优势,使其成为满足人工智能存储需求的理想选择。它们比磁盘阵列的存储速度要快约一千倍。

因此,构建起实现弹性扩展的数据处理与训练的深度学习平台就成为地平线专家们的当务之急。

存储和处理的需求逐渐增加

云计算为深度学习提供源源不断的动力

关于人工智能的另一个重要因素是,随着时间的推移,许多应用程序需要更强大的存储和处理技术。与此类似地,要求其处理速度不能随着新数据的存储而变得迟缓,而必须始终保持快速处理。

在公有云上进行深度学习训练可谓是目前人工智能应用中一个重要的趋势。公有云拥有强大的算力,并且拥有弹性、可扩展的特点,能够提供源源不断的计算力,在云端通过深度学习不断进行大规模训练,并且不断将训练好的新模型部署到本地应用之中。为此,为了应对深度学习系统日益增长的计算力和存储能力需求,除了自建数据中心以外,地平线也将目光投向日趋成熟的云服务。

例如,深度学习是人工智能的一个子集,它涉及随着数据集的增长而变得更加准确的算法。许多存储系统都是为了容纳大量数据而构建的,但不能将其传送到目的地。但是,人工智能需要能够将数据发送到算法位置的存储技术,从而使智能技术发挥作用。

地平线选择了金山云EPC集群作为模型训练计算平台,并且借助英特尔领先产品和技术提供的强大计算、存储和网络性能,为这一深度学习平台构建了基于 Ceph 的高性能分布式存储系统。由英特尔傲腾固态盘DC P4800X与传统机械硬盘组合构建的分层存储能力,使得地平线深度学习平台存储系统在读写速度、存储容量以及成本控制方面都获得了可观的收益。

此外,深度学习导致2015-2017年的数据计算需求增加15%。随着人们越来越多地使用人工智能,并越来越意识到它的潜力,他们将需要能够处理人工智能产生的大量数据的存储和处理解决方案。必须立即访问内容以帮助人工智能技术正常工作。

图片 4

当前和未来数据密集型人工智能技术的详细信息

图:金山云EPC集群架构图

预测显示,到2025年,人工智能市场规模将达到368亿美元。分析师表示,只有当人们弄清楚如何帮助相关技术变得像人类一样聪明时,其价值和使用案例才会上升。

金山云EPC 云服务是金山云基于裸金属服务器理念构建的创新型云服务产品,其可为地平线提供性能卓越的独享物理服务器,通过安全、稳定、便捷的计算、存储服务帮助地平线快速构建高性能的深度学习应用平台。同时,金山云优秀的云网络架构,也能让地平线可以在云环境中方便地配置和使用物理服务器,既享受独享物理服务器带来的高性能,也能方便地获取负载均衡、弹性IP等各类网络服务,并可进行便捷的网络部署与管理。

Drive.ai公司是一家位于德克萨斯州弗里斯科的人工智能服务商,该公司推出了一项为乘坐自动驾驶汽车的居民提供运输服务试点项目。这个项目将配备一名司机以保证安全,但并不会一直如此。该公司的自动驾驶汽车应用程序使用深度学习神经网络控制驾驶。这采用的是人工智能算法,通过依靠连接的网络来学习数据中的模式。

除了向地平线深度学习应用提供强有力的计算力支撑,金山云 EPC另一个重要任务是为其提供高效、可扩展的存储系统。为应对不断扩展的海量训练数据集,地平线利用金山云 EPC 提供的弹性、易扩展能力,构建了基于Ceph的高性能分布式存储系统。Ceph 开源分布式存储系统将文件分割后均匀随机地分散在各个 OSD 节点上,并采用CRUSH 算法来确定文件的存储位置。通过解析集群的拓扑结构,地平线深度学习应用可以直接计算出文件的存储位置,直接跟OSD节点通信获取文件,而无需通过询问中心节点来获取文件位置。

这些算法允许自动驾驶汽车根据在真实环境中所看到的内容和情况做出决定。这种技术的支持者认为这是一个理想选择,因为它的工作方式类似于人类学习的方式。但是,现在说Drive.ai能够在市场上取得成功还为时尚早。

这一“去中心化”的设计,不仅大大地提升了数据访问与处理性能,更有效降低了金山云 EPC 存储集群的管理复杂性,并显著提高了可用性及可扩展性。同时,其采用存储节点与访问节点分离的设计,也使得地平线深度学习应用的 IO 请求上升时,可为其单独扩充访问节点来提高读写性能,从而带来良好的弹性扩展能力。另外,Ceph 还对固态盘,以及分级存储有着良好支持,这也能够有效地提升数据读写效率。

无论Drive.ai公司的业务未来发展如何,自动驾驶无疑将成为激发寻求人工智能数据和检索可行选项的需求的因素之一。据英特尔公司估计,在一辆自动驾驶汽车行驶8小时后,它将生成并接收大约40TB的数据。

傲腾让深度学习如虎添翼

智能家居技术市场也将在为人工智能数据做出贡献方面发挥重要作用。到2023年,研究人员预计全球智能家居市场规模将达到令人难以置信的1506亿美元,并相信欧洲将在此期间增长最快。这部分归功于英国要求2020年每个家庭都将安装智能电表。

深度学习对于存储的性能要求尤为苛刻。在深度学习的模型训练中,算法通常需要随机读取训练集中的训练样本来进行训练,像自动驾驶这样的深度学习典型应用场景中,通常都是对于海量小图片进行读取,当训练规模不断增大之后,对于存储系统的IOPS提出了极高要求。因此,地平线在利用深度学习方法研发AI芯片和算法过程中,对于海量数据的快速处理有着强烈的需求。

人工智能和智能家居技术

但是,传统机械硬盘受制于其物理结构,其IOPS性能并不理想,在应对地平线深度学习应用所需的小文件高频次读写需求时,难以胜任。如果采用全固态硬盘的方式,固然可以提高IOPS能力,但是昂贵的价格也会带来巨大的成本压力,并且会限制存储系统容量的扩展需求。

智能家居市场也包含无数其他小工具。例如,回答人们问题的智能扬声器,可以控制智能灯光和恒温器,并帮助用户通过语音在线购物。

图片 5

采用人工智能的家庭安全摄像头可以识别熟悉的人的面孔,并允许用户从任何地方检查他们的住所。用户可以回顾其存储汇编的视频,例如,某人希望在其外出度假的那一周看到家中发生的一切。

图:英特尔傲腾 HDD构成的分级存储模式

此外,一家名为Cortica的以色列人工智能研究公司与印度Best Group公司建立了合作伙伴关系。Cortica希望使用人工智能算法在公共场所(如购物中心、体育场馆和市中心)分析数百TB的摄像头数据。

为此,金山云 EPC存储集群中采用分级存储方案来实现性能与容量之间的平衡。非活动数据被存放在由12块8TB 容量机械硬盘组成的存储池中,而活动数据则被置放在由375GB版本的英特尔傲腾固态盘DC P4800X构成的缓存区中。当地平线深度学习应用对数据进行访问和操作时,Ceph 分布式存储系统的内部处理器将优先读写缓存区中的数据,如果数据不在缓存区中,Ceph 会通过请求命中算法、缓存刷写算法、缓存淘汰算法等方式将数据从存储池中“提取”到缓存区中。通过这一方式,既可使热数据被高效地访问和操作,缩短数据的访问时延,也能以更合理的成本承载地平线深度学习应用所需的海量数据。

安全技术已被用于识别人们的面孔和车牌,但Cortica公司的技术超越了这些能力,试图发现人们在从事非法活动时可能出现的行为异常。

英特尔的傲腾固态盘可谓是让地平线深度学习训练如虎添翼。傲腾固态盘是基于创新的英特尔3D XPoint技术,以及一系列先进系统控制器、接口软硬件构建的全新存储产品。根据测试数据显示,英特尔傲腾固态盘DC P4800X 的 随机写IOPS 最高可达 500,000,同时读取响应时间低于10微秒,并可承受最高2 GB/秒的随机写入压力。与传统NAND介质的固态盘相比,傲腾在IOPS、低延迟以及稳定性方面有着突破性的提升,非常适合于大数据、高并发的应用场景。

在构建算法时,程序员依赖于实验室中的老鼠,将其大脑连接电极。然后研究其大脑皮层对某些刺激的反应。由于采用这种方法,开发人员说,如果技术出错,他们将能够追踪发生在单个文件或进程中的事件,从而实现有针对性的再培训。

图片 6

Cortica公司的技术仍处于早期阶段。然而,由于掌握了所有数据,并且人们有办法重新审视它,因此如果其应用达到主流采用的程度,那么Cortica公司为了满足大量人工智能的数据需求将会提供更多的产品和服务。

地平线在使用了采用傲腾固态盘的存储集群之后,也认为相比于上一代的SATA接口固态盘、采用NVMe接口的DC P3700在性能上都有大幅提升,为地平线深度学习应用带来强劲的存储能力支撑。

人工智能的进步取决于高性能数据解决方案

此外,地平线还将傲腾固态盘来承载Ceph Journal。Journal 是Ceph 分布式存储系统最重要的安全机制之一,一旦发生停电、宕机或其他意外事件时,Ceph 可利用Journal 进行系统重建。Ceph Journal中记录着存储系统事无巨细的数据,IO请求极为密集,采用傲腾固态盘来承载Journal,无疑让Ceph读写性能获得显著提升。

从广义上讲,人工智能应用程序在获得大量数据编程后即可运行。然后,他们中的许多人通过大量的重复应用来学习,例如当居民每周将智能恒温器设定在相同的温度。

打造深度学习训练的完美组合

在这些流程的所有阶段,人工智能都会存储数据并需要快速检索。相比之下,一些传统的存储系统有足够的空间,但可能无法快速检索。

根据Garnter报告显示,2018年全球人工智能市场规模将达到1.2万亿美元,同比增长70%。近年来,随着以地平线为代表的一大批人工智能企业诞生,以及它们对于新一代人工智能应用场景的探索,使得深度学习在很多业务场景中得到了广泛采用。地平线利用云服务 傲腾存储的组合进行深度学习训练可谓是人工智能企业利用云业务来提高AI研发效率的典范,通过云服务 傲腾存储这对完美组合,让地平线的深度学习更加高效和弹性,大幅提升了整个AI研发和应用的效率。

除了需要更快的存储系统外,人工智能还需要更强大的硬件来处理数据,训练算法,并在自动驾驶等应用中做出实时决策。用于人工智能工作负载的新硬件正在为每台设备提供更多计算能力,从而提高功率密度。因此,数据中心需要处理服务器和机架或机柜中的功率以及随之而来的热量。这一趋势正在挑战数据中心冷却的传统做法,并促使数据中心运营商采用新的战略和设计。

随着业务的不断深入,未来一定会有越来越多的人工智能公司采用云服务 傲腾存储的方式来部署日常的深度学习训练,加快人工智能技术在各个行业业务场景中的应用。

作为这一趋势的一个例子,谷歌公司正在将液体冷却用于其最新的人工智能硬件,因为其新型张量处理单元产生的热量超过了之前数据中心冷却解决方案的液体冷却能力。

本文由一分钟一开的彩票平台发布于一分钟一开的彩票平台,转载请注明出处:大量数据驱动,深度学习训练的完美组合

您可能还会对下面的文章感兴趣: