首页 > 传媒 > 关键词 > AI内存最新资讯 > 正文

第四范式率先发布应用持久内存技术的AI内存数据库

2019-08-09 20:17 · 稿源:站长之家用户投稿

8 月 2 日,第四范式联合英特尔共同举办了AI实践者之声夏令营活动。活动中,针对如何通过软硬件协同优化、解决企业在应用AI过程中的算力挑战这一问题进行了探讨。第四范式机器学习系统架构师刘一鸣在“软件定义算力——打造AI转型最佳实践”的分享中介绍了第四范式&英特尔联合实验室的成果进展:在面向AI的海量数据请求、高维实时特征计算的应用场景下,基于英特尔®傲腾™数据中心级持久内存(Intel Optane DC Persistent Memory,DCPMM),实验室将不同访问频率的特征数据进行自动分级存储,在充分保证高维机器学习系统的稳定性及计算效率的同时,降低了存储成本,为企业规模化的应用AI提供了有力保障。此次合作也是国内首个将DCPMM软硬一体技术在AI内存数据库领域的应用实践。

如今,越来越多的企业意识到了AI在智能化转型过程中的重要作用,应用AI需求迫切,能否产出极致的模型效果成为企业应用AI的重要评判标准。刘一鸣提到,实现极致效果的关键在于海量数据、高维模型、实时特征三大要素。海量数据、高维模型能带来更好的AI效果,但是越复杂的特征,对计算和存储的需求也就越大,尤其是在线服务,如何在有限的资源内做到毫秒级计算至关重要。此外,数据的价值往往是随着时间的增加而递减的,尤其在决策类场景中,实时的信息更能帮助AI做出更精准的决策。以反欺诈为例,同一张信用卡一秒内连续刷卡两次,若反欺诈系统及时获取两笔交易信息,则会很容易判定其中一笔为盗刷行为,提高识别准确率,若系统未能及时获取交易信息便无法充分利用交易数据的价值。

为此,第四范式自主研发了实时特征存储引擎RTIDB。作为面向AI硬实时场景的分布式特征数据库,RTIDB具备高效计算、读写分离、高并发、高性能查询等特性,对Scan操作友好,使性能达到最大化。经测试,RTIDB性能比主流数据库快 5 倍。目前已广泛应用于反欺诈、反洗钱、营销、推荐等多个场景。但在实际的业务场景中,RTIDB也因传统DRAM内存在容量、成本等方面的限制,难以充分发挥其优势。

DCPMM的出现,为满足AI硬实时、低成本、高计算性能等方面提供了支持。持久内存是介于DRAM和SSD间的新存储层级,不仅能提供接近DRAM的延迟,同时还可提供持久化和更大容量的存储空间,通过RTIDB进一步释放AI存储的算力。

在存储策略方面,刘一鸣也分享了第四范式在帮助企业AI应用落地的过程中沉淀的优化方案。在大多数决策类业务场景下,数据是以表形式存在,当表数据过大时,无法将其完整的放入到传统内存中。为了实现数据的快速查询,根据机器学习数据距离越近访问频率越高的特点,RTIDB通过分级存储的方式,将秒级别的硬实时数据存放在DRAM或DCPMM中;将小时级别的软实时数据存放在SSD中;将周级别甚至更长的数据存放在硬盘中,最大化利用不同级别的存储性能,达到更优的性价比。

在线上灾备能力方面,第四范式通过更精准的数据切分和NUMA控制,保证所有DCPMM的数据访问均为延迟更低的同一Socket下的内存访问;利用Tiered Storage架构,进行冷热数据分离,使用SSD/Disk存储软实时及历史数量,进而充分利用DCPMM独有的持久化及大容量特性,将RTIDB的全量数据保存在DCPMM中,从而使不依赖Snapshot的内存数据库重启恢复成为可能。同时,使用DRAM作为热数据缓存,使得基于DCPMM优化的RTIDB不仅能获得稳定且接近于DRAM的低延迟,还可达到比以往更快的重启恢复速度。

在成本优化方面,由于部分业务场景数据量过大,以往企业必须增加节点数提高内存容量以满足业务需求,造成成本增加。采用DCPMM之后,在满足容量和性能前提下,硬件成本降低 1 倍。

此外,双方还基于英特尔Cascade Lake-AP处理器的全新AVX512 指令集、多核心及主频利用率和CLX AP微架构IO总线的利用率进行全面优化,使得在超大规模机器学习训练场景中,基于“第四范式先知”平台软硬一体技术优化的Cascade Lake-AP处理器及平台每单位价格性能提升50%以上。

目前,基于英特尔Cascade Lake-AP处理器、傲腾™持久内存的软硬一体技术已应用在第四范式企业级AI软硬一体集成系统SageOne中,为AI训练、AI推理引和AI特征存储三大引擎提供全面支持。

第四范式副总裁郑曌在活动中表示,未来双方还将在软硬一体技术、面向AI的高性能计算等方面展开深入的合作,通过英特尔领先的软硬件产品,结合第四范式在AI领域的深厚积累以及研发优势,依托企业级的“第四范式先知”平台,加速企业规模化应用AI的进程,推动AI技术的创新和落地。

免责声明:“站长之家”的传媒资讯页面文章、图片、音频、视频等稿件均为自媒体人、第三方机构发布或转载。如稿件涉及版权等问题,请与我们联系删除或处理。稿件内容仅为传递更多信息之目的,不代表本网观点,亦不代表本网站赞同其观点或证实其内容的真实性,更不对您的投资构成建议。我们不鼓励任何形式的投资行为、购买使用行为。

  • 相关推荐
  • 大家在看
  • 关于数据库的高可用高可靠,华为RDS有话说

    不知从何时起,“6·18”成为了“购物节”,这种全民狂欢式购物对电商行业是一个巨大挑战。 618 大促毫秒必争,短时间的高并发会给数据库带来巨大压力。面对暴涨的业务、暴增的订单,企业该如何确保数据库稳定性和可靠性呢?不要担心,华为云数据库的这份应对策略,时刻为您保驾护航。对于数据库来说,可用性和可靠性是永恒的话题。数据库管理员会按照业务的不同要求选择不同的策略保证系统正常运作,其中包含数据库本身内核提供的?

  • 蚂蚁集团自研数据库业务OceanBase独立 胡晓明任董事长

    今日,蚂蚁集团宣布将原有自研数据库产品OceanBase独立,成立由蚂蚁100%控股的数据库公司北京奥星贝斯科技,蚂蚁集团CEO胡晓明亲自担任董事长。

  • “投资数据库”百家号有什么作用?企业品牌必须知道的推广渠道

    备注:本文数据来自站长之家移动传媒平台,文章涉及的数据依托平台大数据计算所得,非百度官方数据,仅供参考。投资数据库是当前百家号中的普通号,目前账号百家号权重为2,综合排名位列779805名,财经分类排名位列18487名,领先了30.2%的百家号。 投资数据库百家号概况 投资数据库的简介为致力于最专业的投资数据服务,是一家主旨明确、领域专注的自媒体作者,截止目前为止他们已经在百家号上发布了超过23篇的游戏内容,最近该作?

  • 黑客泄露暗网托管服务商DH数据库 涉及七千多个帐户密码

    一名黑客日前在网上泄露了全球最大的免费暗网托管服务商Daniel's Hosting (DH)的数据库。当前泄露的数据是,今年 3 月 10 日黑客入侵DH获得的。当时,遭黑客攻击之后,近 7600 个暗网门户网站关闭,攻击者删除了托管门户网站的整个数据库。

  • 数据库业务OceanBase升格为独立公司 蚂蚁集团CEO胡晓明任董事长

    【TechWeb】6月8日消息,蚂蚁集团今天 对外宣布,将自研数据库产品OceanBase独立进行公司化运作,成立由蚂蚁100%控股的数据库公司北京奥星贝斯科技,并由蚂蚁集团CEO胡晓明亲自担任董事长。据了解,新公司将在今年内发布重大版本升级,并计划在未来三年内服务全球超过万家企业客户。对OceanBase独立公司化运作一事,蚂蚁集团表示,“科技是蚂蚁集团的基因,也是蚂蚁集团重要战略方向。经过十年的发展,OceanBase支撑了支付宝、网?

  • 阿里云发布六大新品:第七代ECS、PolarDB-X数据库等重磅登场

    【TechWeb】6月9日消息,在2020阿里云峰会上,阿里云宣布推出第七代ECS、POLARDB-X数据库、视觉智能开放平台等重磅新品。此外,阿里云还发布了新一代数据中台、混合云管理平台、云原生数据仓库等产品及解决方案,目前这些产品均已在阿里云官网上线。第七代ECS高主频实例基于阿里云自研的神龙服务器架构,第七代阿里云ECS的算力比上一代提升了160%,最大支持192个vCPU,吞吐能力提升了一倍,并在存储转发能力、延时、稳定性上有了?

  • 云测数据:场景化AI数据 破解智能家居“伪智能”

    据IDC的数据研究报告显示,近5年内智能家居市场将以14.9%的复合增长率增长。得益于物联网、人工智能、5G等新型技术的飞速发展,智能家居在短短数年间就已经相继渡过了“自动化”、单品智能化”、“物联网+家居场景”三个阶段,进入了当前的“人工智能+家居场景”的“智能”阶段,开启了智能家居对人的思维和意识的学习与探索。现阶段的智能家居融合了IoT、人工智能、边缘计算等信息技术,以前影视片段中一声令下就能控制所有家具电器、?

  • 产业升级新动能 —— 看AI数据如何推动驾驶的智慧变革

    为了充分展示前沿科技在产业智能化转型中的需求和经历,Testin云测推出了【产业升级源动力】系列文章,从业务实践和行业场景出发,解析如何借助前沿科技推动产业转型和业务创新。从 1886 年的卡尔·弗里德里希·本茨发明出汽车开始,拓宽了人们的出行半径,加速了人流与物流的流动速度。到 1939 年,第一款配备自动变速器的汽车问世,解放了驾驶员的右手(左舵驾驶,右舵驾驶则解放左手),再到世纪交替时,ACC自适应巡航解放了驾驶?

  • 产业升级新动能——看AI数据如何唤醒家居的智能感知

    为了充分展示前沿科技在产业智能化转型中的需求和经历,Testin云测推出了【产业升级新动能】系列文章,从业务实践和行业场景出发,解析如何借助前沿科技推动产业转型和业务创新。头顶“鸡窝头”,手捧“快乐水”。从卧室到洗手间,再从洗手间到餐桌叫个外卖,一会从餐桌到客厅,一会儿又从客厅到了卧室,顺带着偶尔下楼扔扔垃圾......接着在《想见你》中推理爱情、在《向往的生活》中寻找惬意,或是在孙燕姿出道20年的线上演唱会中感受了一?

  • 中国内存又多一家!雷克沙正式进军内存

    提起“雷克沙”(Lexar),关注存储尤其是闪存存储的玩家应该都很熟悉,它来自美国硅谷圣何塞,2006年被美光收购。2017年8月,雷克沙又被中国深圳江波龙(Longsys)收入囊中,变成了一个

  • 鲲云科技发布全球首款数据流AI芯片CAISA 打造更高算力性价比

    【TechWeb】6月23日消息,鲲云科技今天正式发布全球首款数据流AI芯片CAISA,该芯片定位于高性能AI推理,目前已完成量产。据介绍,鲲云通过自主研发的数据流技术在芯片实测算力上实现了技术突破,较同类产品在芯片利用率上提升了10倍。第三方测试数据显示仅用1/3的峰值算力,CAISA芯片可以实现英伟达同类产品最高3.91倍的实测性能。鲲云科技成立于2016年,聚焦于基于数据流架构的定制AI计算引擎,其自主研发的CAISA架构已有近三十?

  • AI落地最新前沿,达观数据携多款机器人新品将亮相世界人工智能大会

    备受关注的“ 2020 世界人工智能大会云端峰会”即将拉开帷幕。此次峰会由上海市政府主办。世界人工智能大会自从 2018 年以来成功举办了两届,伴随着上海人工智能产业发展从起步到壮大,已成为行业内具有一定国际影响力的品牌活动。本届大会在上海市经济和信息化委员会及相关委办局、区政府的指导下,国内文本智能处理领军企业达观数据携手浦东青联将举办“智能时代,‘语’你同行”行业论坛。 疫情之下,各行各业对线上自动化与?

  • 华米科技AI创新大会今日开幕,共同见证AI解构健康未来

    2020年 6 月 15 日消息,今天下午,全球领先的智能可穿戴公司华米科技(NYSE:HMI)将于中国合肥举行首届AI创新大会,本届AI创新大会以「AI to Decode Future」为主题,将与全球 AI 领域专家一道,规划 AI 与健康结合的新蓝图,用 AI 解构未来,让科技连接健康。一直以来,华米科技在探索 AI 的路上从未止步,并在人工智能领域取得一定的技术积累。2017 年,华米科技成立人工智能实验室,启动人工智能可穿戴芯片研发,并将目标锁定?

  • 苹果iPhoneApp资源库怎么用 iOS14App资源库使用方法

    苹果在iOS14系统中加入了App资源库的功能,这个功能就是将相同类型的应用添加到同一个组合当中,便于用户快速找到对应的程序应用,这里我们来一起看下App资源库具体的使用方法。

  • 联发科独立AI处理器APU3.0,手机AI应用的原动力

    近年来,手机在语音助手、AI拍照、视频优化、VR/AR游戏等方面的AI应用快速发展,手机想要实现这些AI应用,需要芯片提供足够强大的AI算力和低功耗效能,因此手机芯片厂商纷纷在SoC中加入了独立的人工智能处理器,用于专门进行AI运算。例如联发科的天玑系列5G芯片,无论是主打高端市场的天玑 1000 系列,还是主打中高端市场的天玑 800 系列,都搭载了联发科自研的独立AI处理器 APU 3.0。早在 2018 年,联发科就开始将独立AI处理器内?

  • Gravitylink推出钛灵AI市场,深入解决行业痛点,加速AI落地应用

    随着科学技术的发展,人工智能已渗透在城市的各个角落和生活的方方面面。在算力和算法技术发展迅猛的同时,人工智能行业又面临应用场景不明确、算法碎片化、研发成本极高等诸多市场挑战,难以落地实际应用场景之中。 可见,要深入解决行业痛点,加速AI落地应用是所有AI行业都应思考的问题。深圳时空引力科技有限公司(简称Gravitylink)致力于为全球开发者搭建AI模型交易服务平台,打通AI产业上下游,帮助AI服务商提供展示和交易?

  • 小米ai通话介绍 小米MIUI12怎么设置ai接电话功能

    小米日前推出了全新的 MIUI 12 系统,小米宣布小米 AI 电话助理经过半年测试,已为内测发烧友们接听了 400 万个电话,广受好评。AI 电话助理将正式升级为 AI 通话!用户可以自定义开场语、自由切换自动应答或手动回复,还可以定向自动接听,再也不用在意骚扰电话以下是 MIUI12 AI通话功能使用教程,感兴趣的小伙伴一起来看看吧。

  • 苹果App资源库怎么调整应用位置

    苹果App资源库里的应用程序要怎么调整应用APP的位置,需要进行怎样的操作才可以调整这些应用位置呢,以下我们来一起看下具体的位置调整方法。

  • 华米科技AI创新大会圆满落幕,AI解构可穿戴未来

    2020 年 6 月 15 日,全球领先的华米科技(NYSE:HMI)首届AI创新大会于安徽合肥顺利举行,本场大会紧紧围绕着「AI to Decode Future」的主题,阐述了AI与健康产业未来的关系,并发布了新一代智能可穿戴芯片“黄山2号”、新一代PPG?物追踪光学传感器BioTracker? 2及一系列全新的?体数据AI算法?华米科技在本届AI创新大会之前,就已经通过“黄山1号”芯片,PPG?物追踪光学传感器BioTracker?以及RealBeats?生物数据引擎为用户在健康方?

  • 医疗AI临床验证大势所趋,深透医疗引领影像AI全球全产业链落地

    新冠疫情的席卷下,不少国家将公共卫生安全上升到国家战略的高度,全球的AI医疗产业也在全面加速。就在最近,深透医疗的PET医学影像临床研究被 2020 年全球核医学与分子影像学会(SNMMI)年会选为全员会议(Plenary Lecture)的亮点研究(feature study)。此次研究与上海第九人民医院合作进行,将由哈佛影像中心的主任Georges El Fakhri在会上作宣讲。今年的SNMMI年会将于 7 月举办,SNMMI年会是世界核医学和分子成像领域首屈一指的科研

  • 参与评论
文明上网理性发言,请遵守新闻评论服务协议