首页 > 传媒 > 关键词 > 开源AI最新资讯 > 正文

开源AI企业第四范式:拥抱开源降低 AI 门槛

2021-08-05 10:20 · 稿源:站长之家用户

8月1日,由开放原子开源基金会与 Linux 基金会亚太区联合开源中国共同举办的“全球开源技术峰会 GOTC2021深圳站”在深圳会展中心圆满落幕。本次峰会汇聚国内顶级开源厂商和开源社区成员,吸引了来自全国各地的数千名开源爱好者参会,共话中国开源生态的发展趋势。

作为本土开源人工智能公司的代表,第四范式技术副总裁郑曌受邀出席峰会主论坛并发表演讲,聚焦公司所在的 AI 领域,讲述了团队将旗下项目开源以来的收获以及对开发者社区的贡献。

郑曌现任第四范式技术副总裁、基础技术负责人,主持设计与开发国内首个开源机器学习数据库 OpenMLDB、开源 AI 操作系统内核 OpenAIOS。带领团队打造出软件定义算力的 AI 算力产品4Paradigm SageOne。

随着越来越多优秀开源项目的涌现,开源社区今天已经迈入了蓬勃发展的阶段。郑曌回忆,自己在十年前就在学校里参与了一些开源的工作。学生时代的郑曌热爱编程,曾获 ACM 世界冠军,研发并开源了国内首个推荐算法工具 SVDFeature,获得 KDD Cup2011季军、2012冠军。毕业后的郑曌深耕机器学习,在大规模机器学习系统、个性化推荐、搜索、工程技术团队管理等领域拥有丰富经验。曾任 Google 展示广告架构团队架构师、Pinterest 个性化推荐与搜索团队技术负责人。

学生时代的郑曌面对的是一个处于起步阶段的中国开源社区环境,当时市场上还没有其他的AI开源工具,像github、gitee 这样的代码托管平台也没有开始流行,也没有开源基金会去帮助开源项目成体系的规划和成长。10年之后再次回到开源社区,郑曌的身份已经从学校的科研开发者变成了AI产业的从业者和开发者,今天的社区相比十年前有了非常大的变化,开发者受到了更多上下游生态的关注和支持,基础设施和配套工具链变得更加成熟。尤其是郑曌与第四范式所在的人工智能领域。

从第一范式到第四范式

近年来,人工智能已经像手机、电力、网络一样融入到人们工作和生活中的方方面面,进入各行各业。人工智能在各个领域帮助人们分析海量的数据,利用这些数据去进行决策,比如在制造业排工排产,在汽车做自动驾驶,利用人工智能做疫情防控等等。

回顾到科学发展的几个不同阶段,从最开始人类依靠钻木取火、记录现象,不断重复记录自己的现象;再到后来人类慢慢悠能力总结这些理论,形成完善的理论科学;再到人类发明计算机系统,通过计算机推演理论模拟现象。这三个时期的三个范式基本上构成了今天大部分行业的科学基础,它们背后的本质其实是人们怎么样通过大量的经验,去寻找科学的规律。

第四范式标志着人类产业全面进入科学时代。如今,随着数据的快速增长,随着硬件计算能力的大幅度提升,人工智能已经有能力将过去、结果、数据进行记录,并且从这些记录当中发现规律,对未来将会发生什么样的事情形成预测,形成判断。

相比于由人进行数据分析并指导业务决策,人工智能技术可让机器自动处理海量信息,并提供实时自动决策能力,这种优势不仅体现在依靠机器对大规模数据进行上亿级别的海量策略设计,也体现在机器能够进行更快速的策略计算和迭代。

AI 落地的困难

第四范式公司一直在 AI 落地的最前线摸爬滚打,在行业里积累了非常多不同的应用场景和案例。比如在金融行业,第四范式致力于帮助金融机构识别欺诈风险;在营销端,可以提升理财营销的效率;在零售行业,可以帮企业提升销量;在制造业,可以帮助企业实现智能化的排工排产。“我们也确实看到了通过机器学习的技术,能够去帮助这些实际的应用带来比较大的效果提升。”郑曌说。

在帮助这些企业的开发者落地 AI 的过程中,第四范式也在试着去分析这些成功的 AI案例,企业开发者到底做到了一些什么。郑曌表示,“我们在这个过程中发现一个非常重要的点,那就是对开发者来说最需要一个非常称手的工具,通过这个工具,通过底层技术和基础设施,我们能够让AI所需的数据、算力、应用,去形成一个合力,最终让机器去产生一个最极致的作用和效果。”

然而在 AI 应用的开发过程中,尤其是面向生产级的应用会有非常多的环节,例如特征工程、算法训练等,会涉及到非常多的专业知识,这对于一些希望加入 AI 方向的开发者来说门槛很高。除此之外,传统的机器学习模型会包含非常多的步骤,包括问题定义、数据收集、特征工程、模型训练、模型评估等,每一个环节都会涉及到大量重复的工作,比如反复的自动调参、反复的配置资源,这也让AI 应用平均的交付时间变得冗长。

为了解决这些问题,第四范式从2014年就开始投入到研究自动机器学习(AutoML)技术的方向,通过研发全栈的自动机器学习产品,实现 AI 应用开发构建的全流程自动化,能够让没有 AI 基础的企业开发者也可以完成 AI 应用的构建。

OpenAIOS 与 OpenMLDB

就像 PC 离不开 PC 操作系统,手机也离不开手机操作系统一样,AI 也需要一个定制的操作系统。通过 AI 操作系统,将AI 的软件应用、AI 算法等,完成与不同异构算力的连接,同时也能对这些异构算力进行更好的管理和调度。

通过团队对软件应用特性的熟悉,我们能够在 AI 应用上针对计算、存储、通讯等不同方面的瓶颈,一次解决这些问题。

在存储的维度,AI 的训练模型通常很大,存储困难,催生出非常多的异构存储设备,这些存储设备需要有一个统一的管理中枢 —— 面向不同的数据,不同的负载,能够将数据放到不同的存储介质上,能够找到成本、性能、容量最佳的平衡点。最终通过对存储、计算、通信的优化,第四范式沉淀了 AI 操作系统的底层核心能力,并开源了 OpenAIOS 项目,该项目能够应对异构算进行管理和调度。

在数据库方面,早期的 DBMS 系统最开始的设置目标是把数据和信息记全、记对,再到后来进入到互联网时代以及移动互联网时代,来自传感器、来自端侧的数据越来越多,数据量级也得到了提升,这个时候像 OLAP、HTAP 这样的新型数据库系统的出现,能够让数据处理能力进一步的提升。

而在 AI 领域,数据的质量仍然是制约 AI 技术发展的最大瓶颈,在实际落地过程中,AI 开发者、数据工程师,仍然有超过90%的精力花在数据的建设上。虽然机器学习技术的突破能够让机器有能力去帮助人实现精准高效的推理判断,但今天不管是事物型的数据库、分析型的数据库还是传统的数仓,面向机器学习时都没有办法保障正确的数据供给。

为了解决数据供给的问题,第四范式开源了自己的机器学习数据库 —— OpenMLDB。OpenMLDB 聚焦三个机器学习的数据核心问题:如何保障数据离线和在线的一致性,如何保障数据在 AI 体系里的一致性、正确性,如何保证数据的完整性。

机器学习是一个基于历史的经验,对未知的信息做预测的系统。然而在超过一半的 AI 落地场景中,因为使用的是传统数据库系统,人们难以区分哪些数据应该当做历史的经验,哪些数据应该当做未知的信息,所以经常会出现拿着未来的数据预测过去这样的常见错误。为了解决这一问题,OpenMLDB 提供了自动实时数据的拼接,数据泄露检测等功能,避免数据错误的使用。

在确保数据高效供给方面,OpenMLDB也为大家提供了一个新的选择。“面向机器学习数据库的访、存、算等高IOPS环节, OpenMLDB 通过对数据库逻辑执行计划、物理执行计划进行了分层优化,实现了高并行度的调度规划策略,相比商用 DBMS 数据库,OpenMLDB 实现了高达10x 的提速。同时,OpenMLDB 也发布了基于非易失性存储的算力优化特性, 将整体的TCO降低了68%。”郑曌介绍。

总的来说,与传统的数据库相比,机器学习数据库一方面在数据开发过程中,能够保障数据的正确性;另一方面,在运维过程中,数据系统对接多个不同的场景导致的数据正确性问题也得到了一定的保障。这也让OpenMLDB在开源仅仅一个月的时间里,就在GitHub上获得了1700个Star,且得到了前Cloudera机器学习CTO Tristan Zajonc的认可:“OpenMLDB在技术上领先业界AI和机器学习的infra层数年。”

拥抱开源

“从上个月开始,第四范式将 OpenMLDB 项目的50万行代码全部开源。我们收获到了非常多来自社会的反馈,也收到了非常多来自于社区小伙伴的关注,在 OpenMLDB 社区也和国内外开发者进行了沟通、交流。”郑曌说。

除了面向开发者提供开源、开放的机器学习数据库和 AI 算力的操作系统内核之外,第四范式还提供了一个线上 AIOS 的社区版,这是一个学习和体验 AI 的平台,能够为社区的开发者提供免费算力,以及免费的开发环境。

“感谢各位社区的小伙伴们一直以来的帮助跟支持,第四范式是开源社区的一个新人,未来不管是 OpenMLDB 还是 OpenAIOS,我们的社区会做持续的迭代和演进,能够和社区的同行们一起共同去解决 AI 在应用落地过程中遇到的这些痛点问题,我们也希望通过我们在技术上的迭代,能够形成更多的创新,更多的变革。”郑曌表示。

特别声明:以上内容(如有图片或视频亦包括在内)均为站长传媒平台用户上传并发布,本平台仅提供信息存储服务。

  • 相关推荐
  • 大家在看
  • 上海人工智能实验室发布开源平台OpenDILab,构建决策AI产学研协同新生态

    2021 年 7 月 8 日,上海——上海人工智能实验室发布开源平台体系OpenXLab,并推出了旗下全球首个覆盖学术界算法和工业级广泛需求的决策AI平台OpenDILab,推动人工智能发展从感知智能到决策智能的跃迁。OpenDILab不仅实现了最全面的算法覆盖,卓越的算法性能,还提供了丰富的工业级应用环境,推动产学研融合创新,引领AI技术迈向更高阶的通用智能时代。打通产研需求闭环,引领AI迈向高阶决策智能决策AI作为下一代人工智能的发展方

  • 坚定开源战略,中兴成为全球开源技术峰会 GOTC 黄金赞助商

    2021 年3 月,在新华社受权全文播发的《中华人民共和国国民经济和社会发展第十四个五年规划和2035 年远景目标纲要》中,“开源”被首次提及。从纲要提到的“支持数字技术开源社区等创新联合体发展,完善开源知识产权和法律体系,鼓励企业开放软件源代码、硬件设计和应用服务”,可以看出国家在战略层面对「开源」的肯定和支持。作为一家全球领先的综合通信解决方案提供商,同时也是中国最大的通信设备上市公司,中兴通讯一直秉持拥

  • 开源一哥来了,红帽成为 GOTC 全球开源技术峰会黄金赞助商

    2000 年左右,全世界有超过150 种版本的 Linux 发行版,红帽还在零售 Red Hat Linux,并与 Caldera Systems、SuSE 和 TurboLinux 并称 Linux 的四大销售商,大家都在猜测谁能成为Linux 公司的霸主。很快,红帽凭借着首创的开源“订阅”服务模式突围。2002 年,Cormier 提出开源软件的企业订阅模式,将 Red Hat Linux 从可免费下载的操作系统转变为订阅产品红帽企业Linux(RHEL)。基于开源的订阅模式是指,在开源软件免费的前提下?

  • 华为胡厚崑:改变AI应用开发模式,突破AI普惠瓶颈

    第四届世界人工智能大会在上海召开。华为轮值董事长胡厚崑在开幕式演讲中表示,要大胆运用技术手段,改变AI应用开发模式,突破AI普惠瓶颈。

  • 装机神器:开源可启动U盘工具Ventoy发布下载

    通过可启动的U盘装机,相信是一些朋友纯净部署新系统熟悉的方法。常见主要包括借助WinPE、老毛桃、UltraISO等软件,或者专门的U盘量产工具。新给大家介绍一款已经在Github、Gitee上开源的可启动U盘制作工具Ventoy,最新版本是7月17日更新的1.0.47。Ventoy的优点在于,告别了反复地格式化U盘,你只需要把ISO/WIM/IMG/VHD(x)/EFI等类型的文件拷贝到U盘里面就可以启动了,无需其他操作。而且,你可以一次性拷贝很多个不同类型的镜像文

  • 马化腾:我们对AI的未知仍然大于已知

    在2021世界人工智能大会上,腾讯公司董事会主席、首席执行官马化腾表示,腾讯将和国际天文台共同发布探险计划,利用上海优图实验室的AI技术,用于寻找脉冲星,探索宇宙。

  • 大规模语言模型、类脑芯片、量子AI,这就是后深度学习时代的AI未来吗?

    大规模语言智能如何为商业搭建桥梁?AI计算的未来突破在于类脑芯片吗?当人工智能遇上量子计算,又会展现出怎样的场景?作为WAIC期间内容最硬核、最受AI开发者关注的技术活动,今年的WAIC·AI开发者论坛以「后深度学习的AI时代」为主题,邀请到了全球最具影响力的学术泰斗、企业高管、技术专家为开发者们带来了最前沿的分享。2021 WAIC世界人工智能大会已于近日在上海落幕。7 月10 日,在机器之心承办的WAIC·AI开发者论坛上,阿里巴?

  • ​上市折戟,荣光不在,「AI」怎么了?

    回望2015年,人工智能机器人AlphaGo大战围棋世界冠军李世石并4:1轻松获胜,一时间围绕人工智能(AI)的各种创业项目疯狂涌现,又正值当时VC/PE市场资金充足,AI创投热潮一浪高过一浪。有投资人描述当时的盛况:“天使轮的项目投资人看看方向、团队,聊一聊就定了。很多公司什么都没有,一个PPT只要打上AI的标签就能拿到不错的估值。”

  • 加盟openGauss开源社区 中软国际携手华为繁荣高斯生态

    此前,华为正式宣布开源数据库能力,并成立openGauss开源社区,致力于将openGauss与其在数据库领域的丰富经验深度结合,释放开源魅力。时值社区成立一周年,行业领先的软件服务提供商——中软国际签署CLA(公司贡献者许可协议),正式加盟openGauss开源社区,并凭借自主研发的集群管理工具——openGauss Housekeeper,赋能社区建设,繁荣高斯生态。openGauss Housekeeper为openGauss数据库提供集群管理能力,使得openGauss集群实现自

  • 荣耀深耕AI领域 AI技术赋能荣耀平板V7 Pro全面升级

    8 月 2 日,在新华社「科技照耀未来」主题对话中,前央视主持人张泉灵、围棋棋圣聂卫平与荣耀终端有限公司CEO赵明共同探讨中国人工智能技术创新,围绕围棋、手机等领域的AI应用,对人工智能的未来展开畅想。 讨论中赵明透露,即将在 8 月 12 日发布的荣耀平板V7 Pro会搭载荣耀目前最前沿的AI技术,大幅度提升荣耀平板的智能体验。作为最先把AI理念带入手机设计中的品牌,荣耀深耕AI领域多年。这次荣耀平板V7 Pro也将在AI技术的加?

  • 得意AI智能电话机器人效果怎么样高效触达客户-AI智能删选有效商机

    得意AI是一家以智能电话机器人为核心的人工智能公司。得易AI智能电话机器人始终坚持以自研全栈人机交互技术为公司战略核心,业务场景也在持续丰富、完善。紧密结合当下前沿的研发人机交互底层引擎技术,成为国内人机交互新革命的有力推动者。云呼叫中心作为得意AI智能电话机器人全渠道全场景客户服务解决方案中的重要一环,涵盖通话管理、客户关系管理、坐席管理、报表管理、业务管理及诸多产品优势。解企业之忧,既降低企业成本,

  • Linux基金会推动Pyrrha开源项目:提高消防员灭火时的安全

    在成立 Open 3D 基金会之后,Linux 基金会的最新努力是希望借助开源的力量来提高消防员的安全。和今年早些时候的 Liquid Prep 项目(帮助农民监测农场的灌溉)类似,这项名为 Pyrrha 的开源项目也来自于 IBM 的编程挑战。该项目由 Linux 基金会、IBM 和一家名为 Prometeo 的公司共同推进,该项目专注于监测/管理消防员在灭火时的健康和安全。该项目已经托管在 GitHub 上,描述为“通过提供有关暴露的实时信息和计算长期平均值,保?

  • Udesk与肯耐珂萨共同打造AI智能HR系统

    日前,沃丰科技 —Udesk与肯耐珂萨达成深度战略合作,双方将在全面助力企业数字化转型、科技提升效能、AI赋能人力资源管理等方面形成战略协同。在正式建立战略合作关系的基础上,从“全面”到“全面深化”的合作,合作范围覆盖产品、技术以及企业数字化转型多领域,全方位强强联手。 肯耐珂萨深耕于人力资源管理业务场景,将数字技术与管理逻辑深度融合,为企业提供“平台化+体系化+智能化”的HCM闭环产品集群,包括人事管理云、

  • 能听懂“方言”的AI,思必驰“方言识别”如何做到的?

    不论是“勒是雾都”的重庆,还是遍地“靓女靓仔”的广东,“吴侬软语”的江浙,方言都是各地极具特色文化名片。一方面,方言附着极大的亲切感,另一方面,方言也承载着各地强烈的情感认同与文化价值。科技发展中的语言交流,不能遮蔽地方性的文化和知识。考虑方言识别存在文化保护的更高立意,同时也在将老年、弱势群体并入科技生活。思必驰放大全链路语音系统应用在方言的识别、理解、合成上,在家居、银行大厅等应用场景落地,形

  • 华为HarmonyOS新增300+开源组件!涉音视频、游戏等8大类

    自第一批HarmonyOS 400+组件开源以来,得到了广大开发者的一致好评和持续关注。今日,HarmonyOS官方宣布,再次新增300+开源组件,共涉及8大类(工具、网络、文件数据、UI、框架、动画图形、音视频、游戏)。据介绍,开发者可以直接通过OpenHarmony Gitee开源地址下载源码或从HarmonyOS应用包管理平台获取相关组件。官方表示,组件有助于降低应用开发难度,提升开发效率,让应用开发更简单高效。据悉,2019年,华为宣布HarmonyOS开?

  • 榕树贷款释放AI活力 提升信贷匹配效率

    作为推动新一轮科技革命和产业变革的重要力量,我国人工智能行业正迎来多部门及相关政策的支持。日前召开的 2021 年世界人工智能大会上,专家表示,将更加注重我国人工智能行业顶层设计,全力推动人工智能产业发展。 我国人工智能产业取得了进展,各领域“智能+”的新技术、新模式、新业态不断涌现,辐射和溢出效应不断增强。同时,我国人工智能底层技术的基础还存在较大的欠缺,能够真正将技术转化为商业价值的落地场景和应用还?

  • Argo AI在加州获许可 在迈阿密和奥斯汀试点自动驾驶

    由福特和大众赞助的自动驾驶初创公司 Argo AI 已经在加州获得许可,该公司将允许人们在该州的公共道路上免费乘坐其自动驾驶车辆。本月早些时候,加州公共事业委员会颁发了 Drivered AV 试点许可证。本周五,在 Argo 和福特宣布计划在未来五年内在一些城市的 Lyft 叫车网络上推出至少 1000 辆自动驾驶汽车之后,公司宣布将在迈阿密和奥斯汀试点运行。该许可是该州自动驾驶汽车客运服务试点的一部分,它使 Argo 加入了一个小型的、不

  • 小米内测小爱同学AI字幕:追美剧再也不用等字幕了

    考过了四六级,依然无法听懂美剧,相信很多人都有这样的尴尬,追剧也只能等待字幕组的翻译。现在,小米宣布开始测试小爱同学全新黑科技Al字幕”功能。用户在观看外语原声视频、直播时,可以实时转写或翻译为中文字幕,消除语言隔阂。从曝光截图来看,小米的Al字幕”支持系统声音和麦克风讲话翻译。支持识别中文和英文,同时支持选择语种、字号以及带不带背景。该功能已在7月16日开启内测审核,通过报名的米粉,需先在7月16日升级最

  • 广东欢太运营的小布助手,共创用户AI交互体验

    近年来,智能语音的语音技术和自然语言理解技术进步速度飞快,目前已在2C消费级的智慧生活、智能家居、智慧办公、智能驾驶;2B企业级的智慧医疗、智慧医疗、智能客服等多个领域实现场景应用。根据沙利文咨询的统计预测, 2019 年我国智能语音行业市场规模约为218. 4 亿元,预计 2024 年将达到489. 8 亿元。(统计预测数据源自沙利文咨询)广东欢太洞悉市场趋势,基于对未来5G+万物互融时代的思考和具体战略布局,推出的小布助手具?

  • AI驱动分拣软塑料机器人问世 可帮助解决塑料垃圾危机

    尽管我们近年来在塑料回收方面有所改善,但塑料垃圾填埋是一个日益严重的问题。像保鲜膜和塑料袋这样的软塑料是造成这一问题的主要原因,2016-17年有94%的塑料被填埋。软塑料缺乏足够的回收方法,因为它们很容易缠绕在垃圾分类机械上,导致机械故障,并且污染其他可回收材料如纸张。由于这个问题,目前的回收方法依赖于手工分拣软塑料,这是一项经常重复且不安全的工作。作为联邦政府合作研究中心项目拨款的一部分,悉尼大学物联网

  • 热门标签