首页 > 传媒 > 关键词  > 主机最新资讯  > 正文

UFS分布式文件存储接入能力升级,支持Windows主机用户使用

2023-04-12 11:29 · 稿源: 站长之家用户

UFS分布式文件系统

UFS是一款分布式文件系统产品,它能够为运行于 UCloud 公有云、物理云、托管云上的各类主机提供高可用、高可靠、易拓展的文件存储功能。通过 UFS 产品提供的共享存储功能,可以方便地为各类数据备份、serverless、AI 数据分析、高性能 web 站点等应用场景提供强有力的支撑。

之前UFS仅支持NFSv4. 0 协议,只能提供给Linux主机使用。针对用户需要在Windows主机使用UFS的需求,近日,UCloud优刻得升级UFS产品功能,支持SMB和NFSv3 接入协议。存量UFS实例能够直接使用NFSv3 协议挂载,新建UFS实例时则可以选择接入NFS或者SMB。从而使UFS拥有了全量接入Windows主机的能力,让Windows用户也能充分利用UFS分布式文件系统创造价值。

下图为UFS整体io处理架构。

SMB介绍和支持

SMB(Server Message Block)是一种网络文件共享协议,用于共享文件和打印机等资源,Windows主机广泛使用该协议进行文件的共享。当前UFS接入支持的协议版本有CIFS,SMB2.0,SMB2.1,SMB3.0。

和本地搭建SMB服务比较,UFS拥有以下优势:高容量,弹性扩展,可支持最 高PB级别的容量按需进行扩容;高可靠,数据存储有跨机器、跨机架的三个副本;高可用,整体服务路径均采用节点多实例设计和部署,没有单机故障的隐患。

通过SMB协议挂载访问UFS,Windows用户可以使用UFS分布式文件系统进行海量视频素材的存储和编辑等。

NFSv3 提升小文件操作的吞吐

Linux和Windows主机均可以使用NFSv3 挂载UFS文件系统,在大批量操作小文件的场景下,NFSv3 相对于NFSv4. 0 性能更好。

以下我们分别介绍两种协议版本读取文件的流程。

NFSv4. 0 读取文件流程:

1. 打开文件:PUTFH设置文件父目录file handle(文件系统内唯 一标识文件对象),OPEN打开指定文件,GETFH获取打开文件的file handle,ACCESS检查文件访问权限,GETATTR获取文件属性信息

2. 确认Open-Owner(可选):如果server需要confirm,客户端再发起OPEN_CONFIRM。

3. 读取数据:PUTFH设置文件file handle,使用返回的stateid读取文件。

4. 关闭打开文件:PUTFH设置文件file handle,关闭stateid指定的文件。

NFSv3 读取文件流程:

1. 查询文件:LOOKUP查询指定目录下的文件,返回文件file handle和属性信息。

2. 确认访问权限:ACCESS检查文件是否有访问权限。

3. 读取数据:使用文件file handle读取数据。

得益于NFSv4. 0 引入的COMPOUND Procedure,额外支持状态的NFSv4. 0 协议RPC交互数量一般也和NFSv3 一样多。但是为什么NFSv4. 0 大批量操作小文件的性能会远远差于NFSv3?为了支持状态,NFSv4. 0 打开文件需要提供Open-Owner,协议中规定针对每个Open-Owner,同一时刻只能发起一个相关请求;在Linux内核实现中,同一个用户的进程会共用同一个Open-Owner,因此在大量小文件读写的情况下,文件的打开流程会变成串行操作,影响性能。所以在大批量操作小文件并且没有文件锁需求的场景下,NFSv3 相比NFSv4. 0 可以大幅度提高性能。

以下针对小文件夹的读写场景分别在NFSv3 和NFSv4. 0 挂载下进行了测试。测试环境为Centos8. 3 虚机,测试文件为Linux内核源码包,有8w+文件。

下面的表格为测试结果,可以看出在大批量操作小文件的情况下NFSv3 比NFSv4. 0 性能好得多。

某知名在线英语教育公司使用UCloud GPU云主机进行AI训练,训练数据存储在UFS分布式文件系统中,最开始这家公司的客户端使用的是NFSv4. 0 挂载,使用过程中发现训练性能不理想,在没有达到硬件瓶颈的情况下,并发运行多个训练任务也并没有显著减少训练时间。经过排查后发现,NFS挂载读取吞吐较低,用户的训练数据小文件居多,监控数据中看到大量的open请求,导致读取数据性能差。更换使用NFSv3 挂载后,没有额外的open开销,训练速度提升了至少 2 倍。

总结和展望

UFS分布式文件系统的接入能力升级,支持了Windows主机使用,加速了用户特定场景的使用功能。UFS还在进行产品私有化的开发工作,未来会研发并行文件系统,以更低的io时延,更高的吞吐,支撑HPC场景应用。

推广

特别声明:以上内容(如有图片或视频亦包括在内)均为站长传媒平台用户上传并发布,本平台仅提供信息存储服务,对本页面内容所引致的错误、不确或遗漏,概不负任何法律责任,相关信息仅供参考。站长之家将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。任何单位或个人认为本页面内容可能涉嫌侵犯其知识产权或存在不实内容时,可及时向站长之家提出书面权利通知或不实情况说明,并提供身份证明、权属证明及详细侵权或不实情况证明(点击查看反馈联系地址)。本网站在收到上述法律文件后,将会依法依规核实信息,沟通删除相关内容或断开相关链接。

  • 相关推荐
  • 136号文后,分布式光伏陷入困惑,创维的破解之道

    分布式光伏行业在136号文政策影响下面临发展瓶颈,创维光伏通过发布“SKYLINK光晖共生”平台,推出“羲和”生态级解决方案,聚焦用户需求挖掘与场景细分。其战略核心围绕“稳、智、通、碳”展开,提供光储一体化、智慧能源管理等服务,并构建开放生态平台整合产业链资源,推动行业从单一供能向智慧能源生态转型,引领分布式光伏在变革中破浪前行。

  • 杨幂上手华为Mate XTs非凡大师:改文件看文件像用电脑一样

    今天华为终端官方微博发布华为Mate XTs非凡大师预热宣传片。演员杨幂介绍,华为Mate XTs非凡大师改文件、看文件就像用电脑一样。 据悉,华为Mate XTs非凡大师将出厂搭载全新鸿蒙5,在生产力方面有多项升级,用户可以直接在折叠屏上运行WPS Office、剪映专业版、万兴脑图以及中望CAD等桌面级办公应用,获得接近PC端的办公感受。 鸿蒙5还有全新升级的小艺助手,全新分屏摘要�

  • 业界首例中国电信完成长距跨DC分布式无损智算推理网络技术验证

    中国电信广东公司联合中国电信研究院在智算网络领域实现重大突破,成功完成DeepSeek-671B满血版长距跨数据中心分布式无损计算推理网络技术验证。该成果为企业按需扩容算力及推理数据本地化存储提供了突破性技术方案,标志着中国电信在智算网络技术创新上迈出关键一步。

  • 腾讯客服回应微信消息撤回时间:文件3小时 消息2分钟

    今日,微信消息撤回时间规则成为网络热议焦点。有网友发现,通过文件形式发送的图片可享有3小时撤回时限,较常规消息显著延长。对此,腾讯客服正式回应称,当前微信平台对不同类型消息设置差异化撤回时间:语音、文字、图片、视频、名片、位置及分享链接等常规消息支持2分钟内撤回,而Word、Excel、PPT等文件类内容则延长至3小时。

  • 400亿美图,靠AI重生了

    今年以来股价暴涨超255%,市值重回400多亿,美图(1357.HK)这家老牌影像工具公司,在被资本市场遗忘多年后,正以一种极为凶猛的姿态重返牌桌。 在AIGC(生成式人工智能)千帆竞发、百模大战仍在烧钱换未来的混沌格局中,美图是将滚烫的AI概念,真正熬成了一碗利润浓汤的企业。半年净赚近4个亿、付费用户突破1500万的业绩,无疑证明它饮到了这波AI应用大爆发的“头啖汤

  • 钉钉发布8.0版本:推出下一代AI办公应用形态钉钉ONE

    今日,钉钉发布8.0版本,推出了下一代AI办公应用形态:钉钉ONE。 钉钉ONE被设计为人与AI通过自然语言对话的统一入口,致力于打造全球首个以Agent驱动的工作信息流,让工作处理就像刷短视频一样丝滑。 据介绍,这是钉钉对于AI时代办公应用形态的全新定义。

  • AI日报:钉钉十周年发布8.0版本;微信悄悄上线AI播客;阿里开源 Mobile-Agent 3

    AI日报栏目聚焦人工智能领域最新动态。钉钉发布8.0版本推出AI办公应用钉钉ONE,通过自然语言交互简化工作流程;阿里开源Mobile-Agent-v3跨平台代理框架;微信测试AI播客功能,实现双人对话式新闻播报;钉钉推出首款AI硬件录音笔DingTalk A1;苹果拟为Siri引入谷歌Gemini大模型;苹果发布适配版SlowFast-LLaVA模型提升长视频分析性能;Meta获得Midjourney技术授权加强AI图像生成竞争力;谷歌Drive新增Vids视频编辑功能降低制作门槛;夸克发布健康大模型通过12学科主治医师测评;AI小游戏Draw A Fish凭借极简设计引发全球热潮。

  • 余承东宣布鸿蒙5.1版本开启报名升级!机型列表、报名方式公布

    在今天下午的智界发布会上,余承东还宣布搭载HarmonyOS 5的终端设备数量突破1200万。 同时,华为Mate 70系列、华为Mate X6系列等多款机型均已开启HarmonyOS 5.1升级,即日起开始报名。

  • 白鹭搭车 车主喜提迈巴“鹤”车标:车速40也不飞走

    近日,广东珠海斗门区水乡道路上发生了一幕人与自然和谐共处的奇妙场景:市民李先生驾驶黑色迈巴赫途经湿地保护区时,一只通体雪白的白鹭突然降落引擎盖,伴随车辆平稳行驶3.5公里,这场意外邂逅不仅为旅程增添了野趣,更让这辆豪车意外收获了全网独一份的“迈巴鹤”车标美誉。 据李先生描述,这只体长约60厘米的白鹭收拢翅膀稳立车头,修长双腿泛着青灰色光泽,

  • 微星宣布推出 GODLIKE十周年纪念版和 X870E MAX 系列主板

    微星将在2025年科隆游戏展期间重点展示全新X870E MAX系列主板,并推出GODLIKE十周年限量版纪念主板,全球仅1000块。新品搭载第三代龙魂动态面板、EZ Link等创新技术,支持PCIe 5.0和M.2全带宽性能。同时推出MPG CORELIQUID P13系列水冷解决方案,配备2.1英寸LCD屏,支持个性化内容展示。此外还展示MEG MAESTRO900机箱、MAG PANO130R PZ机箱及MAG VIEW XPANDER12扩展屏等产品,满足PC爱好者对性能与定制化的需求。

今日大家都在搜的词: