首页 > 业界 > 关键词  > MobiLlama最新资讯  > 正文

开源小型语言模型MobiLlama 手机可运行训练

2024-02-28 10:53 · 稿源:站长之家

站长之家(ChinaZ.com) 2月28日 消息:MobiLlama是一个开源的小型语言模型,专门针对移动设备运行训练的LLM,拥有5亿个参数。该模型的设计旨在满足资源设定计算的需求,同时注重在提高性能的同时降低资源消耗。

image.png

项目地址:https://top.aibase.com/tool/mobillama

MobiLlama是从一个更大的模型出发设计的,通过提出的训练设计的参数共享机制来降低预配置和部署的成本。这项工作的目标不仅是填补小型开源语言模型的空白,还要确保全面透明。这包括提供完整的训练数据流程、训练代码、模型权限重以及超过300个检查点。

想要体验MobiLlama,用户可以按照操作系统的指示下载预处理的Amber数据,并从源码安装。对于训练和微调,建议用户通过源码安装,以利用MobiLlama在20个A10080GB GPU节点上的性能。

这个0.5B大小的开源模型为移动设备提供了一个精确且完全透明的选择。如果用户需要一个小型语言模型来运行在资源中受在有限的环境中,MobiLlama 可能是一个非常有用的选择。

举报

  • 相关推荐
  • 大家在看

今日大家都在搜的词:

热文

  • 3 天
  • 7天