11.11云上盛惠!海量产品 · 轻松上云!云服务器首年1.8折起,买1年送3个月!超值优惠,性能稳定,让您的云端之旅更加畅享。快来腾讯云选购吧!
在最近的一篇论文中,苹果的研究团队宣称,他们提出了一个可以在设备端运行的模型ReALM,这个模型在某些方面可以超过GPT-4。ReALM的参数量分别为80M、250M、1B和3B,体积都非常小,适合在手机、平板电脑等设备端运行。这项研究有望用来改进苹果设备上的Siri助手,帮助Siri更好地理解和处理用户询问中的上下文。
由IDEA研究院、微软亚洲研究院、香港科技大学等多方研究团队合作推出的Think-on-Graph技术,在深度推理领域掀起了一场革新。这一技术通过紧耦合大模型与知识图谱,成功弥补了大模型在金融、法律、医疗等领域幻觉问题上的能力短板。这一研究成果为深度推理领域的发展带来了新的思路和方法,为实现大模型在各领域应用中更可靠、可解释的推理能力提供了有力支持。
ROUGE矩阵是评估大型语言模型的性能和能力的工具。在自然语言处理领域中,评估模型的性能非常重要,但由于语言输出的不可预测性和人类语言的复杂性,传统的机器学习评估方法存在局限性。ROUGE矩阵是评估语言模型摘要能力的重要工具,通过不断改进和结合其他指标,可以更准确地评估语言模型的性能。
DeepEval是一个用于对语言模型应用进行评估和单元测试的框架。它提供了各种指标,可以测试语言模型应用生成的回复在相关性、一致性、无偏见性和无毒性等方面的表现。如果你在开发聊天机器人、语言模型应用,DeepEval绝对是一个提高工程效率的好帮手。
【新智元导读】国产模型开源纪录,又被刷新了!上海AI实验室等机构开源的InternLM-20B,竟然能和Llama2-70B打个平手?就在刚刚,国内开源模型参数量纪录,又被刷新了!9月20日,上海人工智能实验室与商汤科技联合香港中文大学和复旦大学,正式开源了200亿参数的InternLM-20B模型。项目地址:https://github.com/InternLM/InternLM魔搭社区:https://modelscope.cn/organization/Shanghai_AI_Laboratory这次的200亿参数版书生·浦语大模型,可以说是「加量不加价」,参数量还不到三分之一,性能却可以剑挑当今开源模型的标杆——Llama2-70B。上海AI实验室的「雪中送炭」,必然会让大模型在落地领域发挥出巨大的价值。
凤凰网科技讯《AI前哨》北京时间9月11日消息,脸书创始人马克扎克伯格已经把目标对准了OpenAI。知情人士称,脸书母公司Meta正在开发一种新的人工智能系统,希望它能够与OpenAI提供的最先进模型一样强大。凤凰网科技《AI前哨》对此将持续关注。
SoloPerformancePrompting是一款旨在提升大型语言模型性能的多人合作助手。它通过多人设定,实现了协同合作的方式来解决任务。通过引入多人合作的方式,SoloPerformancePrompting能够显著提升大型语言模型在各种任务上的性能,为用户提供更好的体验和辅助。
AI大模型成为今年的热点,OpenAI的ChatGPT一马当先,微软、谷歌、Meta紧随其后,国内科技巨头也迅速跟进,现在国内据说已经有上百款大模型问世了。这么多大模型中,实力到底如何?日前清华大学新闻与传播学院发布了《大语言模型综合性能评估报告》,将国内外的大模型做了一番对比。这跟百度的大模型包含大量中文文本有关系,因此能够更好地处理本土文化相关的内容。
华为云、中国科学院和北京大学的研究人员最近提出了一种名为RRTF的新框架,能够有效地提升预训练的大型语言模型在代码生成方面的性能。RRTF框架通过自然语言LLM对齐技术和排名反馈的方式来改进代码生成LLM的表现。6.除了提高代码生成效率外,研究团队还建议了PanGu-Coder2使用的优化方法,以确保快速推理,这对于实际应用非常重要。
Synthesia,一家领先的人工智能公司,近日宣布即将推出一款新的数字人头像模型——EXPRESS-1。这款新模型的推出,无疑将进一步推动AI在视频制作领域的应用。我们期待着这款新模型的推出,以及它将为我们带来的全新视频观看体验。
扎克伯格:「有了Llama3,全世界就能拥有最智能的AI。」ChatGPT拉开了大模型竞赛的序幕,Meta似乎要后来居上了。也许只有OpenAI的GPT-5才能压下开源模型了。
近日,Meta重磅推出其80亿和700亿参数的MetaLlama3开源大模型。该模型引入了改进推理等新功能和更多的模型尺寸,并采用全新标记器,旨在提升编码语言效率并提高模型性能。即使80亿参数的Llama3模型比70亿参数的Llama2模型参数更高,在AWSm7i.metal-48xl实例上运行BF16推理时,整体prompt的推理时延几乎相同。
谷歌最近发布了面向企业、开发人员的全新代码模型CodeGemma,该模型参数小、性能强,同时对硬件要求较低。CodeGemma共有基础预训练、指令微调和快速推理三个版本,在基准测试中展现出优异的性能表现。以上为谷歌发布的CodeGemma模型的相关内容,更多详细信息可参考开源地址和技术报告。
其开发者平台API现已支持最新版本的StableDiffusion3及其增强版本StableDiffusion3Turbo。这一发布标志着StabilityAI在文字到图像生成领域的技术进步,其性能已经达到甚至超越了行业内的一些领先模型,如DALL-E3和Midjourneyv6。公司承诺提供99.9%的服务可用性,这对于企业用户来说尤为重要,因为他们在使用开发者平台进行关键的生成型AI工作时,需要确保服务的稳定性和可靠性。
中国电信近期宣布开源其12B参数规模的巨型AI模型TeleChat-12B,此举标志着国内大模型技术发展的又一重要进展。与1月份发布的7B参数版本相比,TeleChat-12B在内容理解、性能表现和应用场景等方面实现了约30%的整体提升,特别是在多轮对话推理和安全相关领域的能力上,提高超过了40%。除了在传统行业中的应用,星辰大模型也在积极探索更多前沿领域的应用,例如在无人机智能编
JetMoE-8B是一款采用稀疏激活架构的人工智能模型,其性能卓越且训练成本不到10万美元,令人惊讶的是,它的表现甚至超越了LLaMA2-7B、LLaMA-13B和DeepseekMoE-16B。JetMoE-8B由24个块组成,每个块包含两个MoE层:注意力头混合和MLP专家混合。这不仅证明了其在性能上的优势,也展示了其在成本效益上的显著优势。
RekaCore是一款最新发布的多模态大型语言模型,其性能可与GPT-4相媲美,甚至在某些方面超越了现有的前沿模型。这一技术突破为人工智能领域带来了新的里程碑,特别是在图像、视频和音频的上下文理解能力方面。随着Core的进一步优化和应用,我们有理由相信,它将在多个领域产生深远的影响,推动人工智能技术的进步和社会的发展。
美国当地时间4月9日,Intel举办了一场面向客户和合作伙伴的IntelVision2024产业创新大会,做出多项重磅宣布,包括全新的Gaudi3AI加速器,包括全新的至强6品牌,以及涵盖全新开放、可扩展系统,下一代产品和一系列战略合作的全栈解决方案。预计到2030年,全球半导体市场规模将达1万亿美元,AI是主要推动力,不过在2023年,只有10%的企业能够成功将其AIGC项目产品化。Intel将利用至强处理器、Gaudi加速器,推出AIGC流水线的参考实现,发布技术概念框架,并继续加强IntelTiber开发者云平台基础设施的功能。
谷歌DeepMind发布了一种名为Gecko的文本嵌入模型,专注于文档检索、语义相似度和分类等多种任务。文本嵌入模型在自然语言处理中扮演着重要角色,通过将文本转换为高维向量空间中的向量表示,实现捕捉文本的语义信息。Gecko的出现为改善信息检索系统提供了一种强大的替代方案,同时在分类、STS和摘要方面也达到了新的SOTA水平。
2023年4月17日,昆仑万维发布自研双千亿级大语言模型「天工1.0」正式奠定了国产大模型崛起之路。「天工3.0」也是全球首个多模态“超级模型”,其集成了AI搜索、AI写作、AI长文本阅读、AI对话、AI语音合成、AI图片生成、AI漫画创作、AI图片识别、AI音乐生成、AI代码写作、AI表格生成等多项能力,是大模型时代的“超级应用”。“超级模型”的概念诞生于“超级应用”。
Jamba是一款基于SSM-Transformer混合架构的开放语言模型,提供顶级的质量和性能表现。它融合了Transformer和SSM架构的优势,在推理基准测试中表现出色,同时在长上下文场景下提供3倍的吞吐量提升。作为基础模型,Jamba旨在供开发者微调、训练并构建定制化解决方案。
3月28日,著名数据和AI平台Databricks在官网正式开源大模型——DBRX。DBRX是一个专家混合模型有1320亿参数,能生成文本/代码、数学推理等,有基础和微调两种模型。Databricks主要提数据智能分析服务,帮助企业、个人用户快速挖掘数据的商业价值。
谷歌在ICLR2024上推出了一项重大成果:他们成功让大型语言模型学会理解「图的语言」,性能提升了高达60%。这项研究解决了LLMs在处理图形问题上的瓶颈,开启了图形数据与文本表示之间的新篇章。通过合理地将图形数据转换为文本表示,并结合适当的编码方式和任务类型,谷歌团队成功提升了LLMs在图形任务上的性能,为未来更深入的研究和应用打下了基础。
在最新的研究论文中,谷歌研究人员引入了一种名为Cappy的预训练评分器模型,旨在增强和超越大型多任务语言模型的性能。这项研究旨在解决大型语言模型所面临的挑战,其中包括高昂的计算资源成本和效率低下的训练和推理过程。通过引入轻量级预训练评分器Cappy,这项研究解决了在多任务场景中有效利用大型语言模型的挑战,展示了其在各种任务上的参数效率和性能的优越性,同时强调了在实际应用中简化大型语言模型采用的潜力。
英伟达在GTC开发者大会上发布了最强AI加速卡BlackwellGB200,计划今年晚些时候发货。GB200采用新一代AI图形处理器架构Blackwell,其AI性能可达20petaflops,比之前的H100提升了5倍。英伟达的系统还可扩展至数万GB200超级芯片,具有11.5exaflops的FP4计算能力。
清华大学和哈尔滨工业大学联合发布了一篇论文,成功将大模型压缩到1bit,仍保持83%的性能。这一成果标志着量化模型领域的一次重大突破。随着技术的不断进步,将有望实现将大型语言模型等大模型压缩到极低位宽,并实现在移动设备上高效运行的愿景。
今天凌晨,谷歌宣布推出全球性能最强大、轻量级的开源模型系列Gemma。该模型共分为分为2B和7B两种尺寸版本,2B版本甚至可直接在笔记本电脑上运行。并且还实现了跨设备兼容,可以在笔记本电脑、台式机、物联网、移动设备和云端等多个主流设备类型上运行,支持广泛的AI功能。
2月13日,著名大模型开源平台StabilityAI在官网,开源了全新文本生成图像模型——StableCascade。SC是根据最新Würstchen基础模型开发成,大幅度降低了对推理、训练的算力需求,例如,训练Würstchen模型使用了约25,000小时性能却更强劲StableDiffusion2.1大约使用了200,000小时。在训练Würstchen基础模型时,参数总量比SDXL多14亿,但训练成本仅是其8分之一。
YiTay领导的团队发布了21B的多模态语言模型RekaFlash,其性能与GeminiPro和GPT-3.5相媲美。这一模型在多个基准测试中取得了出色的成绩,尤其在多语言推理和视觉基准测试中表现突出,超越了其他大型模型。这也预示着在人工智能领域,特别是在自然语言处理和计算机视觉方向,将迎来更多创新和突破。
微软和苏黎世联邦理工学院的研究人员联合开源了SliceGPT,该技术可以极限压缩大模型的权重矩阵,将模型体量压缩25%左右,同时保持性能不变。实验数据显示,在保持零样本任务性能的情况下,SliceGPT成功应用于多个大型模型,如LLAMA-270B、OPT66B和Phi-2。这一技术的推出,有望为广大开发者和企业提供更加便捷、高效的大模型应用解决方案。