11.11云上盛惠!海量产品 · 轻松上云!云服务器首年1.8折起,买1年送3个月!超值优惠,性能稳定,让您的云端之旅更加畅享。快来腾讯云选购吧!
6月16日,在人工智能框架生态峰会2023上,中国科学院自动化研究所正式发布“紫东太初”全模态大模型。“紫东太初”全模态大模型是在千亿参数多模态大模型“紫东太初”1.0基础上升级打造的2.0版本,在语音、图像和文本三模态的基础上,加入视频、信号、3D点云等模态数据,研究突破了认知增强的多模态关联等关键技术,具备全模态理解能力、生成能力和关联能力。中科院表示,从1.0到2.0,“紫东太初”大模型打通了感知、认知乃至决策的交互屏障,使人工智能进一步感知世界、认知世界,从延伸出更加强大的通用能力。
在今天的华为昇腾AI开发者峰会上,中国科学院自动化研究所“紫东太初”大模型研究中心常务副主任、武汉人工智能研究院院长王金桥博士介绍了“紫东太初”2.0全模态大模型。该模型由自动化所和武汉人工智能研究院联合打造,基于华为全栈国产化软硬件平台昇腾AI和开源AI框架昇思MindSpore。该模型已在多个行业场景领域显示出落地潜力,包括手语教学、法律咨询、交通出行、广电、医疗机器人和医学影像判读等。
在三八国际妇女节前夕,联合国教科文组织发布的研究报告称,大语言模型存在性别偏见、种族刻板印象等倾向。大语言模型是一种用于支持生成式人工智能的自然语言处理工具,OpenAI的GPT-3.5、GPT-2,脸书母公司Meta的Llama2等都属于此类。联合国教科文组织总干事阿祖莱表示:越来越多的人开始使用大语言模型,这些工具有着在不知不觉中改变人们认知的力量,因此即便是生成内容中极为微小的性别偏见,也可能显著加剧现实世界中的不平等。
现在一句口令,就能指挥汽车了。比如说声“我开会要迟到了”“我不想让我朋友等太久”等等,车就能理解,并且自动加速起来。普渡数字孪生实验室从2023年6月开始深耕大语言模型和自动驾驶交叉领域,进行了包括文献综述、创立公开数据集、仿真环境测试、以及主办研讨会等一系列工作。
近几个月来,大型语言模型在人工智能社区中引起了极大的关注和流行。这些模型在文本摘要、问答、代码完成、内容生成等任务中展示出了强大的能力。考虑到低质量网络数据的丰富性和经典LLM训练方法的资源密集性,这种方法提供了一种可能的前进方式。
Anthropic的研究者发现:一旦我们教会LLM学会骗人,就很难纠正它了。它会在训练过程中表现得「人畜无害」,随后神不知鬼不觉地输出恶意代码!如果想要纠正它,它的欺骗行为只会更变本加厉。AI注入的漏洞会非常多,这是每个人都应该警惕的一件事。
近年来,大模型在金融领域的应用,为金融行业发展带来了前所未有的机遇,而金融大模型产业的落地,仅靠任何一家金融机构或科技公司很难以实现大模型的产业级应用,因此需要集合全行业力量,才能使大模型释放诸多价值。对此,持续布局大模型的度小满牵手哈尔滨工业大学,围绕大模型技术创新等内容进行合作。近期,哈尔滨工业大学党委常委、副校长刘挺一行还访�
在Transformer占据多模态工具半壁江山的时代,大核CNN又“杀了回来”,成为了一匹新的黑马。腾讯AI实验室与港中文联合团队提出了一种新的CNN架构,图像识别精度和速度都超过了Transformer架构模型。作者已经放出了所有代码,并将所有模型和实验脚本开源。
对大型语言模型的新研究表明,它们重复了阴谋论、有害的刻板印象和其他形式的错误信息。在最近的一项研究中,滑铁卢大学的研究人员系统地测试了ChatGPT早期版本对六类陈述的理解:事实、阴谋、争议、误解、刻板印象和虚构。”布朗补充道:“毫无疑问,大型语言模型无法区分真实与虚构,这将成为未来很长一段时间内对这些系统信任的基本问题。
随着对生成式人工智能技术需求的激增,大型语言模型的训练和容错性要求也在不断增加。为应对这一挑战,密歇根大学的研究人员开发了一款名为Oobleck的开源大型模型训练框架。Oobleck的开发标志着利用固有冗余提高容错性的新里程碑,为大型模型的高效训练和故障恢复提供了一种创新性的解决方案。
人工智能的超级对齐问题在未来AI系统超越人类智能的情境下变得尤为复杂。研究小模型是否能够有效监督大模型成为关键问题。期待研究者在这一领域取得更多的突破。
华为技术有限公司联合云南省交通投资建设集团有限公司以及长安大学在昆明举行了“交通大模型研发启动仪式”,开启人工智能大模型技术在交通领域的研究探索。通过盘古基础大模型叠加交通行业场景的方式,开展交通大模型研究,通过深度挖掘现有数据潜能,加速推动交通行业的数智化发展。将持续助力云南交投集团全面推进公路数字化转型,为全国交通行业打造数智发展样板。
阿里巴巴集团旗下研究机构达摩院推出了专为东南亚语言量身定制的人工智能大语言模型,凸显了该公司在更广泛地区发展市场的雄心。阿里巴巴研究部门表示,东南亚LLM在越南语、印度尼西亚语、泰语、马来语、高棉语、老挝语、他加禄语和缅甸语数据集上进行了预训练,并且在语言和安全任务方面优于其他开源模型。SeaLLM在英语和低资源语言之间的翻译也取得了更好的效果,如老挝语和高棉语。
KAUST研究团队推出的CAMEL框架引起了广泛关注。该框架以角色扮演为基础,使AIAgents在复杂任务中能够协作和竞争,产生惊人的群体智能效果。这一项目的未来发展将引领大型语言模型领域走向新的高度。
智源研究院开源了一种名为JudgeLM的裁判模型,可以高效准确地评判各类大模型。与GPT-4相比,JudgeLM仅需1/120的成本,就能达到90%以上的评判结果一致性。JudgeLM团队将进一步完善这一裁判模型,提供更准确、高效、覆盖更多场景的大语言模型评判。
最近微软一项研究让Llama2选择性失忆了,把哈利波特忘得一干二净。现在问模型“哈利波特是谁?”,它的回答是这样婶儿的:木有赫敏、罗恩,木有霍格沃茨……要知道此前Llama2的记忆深度还是很给力的,比如给它一个看似非常普通的提示“那年秋天,哈利波特回到学校”,它就能继续讲述J.K.罗琳笔下的魔法世界。此研究只测试了虚构类文本,模型表现的普适性还需进一步验�
一项最新研究发现:大模型的“人肉搜索”能力简直不可小觑。例如一位Reddit用户只是发表了这么一句话:尽管这位发帖者无意透露自己的坐标,但GPT-4还是准确推断出TA来自墨尔本。但仔细一看,它拒绝的都是明显包含敏感内容的文本,作者指出,这应该是激发了模型中原有的安全过滤器。
智源研究院发布了最强开源中英双语大模型——悟道・天鹰340亿。这个新模型在推理、泛化等方面表现出色,在智能体、代码生成、文献检索等场景方面取得了一系列成绩。智源研究院还发布了FlagScale高效并行训练框架和FlagAttention高性能Attention算子集,进一步推动大模型研究的发展。
神经网络的不可解释性,一直是AI领域的“老大难”问题。我们似乎取得了一丝进展——ChatGPT最强竞对Claude背后的公司Anthropic,利用字典学习成功将大约500个神经元分解成了约4000个可解释特征。薪资在25万美元-52万美元之间,研究内容跟如上报告息息相关。
在大模型不断取得突破的2023,把大模型当做大脑来辅助运行的具身智能机器人研究也在被迅速推进。2个多月前,谷歌DeepMind推出了第一个控制机器人的视觉-语言-动作模型——RT-2。未来的另一个方向是进一步探索不同数据集的混合会如何影响跨具身智能体泛化,以及这种泛化是如何是实现的。
随着GPT-4的发布,多模态大模型成为热点。业界常将视觉编码器与语言模型集成构建MLLM。模型设计和训练技巧仍需进一步优化,以平衡不同能力之间的权衡。
2023腾讯全球数字生态大会「行业大模型及智能应用专场」于9月7日举行,会上,腾讯云与信通院共同发布了《行业大模型标准体系及能力架构研究报告》,参考了腾讯云在行业大模型产业应用领域的实践和经验,为客户构建行业大模型提供了标准化流程、综合评估方法,以便更好地帮助行业伙伴构建专属大模型。生态大会上,腾讯还首次对外公布了腾讯混元大模型进展,并宣布从技术底座、平台能力、智能应用三大维度升级MaaS能力。愿本次研究成果,助力大模型产业发展和生态建设。
“生成式人工智能是近40年来最重要的技术革命”,这是微软联合创始人比尔·盖茨最新的研判。当智能涌现,如何推动科学研究、应用创新,成为业界关注的焦点。关于人工智能和图计算的可能性,外滩图智能论坛汇聚了不同视角的见解,为图智能发展描绘了重要的发展脉络。
华为云、中国科学院和北京大学的研究人员最近提出了一种名为RRTF的新框架,能够有效地提升预训练的大型语言模型在代码生成方面的性能。RRTF框架通过自然语言LLM对齐技术和排名反馈的方式来改进代码生成LLM的表现。6.除了提高代码生成效率外,研究团队还建议了PanGu-Coder2使用的优化方法,以确保快速推理,这对于实际应用非常重要。
斯坦福大学的研究人员开发了一种名为Sophia的新型优化器,可将语言模型的预训练时间缩短一半。相比于Adam优化器,Sophia可以更快地解决语言模型的问题。研究人员在研究过程中广泛使用了理论推理,并在明天发布的代码中使用了稍微修改过的学习率的定义。
阿里云成为首家支持Llama2大语言模型的云服务提供商,为开发者提供了便利的训练和部署方案。Llama2是Meta开源的大语言模型,拥有高达700亿参数,可以免费用于研究和小型商业场景。这项举措有助于推动中国的大模型生态发展,并提供了全方位的服务支持。
一项由斯坦福大学和Mila研究人员提出的新架构“Hyena”正在自然语言处理社区中引起轰动,并被认为可能颠覆现有的注意力机制系统。该架构通过长卷积和逐元素乘法门控制实现了与注意力机制相媲美的性能,同时降低了计算成本。在十亿级参数规模上取得的有希望的结果表明,注意力可能不是我们所需要的全部,并且像鬣狗这样的更简单的二次设计,通过简单的指导原则和对机械可解释性基准的评估,构成了高效大型模型的基础。
中科创达宣布与北京智源人工智能研究院共同成立”魔方未来联合实验室“。基于该实验室,双方将在大模型开发与应用创新等方面展开战略合作,通过优势资源共享与互补,共同推进大模型技术创新与成果转化,促进人工智能技术在智能汽车、智能机器人、智慧工业、智能物联网等领域的应用落地。联合实验室还将依托北京市在人工智能领域的利好政策与良好的基础设施,充分发挥中科创达在产品、生态、应用场景的积累以及北京智源人工智能研究院的技术与人才优势,在通用型基础模型、专用型模型、合规安全可信数据集以及通用型机器人系统等方面进行研发探索,从推进人工智能数据、技术、场景和人才的建设与发展。
云从科技在互动平台表示,目前,公司正在跟进大模型能力要求和评估方法等领域的技术标准立项研究工作。公司将不断为相关标准编制提供公司在大模型技术开发和测试验证领域的专业知识和工程经验。公司将继续做好在预训练大模型、生成式人工智能领域的数据和隐私保护、功能安全可控等领域的标准研制工作。
华策影视宣布成立AIGC应用研究院,并设立AIGC专项基金,全面推进AIGC产业布局,加快新技术在行业应用落地。该研究院立足于华策影视多年发展积累的数据优势、人才优势和IP优势,将着力训练文本大模型、图文大模型和3D资产大模型。浙江华策影视股份有限公司创立于2005年10月,推出了《中国往事》《微微一笑很倾城》《何以笙箫默》《杉杉来了》《三生三世十里桃花》《亲爱的,热爱的》等电视剧。