首页 > 业界 > 关键词  > 神经网络最新资讯  > 正文

新的人工神经元设备可以使用极少能量运行神经网络计算

2021-04-29 08:12 · 稿源: cnbeta

加州大学圣地亚哥分校的研究人员开发了一种新的人工神经元装置,训练神经网络来执行任务,如识别图像或为自动驾驶汽车导航,有一天可能需要更少的计算能力和硬件。该设备可以使用比现有基于CMOS的硬件少100到1000倍的能量和面积来运行神经网络计算。

研究人员在最近发表于《自然-纳米技术》的一篇论文中报告了他们的工作。神经网络是一系列相连的人工神经元层,其中一个层的输出为下一个层提供输入。产生该输入是通过应用一种被称为非线性激活函数的数学计算来完成的。这是运行神经网络的一个关键部分。但应用这个函数需要大量的计算能力和电路,因为它涉及到在两个独立单元--存储器和外部处理器之间来回传输数据。

现在,加州大学圣地亚哥分校的研究人员已经开发了一个单一的纳米级人工神经元设备,以一种非常节省面积和能源的方式在硬件中实现这些计算。由Kuzum和她的博士生Sangheon Oh领导的这项新研究是与加州大学圣地亚哥分校物理学教授Ivan Schuller领导的能源部能源前沿研究中心合作进行的,该中心专注于开发高能效人工神经网络的硬件实现。

该设备实现了神经网络训练中最常用的激活函数之一,称为整流线性单元。这个函数的特别之处在于,它需要能够经历电阻逐渐变化的硬件才能发挥作用,它可以逐渐从绝缘状态切换到导电状态,并且在一点点热量的帮助下完成。这种开关就是所谓的莫特转变。它发生在一个纳米级的二氧化钒薄层中。这层上面是一个由钛和金制成的纳米线加热器。当电流流经纳米线时,二氧化钒层慢慢加热,导致缓慢、可控的从绝缘到导电的转换。

这种设备结构非常有趣和创新,通常情况下,处于莫特过渡期的材料会经历一个从绝缘到导电的突然转换,因为电流直接流过材料。在这种情况下,研究人员将电流流经材料顶部的纳米线,以加热它并诱发一个非常渐进的电阻变化。为了实现这个装置,研究人员首先制造了这些所谓的激活(或神经元)装置的阵列,以及一个突触装置阵列。然后,他们将这两个阵列集成到一个定制的印刷电路板上,并将它们连接在一起,创建一个硬件版的神经网络。

研究人员使用该网络来处理图像,比如加州大学圣地亚哥分校盖瑟图书馆的照片。该网络进行了一种叫做边缘检测的图像处理,它可以识别图像中物体的轮廓或边缘。这项实验表明,集成的硬件系统可以进行卷积操作,这对许多类型的深度神经网络来说是必不可少的。

研究人员说,该技术可以进一步扩大规模,以完成更复杂的任务,如自动驾驶汽车的面部和物体识别。

举报

  • 相关推荐
  • 大家在看
  • Meta-Llama-3.1-405B-Instruct-FP8:多语言对话生成模型

    Meta Llama 3.1系列模型是一套预训练和指令调整的多语言大型语言模型(LLMs),包含8B、70B和405B三种规模的模型,专为多语言对话使用案例优化,性能优于许多开源和闭源聊天模型。

  • MIT MAIA:自动化解释性代理,提升AI模型透明度

    MAIA(Multimodal Automated Interpretability Agent)是由MIT计算机科学与人工智能实验室(CSAIL)开发的一个自动化系统,旨在提高人工智能模型的解释性。它通过视觉-语言模型的支撑,结合一系列实验工具,自动化地执行多种神经网络解释性任务。MAIA能够生成假设、设计实验进行测试,并通过迭代分析来完善其理解,从而提供更深入的AI模型内部运作机制的洞察。

  • Meta-Llama-3.1-405B-FP8:多语言大型语言模型,优化对话和文本生成。

    Meta Llama 3.1是一系列预训练和指令调整的多语言大型语言模型(LLMs),包含8B、70B和405B三种大小的模型,专门针对多语言对话使用案例进行了优化,并在行业基准测试中表现优异。该模型使用优化的transformer架构,并通过监督式微调(SFT)和人类反馈的强化学习(RLHF)进一步与人类偏好对齐,以确保其有用性和安全性。

  • Mermaid AI:快速高效的文本到图表生成工具。

    Mermaid AI是一个由Mermaid JS团队开发的图表生成工具,它通过文本快速生成图表,简化了文档流程,提高了团队间的沟通效率。它支持多种图表类型,包括流程图、序列图、Git图等,并且具有代码驱动的自动化功能,使得设计系统和新成员入职更加高效和易于管理。

  • OmniAI.ai:一站式AI应用部署平台。

    OmniAI是一个提供统一API体验的AI应用构建平台,支持在现有基础设施内运行,支持多种AI模型,如Llama 3、Claude 3、Mistral Large等,适用于自然语言理解、生成任务等复杂需求。

  • Zerox OCR:一种简单直观的PDF OCR工具,使用gpt-4o-mini进行文档转换。

    Zerox OCR是一个基于gpt-4o-mini的PDF文档转换工具,它通过将PDF文件转换为图像,然后利用GPT模型将图像内容转换为Markdown格式,从而实现对文档的高效OCR处理。该工具在价格上具有竞争力,并且能够提供比现有产品更有意义的结果。

  • Bing generative search:Bing的新型生成式搜索体验。

    Bing generative search是微软Bing搜索团队推出的新型搜索体验,它结合了生成式人工智能和大型语言模型(LLMs)的能力,为用户提供定制化和动态的搜索结果。该技术通过理解用户查询,审核数百万信息源,动态匹配内容,并以新的AI生成的布局生成搜索结果,以更有效地满足用户查询的意图。

  • lmms-finetune:统一的代码库,用于微调大型多模态模型

    lmms-finetune是一个统一的代码库,旨在简化大型多模态模型(LMMs)的微调过程。它提供了一个结构化的框架,允许用户轻松集成最新的LMMs并进行微调,支持全微调和lora等策略。代码库设计简单轻量,易于理解和修改,支持包括LLaVA-1.5、Phi-3-Vision、Qwen-VL-Chat、LLaVA-NeXT-Interleave和LLaVA-NeXT-Video等多种模型。

  • Open-Sora Plan v1.2:文本到视频生成领域的先进模型架构

    Open-Sora Plan v1.2是一个开源的视频生成模型,专注于文本到视频的转换任务。它采用3D全注意力架构,优化了视频的视觉表示,并提高了推理效率。该模型在视频生成领域具有创新性,能够更好地捕捉联合空间-时间特征,为视频内容的自动生成提供了新的技术路径。

  • Meta-Llama-3.1-70B-Instruct:70亿参数的大型多语言对话生成模型

    Meta Llama 3.1是Meta公司推出的一种大型语言模型,拥有70亿参数,支持8种语言的文本生成和对话。该模型使用优化的Transformer架构,并通过监督微调(SFT)和人类反馈强化学习(RLHF)进行调优,以符合人类对有用性和安全性的偏好。它旨在为商业和研究用途提供支持,特别是在多语言对话场景下表现出色。

  • Meta-Llama-3.1-8B-Instruct:多语言对话生成模型

    Meta Llama 3.1是一系列预训练和指令调整的多语言大型语言模型(LLMs),支持8种语言,专为对话使用案例优化,并通过监督式微调(SFT)和人类反馈的强化学习(RLHF)来提高安全性和有用性。

  • MaskVAT:视频到音频生成模型,增强同步性

    MaskVAT是一种视频到音频(V2A)生成模型,它利用视频的视觉特征来生成与场景匹配的逼真声音。该模型特别强调声音的起始点与视觉动作的同步性,以避免不自然的同步问题。MaskVAT结合了全频带高质量通用音频编解码器和序列到序列的遮蔽生成模型,能够在保证高音频质量、语义匹配和时间同步性的同时,达到与非编解码器生成音频模型相媲美的竞争力。

  • SV4D:生成多视角视频的模型

    Stable Video 4D (SV4D) 是基于 Stable Video Diffusion (SVD) 和 Stable Video 3D (SV3D) 的生成模型,它接受单一视角的视频并生成该对象的多个新视角视频(4D 图像矩阵)。该模型训练生成 40 帧(5 个视频帧 x 8 个摄像机视角)在 576x576 分辨率下,给定 5 个相同大小的参考帧。通过运行 SV3D 生成轨道视频,然后使用轨道视频作为 SV4D 的参考视图,并输入视频作为参考帧,进行 4D 采样。该模型还通过使用生成的第一帧作为锚点,然后密集采样(插值)剩余帧来生成更长的新视角视频。

  • Stable Video 4D:AI模型,动态多角度视频生成。

    Stable Video 4D是Stability AI最新推出的AI模型,它能够将单个对象视频转换成八个不同角度/视图的多个新颖视图视频。这项技术代表了从基于图像的视频生成到完整的3D动态视频合成的能力飞跃。它在游戏开发、视频编辑和虚拟现实等领域具有潜在的应用前景,并且正在不断优化中。

  • Mistral-Large-Instruct-2407:先进的大型语言模型,具备推理和编程能力。

    Mistral-Large-Instruct-2407是一个拥有123B参数的先进大型语言模型(LLM),具备最新的推理、知识和编程能力。它支持多语言,包括中文、英语、法语等十种语言,并且在80多种编程语言上受过训练,如Python、Java等。此外,它还具备代理中心能力和先进的数学及推理能力。

  • Llama3:大型语言模型,支持多种参数规模

    Meta Llama 3 是 Meta 推出的最新大型语言模型,旨在为个人、创作者、研究人员和各类企业解锁大型语言模型的能力。该模型包含从8B到70B参数的不同规模版本,支持预训练和指令调优。模型通过 GitHub 仓库提供,用户可以通过下载模型权重和分词器进行本地推理。Meta Llama 3 的发布标志着大型语言模型技术的进一步普及和应用,具有广泛的研究和商业潜力。

  • AI写作宝:AI驱动的文字生产力工具

    AI写作宝是一个利用人工智能技术提供多种写作辅助服务的在线平台。它通过各种功能帮助用户快速生成高质量文本内容,提高写作效率,适用于多种场景,如社媒写作、教育、工作、短视频、电商和娱乐等。

  • RTVI-AI:实时语音和视频推理的开放标准

    RTVI-AI是一个旨在简化构建AI语音到语音和实时视频应用的开放标准。它提供了开源SDK代码和标准端点形状、事件消息以及数据结构的文档,支持开发者使用任何推理服务,并允许推理服务利用开源工具为实时多媒体开发复杂的客户端工具。

  • File Transcribe:AI驱动的音频转文字服务

    File Transcribe 是一款利用先进人工智能技术将音频文件转换为文本的服务。它通过高精度的AI模型,提供即时、准确的转录服务,并具备多种高级功能,如说话人识别、情绪检测、主题检测等。该服务支持多种语言,能够满足不同用户的需求,提高工作效率,适用于记者、学生、企业等各类用户。

  • NinjaRIP:AI驱动的文档处理工具,快速准确。

    NinjaRIP是一款AI驱动的文档处理服务,它通过先进的机器学习模型来识别模式和提取有意义的信息,从而简化文档工作流程。它以99%以上的准确率在文档识别和数据提取方面提供无与伦比的精确度,确保了数据的可靠性和可信度。NinjaRIP在beta阶段免费提供,一旦过渡到正式版,将提供不同业务需求的定价计划,价格透明且具有竞争力。

今日大家都在搜的词:

热文

  • 3 天
  • 7天