首页 > 业界 > 关键词  > UniPortrait最新资讯  > 正文

AI日报:阿里推多角色一致性框架UniPortrait;腾讯混元上线三款ControlNet插件;苹果研发桌面机器人;Claude推提示词缓存功能

2024-08-15 15:08 · 稿源:站长之家

欢迎来到【AI日报】栏目!这里是你每天探索人工智能世界的指南,每天我们为你呈现AI领域的热点内容,聚焦开发者,助你洞悉技术趋势、了解创新AI产品应用。

新鲜AI产品点击了解:https://top.aibase.com/

1、阿里团队推新框架UniPortrait:支持多角色一致性和风格参考

阿里巴巴集团研究团队发布了UniPortrait框架,专注于人像图像的个性化处理,实现单角色一致性、多角色一致性和风格参考。该框架具备高度逼真的面部特征保留,支持广泛的面部编辑功能,用户可通过自由文本描述生成图像。UniPortrait为人像个性化定制带来新可能性,提升图像生成质量,为未来应用场景铺平道路。

image.png

【AiBase提要:】

🌟UniPortrait框架专注于单一和多重身份的图像个性化处理,保持高质量的面部特征。

✍️框架由ID嵌入模块和ID路由模块组成,通过两阶段训练方案实现高效定制。

🚀UniPortrait支持自由文本描述和多样化布局生成,为人像个性化定制提供丰富可能性。

详情链接:https://top.aibase.com/tool/uniportrait

2、可精准控图!腾讯混元文生图开源模型上线三款ControlNet插件

腾讯混元文生图大模型(HunyuanDiT)近日发布了三款新的可控制插件ControlNet,进一步扩展了其应用场景,为开发者和创作者提供更精准的图片生成和更大自由度的创作能力。

image.png

【AiBase提要:】

🔍 Tile插件实现超清放大,适合对细节有极致追求的场景。

🎨 Inpainting插件填充涂抹部分,实现背景更换、人物主体改变等效果。

🖌️ Lineart插件创作真人、动漫和建筑图片,适用于建筑效果图生成和手稿上色。

详情链接:https://dit.hunyuan.tencent.com/

3、苹果正在研发一款神奇的桌面机器人,预计2026年面世!

苹果公司正秘密研发一款结合 iPad 显示屏和机械臂的桌面机器人,将彻底改变家庭生活。这款设备功能多样,可控制智能家居、进行视频通话和监控家庭安全,内置 Siri 语音助手,操作便捷。预计在2026年或2027年发布,售价约1000美元。

【AiBase提要:】

📱 苹果正在研发一款结合 iPad 显示屏和机械臂的桌面机器人,功能多样。

🛋️ 这款设备可以控制智能家居、进行视频通话和监控家庭安全,预计在2026年或2027年发布。

🗣️ 内置 Siri 语音助手,支持语音命令,让用户操作更便捷。

4、Claude推出提示缓存功能 允许开发人员在API缓存常用上下文

Anthropic公司推出的提示缓存功能在提高AI使用效率和降低成本方面具有潜在的重要意义,然而其实际效果还需市场检验。该功能允许用户存储和重复使用特定上下文信息,为商业AI应用带来效率提升。

【AiBase提要:】

🔑 提示缓存功能可降低企业AI成本并提升性能,但实际效果需市场验证。

🚀 功能适用于长时间对话、文档处理等场景,有望带来高达90%的成本降低和响应速度提升。

💡 其他AI公司也在探索提高模型效率和降低成本的方法,市场对功能表现持谨慎态度。

5、Grok2图像生成无所不能!原来用的是FLUX.1模型

在这个AI日新月异的时代,马斯克推出了AI助手Grok的新功能,让图片生成变得自由而充满争议。Black Forest Labs开发的FLUX.1模型引领着AI界的创新,但也引发了版权和虚假信息等问题。马斯克的选择反映了对信息自由的态度,但也可能带来信息灾难。在AI快速发展的时代,我们需要提高辨识能力,谨慎应对这种无拘无束的创造力。

image.png

【AiBase提要:】

🌟 Grok2 推出新图像生成功能,生成图片无过滤机制,质量上甚至超过了Midjourney和OpenAI的产品

💰 Grok2 用的是Black Forest Labs 开发的FLUX.1 模型

⚠️ 不受约束的图像生成可能导致假新闻和版权问题。

6、HeadGAP:三张视角图片即可生成逼真3D虚拟人

研究团队开发的"HeadGAP"方法引起了广泛关注,通过少量照片快速创建高仿真3D虚拟人头部形象,实现个性化定制与优化。该方法结合高斯点网络和动态建模技术,展示出色的渲染质量和动画表现,适用于多种应用场景。

image.png

【AiBase提要:】

🎨 通过"HeadGAP"方法,仅需少量照片即可创建逼真的3D虚拟人头部形象。

🚀 采用高斯点网络和动态建模技术,实现头像个性化定制与优化。

🖼️ 实验结果显示,生成的头像在渲染质量和动画表现上都非常出色,适用于多种应用场景。

详情链接:https://top.aibase.com/tool/headgap

7、联想发布2025财年Q1财报 杨元庆:混合式AI是巨大机遇

联想集团在2024/25财年第一财季业绩表现亮眼,营收增长20%,净利润同比增长65%。杨元庆强调混合式人工智能的愿景,认为是未来发展的重要方向。公司全球市场份额接近23%,AI PC出货量环比增长228%。

【AiBase提要:】

📈 营收增长20%,净利润同比增长65%。

🖥 全球市场份额接近23%,高端产品线占比31.6%。

🤖 混合式人工智能是未来发展重要方向,为个人和企业打造智能体。

8、OpenAI投的代码神器Cursor叛变,程序员却拍手叫好,疯狂买单

在科技圈,OpenAI投资的代码生成工具Cursor突然叛变,引起轰动。程序员们纷纷支持并购买Cursor,导致OpenAI失去统治地位。这一事件揭示了投资协议松散的问题。

image.png

【AiBase提要:】

🤯 程序员们疯狂支持Cursor,愿意支付双倍价格,使其成为新宠。

👀 Cursor支持Claude-3.5-Sonnet和多行编辑功能,提高代码编写效率。

💥 Claude-3.5-Sonnet在Livebench基准测试中稳坐榜首,超越GPT-4和ChatGPT。

详情链接:https://www.cursor.com/blog/openai-fund

9、Nature惊人内幕:无数论文被偷偷高价出售喂AI

学术出版商将研究论文出售给AI开发公司,引发科研界争议。研究数据用于训练AI模型,作者无知情。大型语言模型需大量数据训练,学术论文成宝贵资源。购买高质量数据集趋势上升,合作与保密并存。版权诉讼引发关注,研究者意见不一。

【AiBase提要:】

🔍 学术出版商将研究论文出售给AI开发公司,引发科研界争议。

💡 大型语言模型需大量数据训练,学术论文成宝贵资源。

⚖️ 版权诉讼引发关注,研究者意见不一。

详情链接:

https://www.nature.com/articles/d41586-024-02599-9

https://arxiv.org/pdf/2112.03570

举报

  • 相关推荐
  • 大家在看
  • Graphite Reviewer:AI代码审查伴侣

    Graphite Reviewer是一个AI代码审查工具,它通过即时反馈帮助团队提高代码审查的效率和质量。该工具利用代码库感知AI,自动检测代码中的bug和错误,使团队能够专注于构建而不是审查。它支持自定义规则,保证代码质量和一致性,同时确保代码的私密性和安全性。Graphite Reviewer的主要优点包括快速合并PR、强化质量和一致性、保持代码私密和安全、捕捉常见错误等。

  • Character SDK:构建可实时互动的AI角色

    Character SDK是一个能够创建AI角色的平台,这些角色可以实时听、说、看,甚至采取行动。它通过实时语音和视觉识别、高级OCR处理、多语言交流、自适应推理和基于意图的任务自动化等技术,帮助企业提高效率,减少成本,并提供个性化的用户体验。

  • Temperstack:一站式SRE平台,提升服务可靠性。

    Temperstack是一个企业级的主动式SRE平台,旨在减少SRE的重复劳动,提高服务的可靠性。它通过自动化服务目录、警报审计和跨您的监控工具的SLI报告,为从CTO到SRE工程师的团队提供可见性、主动发现问题并促进协作。Temperstack集成了流行的监控工具,提供统一的命令界面,以实现全面的SRE可见性和行动。

  • o1-engineer:命令行工具,提升开发效率

    o1-engineer 是一个命令行工具,旨在帮助开发者通过 OpenAI 的 API 高效地管理和交互项目。它提供了代码生成、文件编辑、项目规划等功能,以简化开发工作流程。

  • Canvas:与ChatGPT协作的新方式

    Canvas是OpenAI推出的一个新界面,旨在通过与ChatGPT的协作来改进写作和编码项目。它允许用户在一个单独的窗口中与ChatGPT一起工作,超越了简单的聊天界面。Canvas利用GPT-4o模型,能够更好地理解用户的上下文,并提供内联反馈和建议。它支持直接编辑文本或代码,并提供快捷操作菜单,帮助用户调整写作长度、调试代码等。Canvas还支持版本回溯,帮助用户管理项目的不同版本。

  • Text Behind Image:轻松创建文字背景图片设计。

    Text Behind Image 是一个开源的设计工具,允许用户轻松创建文字背景图片设计。它提供了一个简洁的界面,让用户可以自由地在图片上添加文字,创造出独特的视觉效果。这个工具对于设计师、社交媒体运营者和内容创作者来说非常有用,因为它可以快速生成具有吸引力的视觉内容。

  • torchao:PyTorch原生量化和稀疏性训练与推理库

    torchao是PyTorch的一个库,专注于自定义数据类型和优化,支持量化和稀疏化权重、梯度、优化器和激活函数,用于推理和训练。它与torch.compile()和FSDP2兼容,能够为大多数PyTorch模型提供加速。torchao旨在通过量化感知训练(QAT)和后训练量化(PTQ)等技术,提高模型的推理速度和内存效率,同时尽量减小精度损失。

  • LFMs:新一代生成式AI模型

    Liquid Foundation Models (LFMs) 是一系列新型的生成式AI模型,它们在各种规模上都达到了最先进的性能,同时保持了更小的内存占用和更高效的推理效率。LFMs 利用动态系统理论、信号处理和数值线性代数的计算单元,可以处理包括视频、音频、文本、时间序列和信号在内的任何类型的序列数据。这些模型是通用的AI模型,旨在处理大规模的序列多模态数据,实现高级推理,并做出可靠的决策。

  • NVLM-D-72B:前沿的多模态大型语言模型

    NVLM-D-72B是NVIDIA推出的一款多模态大型语言模型,专注于视觉-语言任务,并且通过多模态训练提升了文本性能。该模型在视觉-语言基准测试中取得了与业界领先模型相媲美的成绩。

  • gradio-bot:将Hugging Face Space或Gradio应用转化为Discord机器人

    gradio-bot是一个可以将Hugging Face Space或Gradio应用转化为Discord机器人的工具。它允许开发者通过简单的命令行操作,将现有的机器学习模型或应用快速部署到Discord平台上,实现自动化交互。这不仅提高了应用的可达性,还为开发者提供了一个与用户直接交互的新渠道。

  • AI-Powered Meeting Summarizer:会议语音转文本并自动生成摘要的AI工具

    AI-Powered Meeting Summarizer是一个基于Gradio的网站应用,能够将会议录音转换为文本,并使用whisper.cpp进行音频到文本的转换,以及Ollama服务器进行文本摘要。该工具非常适合快速提取会议中的关键点、决策和行动项目。

  • VARAG:视觉增强的检索与生成系统

    VARAG是一个支持多种检索技术的系统,优化了文本、图像和多模态文档检索的不同用例。它通过将文档页面作为图像嵌入,简化了传统的检索流程,并使用先进的视觉语言模型进行编码,提高了检索的准确性和效率。VARAG的主要优点在于它能够处理复杂的视觉和文本内容,为文档检索提供强大的支持。

  • JoyHallo:数字人模型,支持生成普通话视频

    JoyHallo是一个数字人模型,专为普通话视频生成而设计。它通过收集来自京东健康国际有限公司员工的29小时普通话视频,创建了jdh-Hallo数据集。该数据集覆盖了不同年龄和说话风格,包括对话和专业医疗话题。JoyHallo模型采用中国wav2vec2模型进行音频特征嵌入,并提出了一种半解耦结构来捕捉唇部、表情和姿态特征之间的相互关系,提高了信息利用效率,并加快了推理速度14.3%。此外,JoyHallo在生成英语视频方面也表现出色,展现了卓越的跨语言生成能力。

  • PhysGen:基于物理的图像到视频生成技术

    PhysGen是一个创新的图像到视频生成方法,它能够将单张图片和输入条件(例如,对图片中物体施加的力和扭矩)转换成现实、物理上合理且时间上连贯的视频。该技术通过将基于模型的物理模拟与数据驱动的视频生成过程相结合,实现了在图像空间中的动态模拟。PhysGen的主要优点包括生成的视频在物理和外观上都显得逼真,并且可以精确控制,通过定量比较和全面的用户研究,展示了其在现有数据驱动的图像到视频生成工作中的优越性。

  • Whisper large-v3-turbo:高效自动语音识别模型

    Whisper large-v3-turbo是OpenAI提出的一种先进的自动语音识别(ASR)和语音翻译模型。它在超过500万小时的标记数据上进行训练,能够在零样本设置中泛化到许多数据集和领域。该模型是Whisper large-v3的微调版本,解码层从32减少到4,以提高速度,但可能会略微降低质量。

  • Realtime API:低延迟的实时语音交互API

    Realtime API 是 OpenAI 推出的一款低延迟语音交互API,它允许开发者在应用程序中构建快速的语音到语音体验。该API支持自然语音到语音对话,并可处理中断,类似于ChatGPT的高级语音模式。它通过WebSocket连接,支持功能调用,使得语音助手能够响应用户请求,触发动作或引入新上下文。该API的推出,意味着开发者不再需要组合多个模型来构建语音体验,而是可以通过单一API调用实现自然对话体验。

  • Saylo AI:探索无限的AI角色扮演游戏。

    Saylo AI是一个AI角色扮演游戏,让你与AI角色互动,探索多样化的戏剧性故事。它利用人工智能技术,提供沉浸式的互动体验,让玩家在虚拟世界中与AI朋友交流,体验不同的故事情节。Saylo AI的背景信息展示了其创新性和娱乐性,旨在为玩家提供一种全新的娱乐方式。目前产品处于推广阶段,价格未明确标注。

  • twinny:Visual Studio Code的免费且私密的AI扩展

    twinny是一个为Visual Studio Code用户设计的AI扩展,旨在提供个性化的编程辅助,提高开发效率。它通过集成先进的AI技术,帮助开发者在编码过程中快速解决问题,优化代码,并提供智能提示。twinny的背景是响应开发者对于更加智能和自动化编程工具的需求,它通过简化开发流程,减少重复劳动,从而让开发者能够专注于更有创造性的工作。

  • Buildpad:构建人们真正想要的产品

    Buildpad 是一个旨在帮助创始人从概念到成功最小可行产品(MVP)的在线平台。它通过提供智能验证工具、AI引导的开发流程、进度跟踪以及个性化的项目见解,帮助用户构建能够获得市场认可的产品。Buildpad 的主要优点包括简化产品开发流程、提高产品成功率、以及提供个性化的指导和支持。

  • Novela:AI时代的技能学习平台

    Novela是一个专注于AI时代技能学习的在线平台,提供早期访问服务,用户可以免费试用。它旨在帮助用户掌握AI相关的技能,以适应未来职场的需求。

今日大家都在搜的词: