11.11云上盛惠!海量产品 · 轻松上云!云服务器首年1.8折起,买1年送3个月!超值优惠,性能稳定,让您的云端之旅更加畅享。快来腾讯云选购吧!
大型视觉语言模型在需要文本和图像理解的任务中表现出色。特别是在区域级任务,如引用表达理解中,经过图像文本理解和推理的发展之后,这一进展变得明显。该模型在定量和定性目标计数方面均优于专家模型,证明了其在感知和理解方面的优越性。
Katalist是一款面向电影制片人、广告商和内容创作者的在线工具,利用生成式AI技术帮助用户可视化创意构思,轻松创建故事板、视频创意和创意推介。Katalist的核心功能是分析剧本,自动提取人物、场景和活动,一键生成相应的视觉素材。Katalist的产品特色和功能一键生成剧本故事板保持人物场景一致性快速切换角色场景元素导入剧本自动生成视觉素材定制视觉元素的细节想要了解更多关于Katalist的信息并开始体验这一工具,请访问官方网站。
加利福尼亚大学圣地亚哥分校和南加利福尼亚大学的研究人员最近推出了一种名为CyberDemo的新型人工智能框架,旨在通过视觉观察进行机器人模仿学习。传统的模仿学习方法通常需要大量高质量的示范数据来教导机器人完成复杂任务,特别是对于需要高度灵巧的任务来说。虽然为每个任务设计模拟环境需要额外的工作,但减少了数据收集的人为干预,并避免了复杂的奖励设计�
LeCun在「视觉世界模型」论文中详细介绍了世界模型在AI学习物理世界中的关键作用。世界模型相比自回归学习范式能更好地理解世界,掌握物理世界的关键。LeCun的「视觉世界模型」论文有望成为AI学习物理世界的关键里程碑。
AIRLOOK与百度视觉技术部联合发布了中国地信领域的第一个大空间高精度3DGS解决方案,率先实现了测绘级SfM与3DGaussianSplatting逆渲染技术的完美融合,为行业提供更强大的显式编辑能力和更低算力需求的实时渲染能力,进一步降低开发和部署门槛,在双方的合作下,将加快创新性技术在地理信息领域的应用。GIR重建及重光照渲染效果打造数字孪生城市的“新引擎”随着数字经济的快速发展,地理信息数据已经成为数字经济的重要组成部分,对于推动经济发展和提升社会治理水平具有重要意义。3DGS-PBR的引入,让重建的3DGS结果可无缝与其他CG渲染内容融合。
VSP-LLM是一个结合视觉语音处理与大型语言模型的框架,旨在通过LLMs的强大能力最大化上下文建模能力。VSP-LLM设计用于执行视觉语音识别和翻译的多任务,通过自监督视觉语音模型将输入视频映射到LLM的输入潜在空间。该框架通过提出一种新颖的去重方法和低秩适配器,可以高效地进行训练。
【新智元导读】谷歌团队推出「通用视觉编码器」VideoPrism,在3600万高质量视频字幕对和5.82亿个视频剪辑的数据集上完成了训练,性能刷新30项SOTA。AI视频模型Sora爆火之后,Meta、谷歌等大厂纷纷下场做研究,追赶OpenAI的步伐。尽管对比基线已经在K400上取得了有竞争力的结果,但所提出的全局蒸馏和token洗牌进一步提高了准确性。
YOLOv8是YOLO系列目标检测模型的最新版本。它能够在图像或视频中准确快速地识别和定位多个对象,并实时跟踪它们的移动。利用YOLOv8分析医学影像,帮助医生进行疾病诊断。
PixelPlayer是一项革命性的工具,可以通过观看大量无标注视频学会定位产生声音的图像区域并分离输入声音成一组表示每个像素声音的组件的系统。该系统利用视觉和听觉双模态的自然同步特点,在无需额外人工标注的情况下学习联合解析声音和图像模型。欲了解更多关于PixelPlayer的信息,请访问官方网站。
划重点:⭐️GoogleAI团队提出了ScreenAI,这是一个视觉语言模型,可以全面理解UI和信息图。⭐️ScreenAI在多个任务上表现出色,包括图形问答,元素注释,摘要生成等。通过利用这些组件的共同视觉语言和复杂设计,ScreenAI为理解数字内容提供了全面的方法。
OpenAI投资的人形机器人,通过最新视频拜年了有俩人上来就表演了一个从货架取包裹,转身放进筐里:镜头继续推进,旁边靠墙的两个机器人,在不停地将俄罗斯方块积木举起-丢下-再举起。充好电的机器人,温柔地拔掉插销,微微半蹲,把插头放到指定位置。1X官方说法是,计划在今年正式发布NEO,并进行量产。
B站UP主“不自由摄影师winga”通过巧妙运用多种AI工具,创作了一支令人瞩目的AI视频,模拟了食用毒菇后可能产生的致幻视觉效果。这段视频在B站上的播放量超过150万,获得超过20万的赞,一度登上B站全站排行榜第13名。这一系列技术的巧妙融合为视频的成功创作提供了基础。
美图宣布以总价3964.05万美元收购站酷,交易结构中,1778.4万美元将以配发及发行52,992,166股代价股份支付,余额2185.6万美元将以现金支付。站酷成立于2006年,汇聚了来自全球300多个城市的设计师、摄影师、插画师等视觉创意从业者,注册用户数量近1700万。此次收购还有助于美图在专业设计领域扩展业务,加强在版权和共创等方面的服务能力。
InternLM-XComposer2是一款领先的视觉语言模型,专注于自由形式文本图像合成与理解。该模型不仅能理解传统的视觉语言能从各种输入构建交织的文本图像内容,实现高度可定制的内容创作。InternLM-XComposer2的产品特色自由形式文本图像合成文本图像理解多模态内容创作为了获取更多详细信息并开始您的文本图像合成之旅,请访问InternLM-XComposer2官方网站。
Mobile-Agent是一款具有视觉感知的自主多模式移动设备代理,由北京交通大学联合阿里巴巴团队共同开发。该代理采用纯视觉解决方案,独立于XML和系统元数据,不需要任何系统代码,完全通过分析图像来理解和操作手机。它能够自动完成各种任务,比如可以在淘宝加购物车车,在APP播放音乐,自主使用导航APP,收发邮件等等。
Qwen-VL是阿里云推出的通用型视觉语言模型,具备强大的视觉理解和多模态推理能力。采用Transformer结构,以7B参数规模进行预训练,支持448x448分辨率,能够端到端处理图像与文本的多模态输入与输出。AIbase拥有一个全面的国内外AI产品数据库,涵盖了超过7000个出色的人工智能网站和产品,覆盖了40多个不同的领域。
谷歌AI研究团队最近提出了SpatialVLM,这是一种旨在增强视觉语言模型空间推理能力的创新系统。尽管先进的模型如GPT-4V在人工智能驱动任务中取得了显著进展,但它们在空间推理方面仍存在显著局限。-SpatialVLM的开发标志着人工智能技术的重大进步。
【新智元导读】MIT计算机科学与人工智能实验室的一项研究发现:不用担心视觉AI会很快淘汰人类打工人,因为对于企业来说,它们实在是太贵了。人工智能会抢走我们的工作吗?如果你每天都看硅谷高管谈论着当今尖端的AI技术,可能会觉得答案是肯定的,并且会很快发生。AI对于就业和劳动力市场的影响,短时间内还很难达成共识。
根据MIT计算机科学与人工智能实验室的研究,人工智能对打工人的淘汰速度可能比人们想象中的要慢得多。这是因为对于企业来说,视觉AI实在是太贵了。只有降低AI部署成本并扩大应用范围,才能让自动化对企业更具吸引力。
苹果公司的研究者通过自回归图像模型验证了视觉模型“参数越多性能越强”的规律,进一步证明随着容量或预训练数据量的增加,模型能不断提升性能。AIM能有效利用大量未经整理的图像数据,训练方法和稳定性与最近的大型语言模型类似。对未来图像模型性能提升和优化提供了新的研究方向和思路。
GoogleResearch和MITCSAIL共同推出了一项名为SynCLR的新型人工智能方法,该方法旨在通过使用合成图像和字幕,实现对视觉表征的学习,摆脱对真实数据的依赖。SynCLR的工作原理研究团队首先提出了一个三阶段的方法。这些改进有望进一步提升合成数据在训练人工智能模型中的效果。
1月5日,美图公司自研AI视觉大模型MiracleVision正式上线。广大用户可在MiracleVision官网和美图秀秀、WHEE等美图旗下产品中率先体验。美图公司正式向行业客户、合作伙伴全面开放MiracleVision的模型能力,持续通过API、SDK、SaaS、模型训练等形式,助力多场景工作流,帮助企业降本增效。
1月2日,美图公司自研AI视觉大模型MiracleVision通过《生成式人工智能服务管理暂行办法》备案,将面向公众开放。美图AI视觉大模型MiracleVision于2023年6月内测,为美图秀秀、美颜相机、Wink、美图设计室、WHEE、美图云修等知名影像与设计产品提供AI模型能力的同时,也帮助美图公司搭建起由底层、中间层和应用层构建的人工智能产品生态。在通过备案的国内大模型当中,美图公司
AnyText图文融合是一种基于扩散的多语言视觉文本生成和编辑模型,专门用于在图像中渲染准确且连贯的文本。它能够根据提供的图像和文本输入生成自然且逼真的合成图像。如需了解更多或下载AnyText,请访问AnyText网站介绍。
智谱AI开源了CogAgent,它是一个视觉语言模型,拥有180亿参数规模。该模型在GUI理解和导航方面表现出色,在多个基准测试上取得了SOTA的通用性能。CogAgent还支持OCR相关任务,通过预训练和微调,其能力得到了显著提升。
谷歌AI研究团队与加州大学圣迭戈分校的研究人员合作,提出了一种名为PixelLLM的智能模型,旨在解决大型语言模型在细粒度定位和视觉-语言对齐方面的挑战。这一模型的提出受到了人类自然行为的启发,尤其是婴儿描述其视觉环境的方式,包括手势、指向和命名。这一研究成果标志着在大型语言模型领域取得的一项重要进展,为实现更精确的视觉-语言对齐和定位打开了新的�
索尼旗下的PS5Pro能会在明年9月发布。该知情人士还透露了PS5Pro正在研发的新技术。如果传闻为真的话,PS5Pro的性能将与AMDRadeonRX7700XT显卡的性能相当这款显卡并没有以4K为卖点销售。
Pimento是一家新的法国初创公司,利用生成式人工智能以一种有趣的方式进行创意过程的第一步,包括构思、头脑风暴和制作情绪板。该公司从一系列有趣的投资者那里筹集了320万美元的资金。看公司如何开始使用这个产品也将是很有趣的。
美图自研AI视觉大模型MiracleVision发布4.0版本,最新版本带来了两大新能力:AI设计和AI视频。AI设计包括四大功能:矢量图形、文字特效、智能分层和智能排版。MiracleVision4.0将于2024年1月陆续应用于美图旗下产品,同时开放商业API,并提供多个套餐供用户选择。
AI画的玛丽莲·梦露,倒转180°后,竟然变成了爱因斯坦?!这是最近在社交媒体上爆火的扩散模型视错觉画,随便给AI两组不同的提示词,它都能给你画出来!哪怕是截然不同的对象也可以,例如一位男子,经过反色处理,就神奇地转变成一名女子:就连单词也能被翻转出新效果,happy和holiday只在一旋转间:原来,这是来自密歇根大学的一项“视觉字谜”新研究,论文一发出就在HackerN