首页 > 业界 > 关键词  > Design2Code最新资讯  > 正文

Design2Code:提供设计图,让多模态LLM自动生成前端代码

2024-03-07 14:38 · 稿源:站长之家

划重点:

⭐️ 生成 AI 在近年来取得了快速进展,具有前所未有的多模态理解和代码生成能力。

⭐️ 研究对可视化设计转换为代码实现的任务进行了系统研究,提出了一套自动评估指标。

⭐️ GPT-4V 在任务中表现出色,生成的网页在视觉外观和内容方面有望取代原始参考网页。

站长之家(ChinaZ.com)3月7日 消息:近年来,生成 AI 在多模态理解和代码生成方面取得了显著进展,为前端开发带来了全新的范式。研究人员开展了对视觉设计转换为代码实现任务(称为 Design2Code)的系统研究。

Design2Code是一个微软的开源项目,目的是实现提供设计图,转换为前端代码,适用于前端开发者和设计师。

研究人员手动筛选了484个真实网页作为测试用例,并开发了一套自动评估指标,以评估当前多模态 LLMs 能够多大程度上生成直接渲染为给定参考网页的代码实现,以屏幕截图作为输入。

研究人员开发了一套多模态提示方法,并展示了它们在 GPT-4V 和 Gemini Vision Pro 上的有效性。他们还对开源的 Design2Code-18B 模型进行了微调,成功达到了 Gemini Pro Vision 的性能水平。

测试集示例

基准测试中的一些示例(用于评估目的;下面两行)与 Huggingface 创建的合成数据(用于训练目的;第一行)进行比较。基准测试包含具有不同复杂程度的各种现实世界网页。

image.png

人类评估和自动指标显示,GPT-4V 在这一任务中表现出色,标注者认为 GPT-4V 生成的网页在视觉外观和内容方面有望在49% 的情况下取代原始参考网页。令人惊讶的是,在64% 的情况下,标注者认为 GPT-4V 生成的网页甚至比原始参考网页更好。

基准性能:自动指标

对于自动评估,考虑高级视觉相似性(CLIP)和低级元素匹配(块匹配、文本、位置、颜色)。

image.png

模型对比

一些案例研究示例来比较不同的提示方法和不同的模型。

image.png

详细的细分指标表明,开源模型在从输入网页中召回视觉元素和生成正确布局设计方面大多落后,而在文本内容和着色方面则可以通过适当的微调得到显著改进。

项目入口:https://top.aibase.com/tool/design2code

举报

  • 相关推荐
  • 大家在看
  • 卖货主播大模型--乐乐喵-7B-4bit:智能卖货主播,提升销售效率,增强购物体验。

    Streamer-Sales 销冠 —— 卖货主播大模型是一个基于商品特点进行解说并激发用户购买意愿的智能模型。它通过深度理解商品特点,以生动、精准的语言为商品量身打造解说词,让每一件商品都焕发出诱人的光彩。无论是线上直播销售还是线下门店推广,这款模型都能成为销售的得力助手,提升销售效率,增强用户体验,为品牌形象加分。

  • 卖货主播大模型--乐乐喵-7B:智能卖货主播,提升销售效率,增强用户体验。

    Streamer-Sales 销冠 —— 卖货主播大模型是一个基于InternLM2微调而来的AI模型,能够根据商品特点进行解说,激发用户的购买意愿。它适用于线上直播销售和线下门店推广,可以显著提升销售效率和用户体验,为品牌形象加分。该模型通过智能解说,使商品细节和整体效果更加生动、精准,从而吸引消费者。

  • Streamer-Sales:智能卖货主播大模型,提升销售效率,增强购物体验。

    Streamer-Sales 销冠是一个基于大语言模型的智能卖货主播系统,它能够根据商品特点从激发用户购买意愿的角度出发进行商品解说。该模型在 InternLM2 的基础上通过指令微调而来,集成了 LMDeploy 加速推理,支持 ASR 语音生成文字,RAG 检索增强生成,Agent 网络查询等功能,并通过 TTS 技术生成带有感情的语音,最终生成主播数字人视频,为商品解说提供全方位的技术支持。

  • Cadenza:智能音乐创作工具,一键生成专业和弦进行。

    Cadenza是一款AI驱动的音乐制作工具,它允许用户通过简单的描述来生成专业的MIDI和弦进行。该工具能够确保和弦流畅地转换,适用于各种音乐风格,从流行到爵士。Cadenza的主要优点包括用户友好的界面、实时生成和弦进行的能力以及与各种数字音频工作站(DAW)的兼容性。价格方面,Cadenza在促销期间以30美元的价格出售,这使得它对于音乐制作人来说是一个经济实惠的选择。

  • Florence-2-base-ft:先进的视觉基础模型,支持多种视觉和视觉-语言任务

    Florence-2是由微软开发的高级视觉基础模型,采用基于提示的方法处理广泛的视觉和视觉-语言任务。该模型能够解释简单的文本提示,执行诸如图像描述、目标检测和分割等任务。它利用FLD-5B数据集,包含54亿个注释,覆盖1.26亿张图像,精通多任务学习。其序列到序列的架构使其在零样本和微调设置中均表现出色,证明是一个有竞争力的视觉基础模型。

  • Tellers:将任何文本、文章或故事快速转化为视频

    Tellers是一个AI驱动的视频编辑平台,它允许用户将书面内容快速转化为视频,无需视频编辑专业知识。该平台通过使用机器学习和信号处理算法,为用户提供了一种创新和实用的方式来扩展内容的覆盖范围,提高SEO排名,触及新的社区,并提高内容的可访问性。Tellers还提供了商业版,支持企业整合和定制化服务,满足数据隐私和内部软件集成的需求。

  • MyTrainingPlan:个性化马拉松训练计划

    MyTrainingPlan是一个提供个性化马拉松和半程马拉松训练计划的网站。它通过AI技术根据用户在Strava上的活动历史和当前健康状况来创建定制的训练计划。用户可以轻松调整计划以适应变化,并与之前的训练周期进行比较,以保持动力。此外,网站还提供里程统计、配速计算器和比赛倒计时等工具,帮助用户更好地准备比赛。

  • Licode:无需编码,快速构建AI驱动的网页应用

    Licode是一个无代码平台,为构建者、企业和创业者提供了一个原生由AI驱动的网页应用创建环境。它允许用户无需编码即可轻松构建SaaS、门户、仪表板、CRM、聊天应用和表单应用。Licode内置了AI功能,用户可以随时随地在应用中启用AI提示,赋予用户即开即用的AI能力。此外,Licode还提供了预构建的UI组件、内置的认证和用户管理系统、与Stripe集成的账单管理、安全的数据库存储以及自定义业务逻辑的动作创建功能。

  • SEOJuice:AI驱动的内部链接工具,简化SEO工作

    SEOJuice是一个AI驱动的内部链接工具,旨在简化SEO工作,通过自动化创建内部链接,帮助网站提升在搜索引擎中的排名。由Vadim个人开发,以解决手动添加内部链接的繁琐和耗时问题。SEOJuice通过AI扫描网站内容,找到合适的上下文链接和关键词,并自动添加,从而提升整个网站的SEO性能。作为一个自筹资金、独立运营的项目,SEOJuice不依赖外部投资,以用户订阅费用为运营资金。

  • Florence-2-large-ft:先进的视觉基础模型,支持多种视觉和视觉-语言任务。

    Florence-2-large-ft是由微软开发的高级视觉基础模型,使用基于提示的方法来处理广泛的视觉和视觉-语言任务。该模型能够通过简单的文本提示执行诸如图像描述、目标检测和分割等任务。它利用FLD-5B数据集,包含54亿个注释,覆盖1.26亿张图像,实现多任务学习。模型的序列到序列架构使其在零样本和微调设置中均表现出色,证明其为有竞争力的视觉基础模型。

  • 豆包 MarsCode:智能开发工具,一触即发

    豆包 MarsCode 是一款即将发布的智能开发工具,旨在通过AI技术激发开发者的创造力。它将为编程工作带来革命性的改变,提高开发效率,降低技术门槛。

  • Florence-2-base:先进的视觉基础模型,支持多种视觉和视觉-语言任务。

    Florence-2是由微软开发的高级视觉基础模型,采用基于提示的方法处理广泛的视觉和视觉-语言任务。该模型能够解释简单的文本提示,执行如描述、目标检测和分割等任务。它利用包含54亿个注释的5.4亿张图像的FLD-5B数据集,精通多任务学习。模型的序列到序列架构使其在零样本和微调设置中都表现出色,证明其为有竞争力的视觉基础模型。

  • Florence-2-large:先进的视觉基础模型,支持多种视觉和视觉-语言任务

    Florence-2-large是由微软开发的先进视觉基础模型,采用基于提示的方法处理广泛的视觉和视觉-语言任务。该模型能够解释简单的文本提示来执行如图像描述、目标检测和分割等任务。它利用包含54亿注释的5.4亿图像的FLD-5B数据集,精通多任务学习。其序列到序列的架构使其在零样本和微调设置中均表现出色,证明是一个有竞争力的视觉基础模型。

  • Multi:多人协作,提升软件开发效率

    Multi是一款专为软件开发团队设计的协作工具,它通过多人协作、共享控制、即时通讯和自动记录等功能,帮助团队成员更高效地沟通和工作。产品基于Zoom的高质量音视频基础设施,提供低延迟的共享控制体验,并通过AI技术自动生成会议摘要和行动项,进一步加速团队的软件开发流程。

  • 智能编码助手通义灵码:智能编码助手,提升开发效率

    通义灵码是一款专为开发者设计的智能编码助手,支持多种开发环境,包括JetBrains IDEs、Visual Studio Code、Visual Studio等。它通过集成先进的AI技术,帮助开发者快速完成编码任务,提高编码效率和质量,适用于各种编程语言和开发场景。

  • MOFA-Video:通过生成运动场适应实现单图像动画化

    MOFA-Video是一种能够将单张图片通过各种控制信号动画化的方法。它采用了稀疏到密集(S2D)运动生成和基于流的运动适应技术,可以有效地使用轨迹、关键点序列及其组合等不同类型的控制信号来动画化单张图片。在训练阶段,通过稀疏运动采样生成稀疏控制信号,然后训练不同的MOFA-Adapters来通过预训练的SVD生成视频。在推理阶段,不同的MOFA-Adapters可以组合起来共同控制冻结的SVD。

  • Duix:AI数字人智能交互平台

    DUIX是一个开源的AI数字人智能交互平台,由硅基智能打造。它允许开发者接入多种大模型和语音能力,实现数字人实时交互,并支持在Android和iOS多终端一键部署。DUIX适用于多种场景,包括地铁、银行、政务等,具有低成本快速部署、小网络依赖和功能多样化的特点。

  • SuperSonic:下一代BI平台,融合Chat BI和Headless BI。

    SuperSonic是一个集成了由大型语言模型(LLM)驱动的Chat BI和由语义层驱动的Headless BI的下一代商业智能(BI)平台。它确保Chat BI能够访问与传统BI相同的经过策划和治理的语义数据模型。此外,这两种范式的实现都从集成中受益:Chat BI的Text2SQL通过从语义模型中检索上下文得到增强;Headless BI的查询接口通过自然语言API得到扩展。SuperSonic提供了一个Chat BI界面,使用户能够使用自然语言查询数据,并以适当的图表可视化结果。要实现这种体验,唯一需要的就是通过Headless BI接口构建逻辑语义模型(定义指标/维度/标签及其含义和关系)。同时,SuperSonic被设计为可扩展和可组合的,允许使用Java SPI添加和配置自定义实现。

  • DB-GPT:AI原生数据应用开发框架

    DB-GPT是一个开源的AI原生数据应用开发框架,利用AWEL(Agentic Workflow Expression Language)和代理(agent)技术,简化了大型模型应用与数据的结合。它通过多模型管理、Text2SQL效果优化、RAG框架优化、多代理框架协作等技术能力,使企业和开发者能够以更少的代码构建定制化应用。DB-GPT在数据3.0时代,基于模型和数据库,为构建企业级报告分析和业务洞察提供了基础数据智能技术。

  • OpenAgents:一个开放平台,用于日常使用的语言代理。

    OpenAgents是一个开放平台,旨在使用户和开发者能够在日常生活中使用和托管语言代理。该平台已经实现了三种代理:数据分析的Data Agent、集成200+日常工具的Plugins Agent和自动网页浏览的Web Agent。OpenAgents通过优化的Web UI使普通用户能够与代理功能进行交互,同时为开发者和研究人员提供在本地设置上的无缝部署体验,为创新语言代理的构建和现实世界评估提供了基础。

今日大家都在搜的词: