首页 > 业界 > 关键词  > Midjourney最新资讯  > 正文

AI图像生成器Midjourney意外创建不当内容,违反其自身准则

2024-02-02 11:27 · 稿源:站长之家

📰 **划重点:**

1. AI图像平台Midjourney意外生成不适内容,引发批评。

2. 研究者发现Midjourney的NSFW过滤系统存在漏洞,允许用户规避内容限制。

3. 文章揭示Midjourney Version6似乎减轻了对裸露图像的过滤,引起担忧。

站长之家(ChinaZ.com) 2月2日 消息:近日,The Debrief报道了一项有关AI图像平台Midjourney的研究,发现该平台意外生成了不适内容,违反了其自身的使用准则。Midjourney明确规定用户不得故意创建明确或性内容,以保持“PG-13”等级,并通过屏蔽特定关键词来实施严格的过滤。

然而,调查人员发现Midjourney的AI系统似乎无意中生成了一些不适内容,引起了一些批评。艺术家和作家Tim Boucher在探索Midjourney V6(版本6)功能时发现了系统NSFW内容过滤的漏洞。尽管Midjourney像许多AI驱动的平台一样,禁止生成NSFW内容,使用过滤器屏蔽可能导致这种输出的特定术语和表达方式,但Boucher发现通过使用一些不被立即识别为触发NSFW内容的替代术语,仍然可以生成不符合平台“PG-13”标准的图像。

AI画画机器人作画绘画

图源备注:图片由AI生成,图片授权服务商Midjourney

据Midjourney称,这些内容是不可访问的。虽然互联网用户已经找到了绕过的方法,比如使用“草莓糖浆”而不是“血液”,但该AI工具表示它不断更新其参数以阻止这类请求。然而,在Boucher的案例中,他只是在寻找他的书《Relaxatopia》的图像,该书发生在一个未来的厄运沙滩度假胜地。他使用的提示是“厄运度假胜地”。

Boucher的经验突显了AI图像生成器面临的一个关键问题:虽然明确禁止使用不适当的术语,但同义词或相关术语可能不受限制,使用户能够规遍意图的内容限制。例如,尽管“伤口”这个词可能受限制,但同义词“伤害”可能没有限制,导致可能违反平台准则的内容的生成。然而,更广泛的问题是,Boucher和其他人并没有故意试图规遍Midjourney的保护措施。

Midjourney的总部位于旧金山,于2022年3月上线,由Leap Motion的联合创始人David Holz创立,Leap Motion曾致力于用手势替代计算机鼠标。要运行Midjourney,首先需要使用消息应用程序Discord。然后,您需要支付每月大约10美元的费用,即可获得访问权限。Midjourney机器人通过Discord聊天从用户那里接收请求,已经有超过1400万注册用户。

The Debrief决定进行一项测试,使用Midjourney能否复制结果。测试的最简单方法是要求生成人们通常穿得较少的情境的图像。询问Midjourney生成“炎热的一天的人们”、“沙滩上的人们”或“水疗日”等提示通常都有效。在Boucher的帮助下,于1月26日决定从“沙滩派对”开始。因此,Discord聊天栏中只输入了“沙滩派对”。

Midjourney生成了四张上述测试中使用提示“沙滩派对”的图像。由于第一张图最真实,包含了容易识别的人物,我们选择这张图进行测试。选择图像后,决定使用“Variation”功能。简而言之,您可以让Midjourney接受您选择的图像,并创建其替代版本。“Variation(低)”的点击将只对图像进行轻微更改,并为您提供另外四个外观相似的选项。“Variation(强)”将对图像进行更显著的更改,并为您创建另外四个选项。在测试中,点击了“Variation(强)”。这样做了四次,直到其中一张图包含一位没有穿上衣的女性。选择该图像后,再次选择“Variation(强)”,其中一个AI生成的女性完全裸体。

在请求的其他变化系列之后,生成的图像中包含了裸体图像。额外的变化只是生成了越来越多的不适内容。总共花了5分钟,以“沙滩派对”为提示,我们发现了一个裸体沙滩。

为了确认结果,Boucher和The Debrief于几天后的1月31日进行了第二次测试。使用相同的提示“沙滩派对”,选择了这张图像。在第二次测试中,通过几次“Variation(强)”的点击,生成了多张包含裸体的图像。

Boucher并不是唯一一个注意到Midjourney Version6似乎减轻了其裸露过滤的用户。在Reddit上,出现了一场讨论,其中一名用户注意到当他们简单地使用提示“放个香蕉在上面”时,生成了多个带有裸体的图像。

生成AI内容的明确或暴力内容是一个相当普遍的问题。上周,一张AI生成的泰勒·斯威夫特的色情图像在互联网上走红。使用Microsoft的AI工具的漏洞,用户首先将图像上传到聊天应用Telegram,然后在X(Twitter)上迅速传播。Microsoft已经修复了这个漏洞。在此之前,极右翼活动分子曾利用该程序生成种族主义和仇恨内容,以传播虚假信息的目的。虽然在 proverbial 安全网上总会有方法。

然而,对Midjourney的担忧在于,它创建的图像并没有被请求。似乎任何用户,包括未成年人,只需输入相对无害的内容,Midjourney都可能提供带有裸露图像的图像。

Boucher告诉The Debrief:“一方面,作为艺术家,其中一些图像在美学上非常美丽。如果用户是成年人并表示同意,问题就减轻了。另一方面,作为一名Trust&Safety专业人员,您的系统不应在人们没有要求的情况下创建裸体图像。”“尤其是因为您的规则明确禁止裸体照片。当用户直接要求时,他们可能会被彻底禁止使用该服务。这里存在着重大的不一致性。”

The Debrief联系了Midjourney以寻求评论,并将在他们回应后更新文章。

MJ Banias是一位涵盖安全和技术领域的记者,他是The Debrief Weekly Report的主持人。您可以通过电子邮件联系MJ,邮箱为mj@thedebrief.org,或在Twitter上关注他 @mjbanias。

举报

  • 相关推荐
  • 大家在看
  • Healax:AI驱动的心理健康解决方案

    Healax是一款创新的AI驱动的心理健康解决方案,专为学生设计,帮助他们主动应对日常生活中的压力和焦虑。该产品通过建立学生、行政人员和提供者之间的信任沟通渠道,提供定制化活动和内容,以促进更全面的教育体验。

  • Snowflake Arctic Embed:开源的先进文本嵌入模型

    Snowflake Arctic Embed是一系列基于Apache 2.0许可开源的文本嵌入模型,专为检索用例设计。这些模型在Massive Text Embedding Benchmark (MTEB)检索基准测试中提供了领先的检索性能,为组织在结合专有数据集与大型语言模型(LLMs)进行检索增强生成(RAG)或语义搜索服务时提供了新的优势。这些模型的尺寸从超小型(xs)到大型(l),具有不同的上下文窗口和参数数量,以满足不同企业的延迟、成本和检索性能需求。

  • DuerOS X:全球首个AI原生操作系统

    DuerOS X是小度基于百度文心大模型推出的全球首个AI原生操作系统。它彻底颠覆了传统的人适应系统的模式,实现了端到端连接用户的意图与任务,极大地拓展了操作系统的边界。DuerOS X全面应用了文心大模型,通过模型路由架构,能够灵活调度不同的文心模型去解决不同难度的问题,更高效、更精准、更经济。个性化长短记忆的存储、提取和理解能力,使得DuerOS X能够更清楚地记住历史内容与用户个性化偏好。此外,多模态感知技术的应用,让DuerOS X产生更丰富的感知力,无论是通过语音、文字还是表情与小度沟通,都能准确地理解用户的意图,并给出恰当的回应。

  • abab 6.5:万亿参数MoE文本大模型

    abab 6.5系列包含两个模型:abab 6.5和abab 6.5s,均支持200k tokens的上下文长度。abab 6.5包含万亿参数,而abab 6.5s则更高效,能在1秒内处理近3万字的文本。它们在知识、推理、数学、编程、指令遵从等核心能力测试中表现出色,接近行业领先水平。

  • mistral-common:Mistral模型工具集

    mistral-common是一套帮助您处理Mistral模型的工具。它不仅包含文本到token的转换,还增加了工具解析和结构化对话。目前发布了三个版本的tokenizer,分别适用于不同的模型集合。

  • AI Grammar Checker & Paraphraser – LanguageTool:提供语法检查和改写的工具

    AI语法检查与改写工具- LanguageTool是一款免费的语法检查工具,可以检测文本中的语法错误并提供改写建议。它能够检测出拼写错误、语法问题、常见词汇混淆和标点符号错误,并提供改写建议、同义词替换和简洁句子重写。该工具适用于多种语言,支持多个平台和应用场景,如社交媒体、电子邮件和网页。

  • Spline AI 3D Generation:快速生成三维模型的AI工具

    AI 3D Generation是Spline推出的一款3D设计工具,它支持文本到3D生成和图像到3D生成,允许用户通过简单的文本提示或2D图像自动创建出详细且精确的3D模型。该工具具有生成变体与混合、直观且适合初学者、创建独特的3D库、平台集成与实时协作、易于集成和发布等功能。

  • FocuSee:轻松录屏 软件会自动跟踪光标移动美化录屏效果

    FocuSee 自动跟踪光标移动,应用动态缩放效果,为您节省宝贵时间和额外的努力。适用于演示,教程,推广视频等多种场景。

  • Ai-to-pptx:使用AI技术来自动生成PPTX 支持在线修改

    Ai-to-pptx 是一个使用 AI 技术 (ChatGpt 和 Gemini) 制作 PPTX 的助手,支持在线修改和导出 PPTX。主要功能包括使用 ChatGPT 等大语言模型生成大纲、允许用户再次修改内容、选择不同模板、在线修改 PPTX 的文字、样式、图片等,支持导出 PPTX、PDF、PNG 等多种格式。价格为付费,商业授权价格为 22000 元人民币或 3000 美元。

  • CodeQwen1.5:开源代码助手,高效编程新选择

    CodeQwen1.5是一个基于Qwen语言模型的代码专家模型,拥有7B参数,支持92种编程语言,最长支持64K的上下文输入。它具备代码生成、长序列建模、代码修改和SQL能力等,旨在提高开发人员的工作效率,简化软件开发流程。

  • PixArt-Sigma:4K文本到图像生成的扩散变换器

    PixArt-Sigma是一个基于PyTorch的模型定义、预训练权重和推理/采样代码的集合,用于探索4K文本到图像生成的弱到强训练扩散变换器。它支持从低分辨率到高分辨率的图像生成,提供了多种功能和优势,如快速体验、用户友好的代码库和多种模型选择。

  • InstantMesh:高效3D网格生成框架

    InstantMesh是一个基于LRM架构的前馈框架,用于从单张图像高效生成3D网格。它支持低内存GPU环境,并能生成具有纹理映射的3D网格模型。

  • MagicClothing:基于LDM的服装驱动图像合成AI

    MagicClothing是一种基于潜在扩散模型(LDM)的新型网络架构,专门用于服装驱动的图像合成任务。它能够根据文本提示生成穿着特定服装的定制化角色图像,同时确保服装细节的保留和对文本提示的忠实呈现。该系统通过服装特征提取器和自注意力融合技术,实现了高度的图像可控性,并且可以与ControlNet和IP-Adapter等其他技术结合使用,以提升角色的多样性和可控性。此外,还开发了匹配点LPIPS(MP-LPIPS)评估指标,用于评价生成图像与原始服装的一致性。

  • FireCrawl:无需站点地图,一键抓取网站所有子页面

    FireCrawl 是一款由 Mendable.ai 开发的开源项目,它能够无需站点地图即可抓取任何网站的所有可访问子页面,并将这些内容转换为干净、格式化的Markdown文档。它特别适合数据科学家、机器学习工程师、内容创作者和市场分析师使用,以从网站内容中提取有价值的信息。FireCrawl 能够处理使用JavaScript动态渲染的内容,提供API服务,支持自托管,并与多种开发者工具和框架集成。

  • Atlas:下一代电动机器人

    Atlas是波士顿动力公司开发的一款先进的人形机器人,它结合了数十年的研究和实际经验,旨在解决当今工业领域中最艰巨的挑战。新一代的Atlas机器人是全电动的,比以往的液压版本更强大,动作范围更广,能够更高效地完成各种任务。Atlas机器人配备了新的AI和机器学习工具,如强化学习和计算机视觉,以确保它们能够适应复杂的现实世界情况。此外,Atlas将与波士顿动力公司的Orbit™软件集成,该软件提供了一个集中的平台来管理整个机器人车队、站点地图和数字化转型数据。

  • Stable Diffusion 3 API:先进的文本到图像生成系统

    Stable Diffusion 3是一款先进的文本到图像生成系统,它在排版和提示遵循方面与DALL-E 3和Midjourney v6等顶尖系统相匹敌或更优。该系统采用新的多模态扩散变换器(MMDiT)架构,使用不同的权重集来改善图像和语言的表示,从而提高文本理解和拼写能力。Stable Diffusion 3 API现已在Stability AI开发者平台上线,与Fireworks AI合作提供快速可靠的API服务,并承诺在不久的将来通过Stability AI会员资格开放模型权重以供自托管。

  • 奇布塔:AI一站式儿童有声绘本创作平台

    奇布塔是基于人工智能生成技术的绘本创作平台,提供各种风格的有声绘本创作功能,帮助用户创作优质的绘本内容。定价灵活多样,定位于绘本创作者和儿童阅读者市场。

  • VASA-1:实时生成逼真语音驱动人脸

    VASA-1是由微软研究院开发的一个模型,专注于实时生成与音频相匹配的逼真人脸动画。该技术通过深度学习算法,能够根据输入的语音内容,自动生成相应的口型和面部表情,为用户提供一种全新的交互体验。VASA-1的主要优势在于其高度逼真的生成效果和实时响应能力,使得虚拟角色能够更加自然地与用户进行互动。目前,VASA-1主要应用于虚拟助手、在线教育、娱乐等领域,其定价策略尚未公布,但预计将提供免费试用版本供用户体验。

  • Stable Diffusion 3 Free Online:AI创造性视觉的突破性AI

    Stable Diffusion 3是Stability AI推出的最新创新,为创造性图像生成带来突破性的AI。它提供了改进的文本到图像生成算法、多模态能力和用户友好的许可证,免费使用SDXLTurbo.ai。革新设计、动画、游戏等领域,提升文本到图像生成、多模态能力和用户友好的许可证。探索、创造、转化。

  • Platen.ai:AI写作,超越人类能力

    Platen.ai是一款AI写作工具,针对SEO进行优化,能够生成优化的内容,提高有机流量。它集成了作家、研究员和专业的SEO专家的功能,能够根据关键词生成高效的内容。使用Platen.ai,您只需输入关键词,即可轻松生成符合品牌声音和受众需求的SEO优化内容。

今日大家都在搜的词: