首页 > 业界 > 关键词  > Nightshade最新资讯  > 正文

Nightshade:艺术家全新反击工具,可用损坏训练数据“毒害”AI模型

2023-10-24 10:05 · 稿源:站长之家

划重点:

1. 🤖 艺术家反击AI:艺术家可以使用一种名为Nightshade的新工具,向他们的图像注入隐形的像素,使AI模型产生错误的认知。

2. 📜 背景:AI公司依赖大量的训练数据,包括来自艺术家的创作,引发了一系列法律诉讼。

3. 💡 希望与风险:Nightshade的开发者希望通过这一工具重塑AI与艺术家之间的权力平衡,但也承认可能被滥用。

站长之家(ChinaZ.com) 10月24日 消息:自 ChatGPT 几乎一年前登场以来,生成式人工智能(AI)进入了高速发展的时代,但反对声音也逐渐增强。许多艺术家、娱乐人士、表演者甚至唱片公司已经对AI公司提起了诉讼,其中一些诉讼涉及 ChatGPT 制造商 OpenAI,原因是这些新工具背后的“秘密武器”:训练数据。

也就是说,这些AI模型需要访问大量的多媒体内容并从中学习,包括艺术家创作的文字材料和图像,而这些艺术家既没有事先知道,也没有机会反对他们的作品被用于训练新的商业AI产品。

AI机器人画家画画

图源备注:图片由AI生成,图片授权服务商Midjourney

在这些AI模型的训练数据集中,许多包括从网络上抓取的材料,这一做法在用于索引他们的材料以提供搜索结果时,以前大多受到艺术家的支持。但现在,许多人已经反对这种做法,因为它允许通过AI创建竞争性作品。

即使没有提起诉讼,艺术家也有机会利用技术来对抗AI。麻省理工技术评论杂志提到了一个还在开发中的名为Nightshade的新开源工具。艺术家可以将Nightshade添加到他们的图像中,然后上传到网络,这个工具可以以一种对人眼隐形的方式改变像素,但对寻求对其进行训练的AI模型来说,却“毒害”了艺术品。

Nightshade由芝加哥大学的研究人员在计算机科学教授Ben Zhao的指导下开发,并将作为其先前产品Glaze的可选设置添加,Glaze是另一款在线工具,可以掩盖数字艺术品并改变其像素以混淆AI模型对其风格的认知。

就Nightshade而言,艺术家对抗AI的反击更进一步:它使AI模型学习错误的物体和景物名称。例如,研究人员通过在像素中注入信息,让图像中的狗看起来像猫。在仅对50张被“毒害”的图像样本进行采样和学习后,AI开始生成具有奇怪腿和不安视觉效果的狗的图像。在100张毒害样本之后,当用户要求生成一只狗时,它可靠地生成一只猫。经过300张毒害样本后,任何对猫的请求都会返回一个几乎完美的狗。

研究人员使用了开源的文本到图像生成模型 Stable Diffusion 来测试Nightshade,并获得了上述结果。由于生成式AI模型的工作方式的特性,即将概念上相似的词语和想法分组为称为“嵌入”的空间集群,Nightshade还成功追踪 Stable Diffusion 并在使用“哈士奇”、“小狗”和“狼”这些词语提示时返回猫的图像。

此外,Nightshade的数据毒害技术难以防御,因为它需要AI模型开发人员清除包含被毒害像素的任何图像,而这些像素是经过设计的,对人眼来说并不明显,甚至可能连软件数据抓取工具也难以检测到。

已经被摄入到AI训练数据集中的任何被毒害的图像也需要被检测并移除。如果AI模型已经在其上进行了训练,那么它很可能需要重新训练。

尽管研究人员承认他们的工作可能被恶意利用,但根据麻省理工技术评论杂志对他们工作的文章,他们“希望通过这一工具帮助重塑AI公司与艺术家之间的权力平衡,从而创建一个强大的威慑力,防止侵犯艺术家的版权和知识产权”。

根据该报道,研究人员已将他们关于制作Nightshade的工作提交给计算机安全会议Usinex的同行评审。

举报

  • 相关推荐
  • 【CIM 加速,AI有方】No.2|格创东智GT Insights用AI工作流改写半导体智造决策范式

    在半导体制造领域,数据驱动的精准决策成为提升良率、降低成本的核心。传统数据分析系统面临三大挑战:技术门槛高、分析周期长、知识传承难。格创东智推出的GT+Insights产品,通过自然语言交互实现“对话即分析”,大幅降低使用门槛。该系统采用语义建模技术,将复杂物理数据转化为业务友好模型,支持分钟级全链路良率根因分析。目前已在多家半导体企业成功落地,助力客户显著提升生产效率,推动行业向智能化持续迈进。

  • AI日报:美团LongCat-Flash-Omni发布;Qwen3-Max上线深度思考功能;百度“文心”5.0重磅回归

    本期AI日报聚焦多领域技术突破:美团发布全模态交互模型LongCat-Flash-Omni;阿里通义千问Qwen3-Max上线深度思考功能;百度文心5.0升级多模态生成能力;谷歌确认Gemini3年内发布并整合至苹果Siri;OpenAI向多国开放Sora2视频工具;云存储与AI开发工具持续优化,展现行业加速迭代态势。

  • TabTab 登顶模力工场 AI 应用榜榜首, 把 AI 数据分析师装进口袋,关键结论更快抵达!

    TabTab是一款全链路AI数据分析助手,核心功能包括多源数据连接(支持文档、数据库、电商平台等)、自动化采集清洗、内置分析模型及可视化呈现。其优势在于通过多智能体系统实现自然语言交互,降低分析门槛,让非技术人员也能快速完成客户洞察、销售业绩等分析,显著提升效率。产品定位中立,致力于构建多元化AI效率提升生态。

  • 何小鹏首次披露物理AI巨大进展 发布第二代VLA大模型

    小鹏汽车在2025科技日发布第二代VLA大模型,颠覆传统“视觉-语言-动作”架构,实现端到端直接输出动作指令,开创物理模型新范式。该模型具备动作生成与物理世界理解能力,参数规模达数十亿级,训练数据近1亿clips。基于2250TOPS算力的Ultra车型成功搭载,推动智驾技术显著进化,同步发布“小径NGP”功能,复杂小路接管里程提升13倍。行业首发的无导航辅助驾驶Super+LCC实现全球覆盖。何小鹏表示,大模型将成为物理AI世界的操作系统,并宣布与大众汽车达成战略合作,共同推进智能出行发展。

  • Soul App开源模型SoulX-Podcast登顶Hugging Face TTS趋势榜,AI语音对话再升级

    SoulX-Podcast语音生成模型在开源社区Hugging Face发布次日登顶TTS趋势榜。该模型由Soul AI Lab联合高校团队开发,专为多轮对话场景设计,支持中英川粤等多语言/方言与副语言风格,能生成超60分钟流畅自然、角色切换准确、韵律丰富的语音。它解决了传统语音系统在多轮对话中上下文衔接不自然、缺乏副语言控制能力等痛点,在播客、语音合成等场景表现突出,获开发者广泛关注。Hugging Face CEO也转发相关内容,团队未来将持续优化语音对话、拟人化表达等核心交互能力,深化开源生态建设。

  • 如何检查你的网站是否被大模型引用?AI排名查询工具推荐

    本文探讨AI搜索时代网站流量获取新逻辑:传统SEO因Google搜索"零点击"现象失效,而71%用户通过AI工具研究购买决策。文章指出被大语言模型引用成为新流量入口,并推荐使用AIBase等GEO工具监测网站在豆包、DeepSeek等国内主流AI平台的曝光情况。提出三步操作法和三个优化建议:建立监控基线、定期检查变化、聚焦高转化场景。强调在AI搜索时代,内容被LLM引用已成为新的流量生命线。

  • 新Siri或明年春季发布 苹果公司或引入谷歌Gemini大模型 AI技术

    苹果因自研大模型项目遇瓶颈,决定引入谷歌Gemini大模型升级Siri,计划每年支付约10亿美元获取定制化Gemini 2.5 Pro使用权。该模型拥有1.2万亿参数,将全面负责Siri的信息摘要、任务规划及复杂指令执行等核心功能,支持多模态交互和超长文本处理。升级版Siri预计2026年春季随iOS 26.4推送,后续将在WWDC大会展示进一步整合。苹果选择谷歌主要因成本优势、长期合作基础及Gemini领先性能。

  • AI生万物,移往无前 | 第12届TMA大奖终审会成功举办

    11月1日,第12届TMA大奖终审会在云南玉溪成功举办。本届赛事聚焦移动营销与AI创新,新增数智营销、AI创新等赛道,细分短剧营销、节日/事件营销等类别。60余位行业专家评审入围案例,最终获奖结果将于12月19日盛典揭晓。活动搭建了行业交流平台,推动营销与AI技术融合发展。

  • 【AI 智惠季】全模态大模型齐发优惠,GPU新客包月2.8折起

    阿里云启动双十一“AI智慧季”大型优惠活动,聚焦企业多元AI场景落地需求,推出7000万tokens大模型免费体验、GPU新客特惠等政策,助力企业降低开发成本。同时提供标准化AI产品与解决方案,覆盖内容创作、智能客服等高频应用场景,并举办系列技术分享活动,携手企业拥抱AI新时代。

  • AI日报:昆仑万维SkyReels V3模型上线;月之暗面推Kimi Linear模型;MiniMax Music 2.0 发布

    本期AI日报聚焦多领域创新:昆仑万维推出SkyReels V3模型,整合顶尖视频生成能力;月之暗面Kimi Linear模型处理长文本速度提升2.9倍;MiniMax Music 2.0实现专业级音乐创作;字节跳动启动豆包股权激励计划吸引AI人才;苹果iOS 27将迎AI重大升级,Siri更个性化;Dia浏览器融合Arc设计理念与AI技术;文心魔法漫画工具实现一键生成连载作品;谷歌Gemini Canvas新增PPT自动生成功能,由Gemini 2.5 Pro驱动,提升职场效率。

今日大家都在搜的词: