首页 > 业界 > 关键词  > TOFU最新资讯  > 正文

卡内基大学开源TOFU框架,帮助大模型遗忘隐私数据

2024-01-19 09:46 · 稿源:站长之家

要点:

1、TOFU框架包含遗忘、数据集、评估等多个模块,提升大模型的安全性。

2、TOFU数据集帮助深入理解大模型的遗忘过程,并提供全新的评估方案。

3、TOFU的遗忘模块可以帮助开发者移除敏感数据,使大模型在行为上表现得好像从未学习过这些遗忘数据一样。

站长之家(ChinaZ.com)1月19日 消息:TOFU框架是一个旨在提升大模型安全性的工具,由卡内基梅隆大学研究人员开发。该框架包含遗忘、数据集、评估等多个模块,帮助开发者提升大模型的安全性。

image.png

项目地址:https://top.aibase.com/tool/tofu

论文地址:https://arxiv.org/pdf/2401.06121.pdf

TOFU数据集则致力于帮助开发人员更深入地理解大模型的遗忘过程,并提供了全新的评估方案,涵盖了遗忘质量和模型效用两个方面的比较。TOFU的遗忘模块可以帮助开发者从大语言模型中移除敏感数据,使其在行为上表现得好像从未学习过这些遗忘数据一样。

TOFU框架的核心功能之一是遗忘模块,它可以帮助开发者从大语言模型中移除敏感数据,使其在行为上表现得好像从未学习过这些遗忘数据一样。遗忘模块需要根据遗忘集的数据对模型进行调整,以实现遗忘效果。

主要包含参数调整和样本选择两种方法。参数调整通过修改模型的参数,重新训练模型以减少对遗忘集的依赖性,达到遗忘敏感信息的效果。而样本选择则是通过选择性地使用遗忘数据集的样本,以逐渐遗忘与这些样本相关的敏感信息或相关性进行筛选,以便更有针对性地移除敏感数据。

综上所述,TOFU框架的发布为大模型的安全性提供了有力支持,其包含的数据集和评估方案为开发者提供了更多的工具和方法来保护用户隐私数据。遗忘模块的实现更是为大模型的安全应用提供了切实可行的解决方案。这一框架的开源将为整个领域的发展带来新的动力和方向。

举报

  • 相关推荐
  • 提升大模型自动修Bug能力 豆包正式开源首个多语言类SWE数据

    今日,字节跳动豆包大模型团队宣布,正式开源首个多语言类SWE数据集Multi-SWE-bench,可用于评估和提升大模型自动修Bug”能力。在SWE-bench基础上,Multi-SWE-bench首次覆盖Python之外的7种主流编程语言,是真正面向全栈工程”的评测基准。相比于以往聚焦Python的单语言任务,Multi-SWE-bench更贴近现实中的多语言开发场景,也更能反映当前模型在自动化软件工程”方向上的实际能力边界。

  • Aloudata Agent公测开启:NoETL+大模型=好数据驱动真智能,让“万数皆可问”

    4月22日,Aloudata大应科技推出自研的Aloudata Agent,这是一款基于NoETL明细语义层的分析决策智能体,旨在通过自然语言实现数据查询、归因诊断、报告生成等功能。该产品解决了企业数据分析面临的五大挑战:语义鸿沟、口径一致性、场景覆盖度、性能优化和数据权限管控。Aloudata Agent采用NL2MQL2SQL技术路径,通过指标语义层实现业务语言与数据语言的精准对齐,显著提升查询准�

  • 酒仙桥论坛 | 大模型 “燃料荒” 如何破?可信数据打造智能时代新底座

    · 首届酒仙桥论坛, 6 天 11 场分论坛“AI 马拉松”持续热跑中,聚焦人工智能“产业创新应用、生态发展和数智未来”,政、产、学、研多方力量共议AI黄金发展期的机遇与挑战,搭建务实对话桥梁,加速科技创新和产业创新融合。4月17日上午,酒仙桥论坛可信数据服务专场顺利召开。在这场以“可信数据服务”为焦点的分论坛上,产学研专家从行业洞察与业务实践出发,围�

  • 字节AI加速文生图技术新突破,GOOG/微美全息引领开源大模型释放科技势能

    字节跳动发布豆包1.5深度思考模型,升级文生图能力。该模型在专业领域和通用任务中表现突出,采用MoE架构,总参数量200B,激活参数20B,推理成本优势显著。同时,其图像生成模型Seedream 3.0性能追平GPT-4o等顶尖模型。全球AI产业加速发展,开源模型降低技术门槛,推动商业化落地。微美全息等企业构建开放AI生态,DeepSeek等公司通过开源策略促进技术普惠。行业迎来"开源AI+"新阶段,企业需把握机遇应对挑战。

  • DeepSeek领航大模型普惠化浪潮,xAI/微美全息加速开源AI布局打造新格局

    DeepSeek 作为当前最受关注的大模型之一,凭借其技术创新正在加速 AI 普惠化进程。根据机构新报告显示,DeepSeek已经成为全球增长最快的AI工具,其每月新增网站访问量已经超过OpenAI的ChatGPT。DeepSeek市场份额全球第三目前,DeepSeek市场份额6.58%,仅次于ChatGPT和Canva。DeepSeek是继ChatGPT之后的又一现象级AI产品,它的市场份额从2.34%快速增长至6.58%,展现出强劲的增长态势。全球著名�

  • 合合信息发布“大模型加速器 2.0”,助力大模型跨越“幻觉”障碍

    近日,上海合合信息科技股份有限公司(简称“合合信息”)TextIn“大模型加速器 2.0”版本正式上线,凭借其多维度升级,为降低大模型“幻觉”风险、推动大模型精准应用提供了强大助力。训练数据是影响大模型“认知能力”的关键,合合信息“大模型加速器 2.0”基于领先的智能文档处理技术,从数据源头入手,对复杂文档的版式、布局和元素进行精准解析及结构化处理,

  • 奔驰新款CLA接入豆包大模型

    4月22日,奔驰与火山引擎合作的首款国产纯电车型CLA全球首发亮相。该车搭载奔驰自研MB.OS架构,接入火山引擎大模型,支持个性化智能交互体验。智能系统可识别4种情绪并给予反馈,交互效率提升50%,唤醒仅需0.2秒。虚拟助手能解答百科问题并协助车辆功能设置。这是双方继2024年8月达成AI战略合作后落地的首款量产车型,结合生成式AI和大数据技术,为中国用户打造更智能的用车体验。

  • 迅雷一键即可完成大模型下载

    近日,迅雷为提升用户使用体验,让用户能够更快更好地批量下载大模型所有文件,已针对大模型下载场景进行了优化,并上线了新版本插件,下载迅雷客户端且在浏览器安装迅雷插件即可使用。值得一提的是,在使用迅雷该插件功能创建任务时,将同时创建相对应的文件夹,下载完成后,所有文件都将在一个文件夹中,相比传统浏览器——需要用户逐个手动点击下载图标并�

  • 九为健康联合华为云发布神农中医大模型智能体,解码如何用大模型重构“望闻问切”

    2025 年 4 月 11 日,在华为云生态大会上,浙江九为健康科技股份有限公司(以下简称"九为健康")正式发布基于华为云盘古大模型的"九为神农中医大模型智能体"。该解决方案依托AI技术,系统性攻克中医药研发周期长、作用机制解析困难、个性化方案制定复杂等产业难题,通过智能化手段推动中医药现代化进程,为医药全产业链提供覆盖研发、诊疗及健康管理的全流程智能服�

  • 大模型时代的智能营销,从“玩具”到“工具箱”

    百度在Create大会上强调AI应用创造真正价值,发布智能营销一体化应用"客悦·ONE"。李彦宏指出,没有应用场景的芯片和模型毫无价值。百度智能云升级后整合文心、DeepSeek等大模型能力,实现从数据洞察到智慧触达的闭环营销体系。该产品在金融等行业已落地见效,自助解决率达93%以上,支持多模态交互和全渠道管理。百度通过全栈自研AI架构降低开发成本,推动行业智能化转型。