首页 > 传媒 > 关键词  > 提示工程最新资讯  > 正文

卓世科技提示词压缩专利技术揭秘

2024-10-14 11:34 · 稿源: 站长之家用户

提示工程是一种在机器学习模型,尤其是预训练语言模型中,通过精心设计输入提示(prompt)来引导模型输出期望结果的技术。在大语言模型的使用中,提示词通常是一段文本,用来引导模型生成特定的输出或完成特定的任务。

在多文档搜索、问答系统、文档自动摘要生成以及阅读理解等多样化且复杂的应用场景中,往往会面临输入提示(prompt)长度显著增加的挑战。这种超长prompt不仅加大了大型语言模型(LLM)的推理成本,还显著延长了推理时间,从而严重限制了其在需要即时响应的实时应用场景中的适用性。为了克服这一难题,优化prompt设计,如通过压缩技术精简关键信息、采用更有效的prompt格式或结构,变得尤为关键。这样的策略旨在平衡模型性能与实时性需求,确保LLM能够在复杂多变的场景下依然保持有效、准确的响应能力。

基于以上背景,卓世科技创新的中文提示词压缩技术应运而生。

卓世科技对提示词进行压缩的技术旨在保证推理效果的前提下降低推理成本,提升推理速度。其主要的思路如下:

(1)定义长prompt的结构:

Prompt=instruction+documents/demonstrations+question。

(2)小语言模型和大语言模型的分布对齐

使用小语言模型(small LLM)估计长prompt的各个部分的重要程度,为了缩小大语言模型(LLM)和小语言模型之间的概率分布差距,通过在LLM生成的数据上进行指令微调来有效小语言模型,使得小语言模型更好地模拟LLM的分布。

(3)对documents/demonstrations部分进行两个层次的压缩。

3.1、示例层次的压缩

documents/demonstrations部分中通常包含多个文档/示例,而每个文档/示例包含有多个段落。针对每个文档/示例的每个段落,计算出段落与question的相关性,保留得分前 3 的段落作为该文档/示例的代表上下文x_doc。同时,可计算出该文档/示例中所有段落的平均相关性s_k。

然后根据question部分和文档/示例的代表上下文x_doc计算文档/示例级别的困惑度r_k。最终文档/示例的评分为s1=s_k*r_k。

此时,每个文档/示例计算出三个分数,评分s1、平均相关性s_k以及困惑度r_k。利用这三个分数从长prompt的documents/demonstrations部分中删除部分文档/示例。

3. 2 重排序

由于模型对prompt的不同位置处的信息的敏感度不同,通常模型对prompt首尾位置处的信息敏感度较好,中间位置的敏感度较差。为了确保prompt的效果,可依据评分对保留的文档进行重排序处理,使得评分较高的文档排列在首位,评分较低排列在中间位置。

3. 3 文档/示例压缩率计算

针对重排序后的prompt,用户可自定义在词语层次上的压缩率。按照上述文档/示例的排序,使用[1, 2*Kc]的均匀离散分布,来初始化每个文档/示例的压缩率。

3. 4 词语层次的压缩

在删减文档/示例后的documents/demonstrations部分,可计算每个token的条件困惑度差异。

为了确保压缩后的语义完整,可使用双向比较大匹配分词法,以获取到最长的分词词语。同时,为了适应垂直领域,可结合垂直领域内的专业词汇表进行分词,尽量保留垂直领域内的专业词汇。

然后可基于前述计算出的token的条件困惑度差异以及分词的结果,对每个词语进行打分。假设一个中文词语word_i有k个token组成,按照该中文词语word_i是否属于垂直领域的词汇,使用不同的计算方式对其评分。

最后针对每个文档/示例,利用文档/示例中每个词汇的评分,按照得分高低顺序压缩文档/示例,使得其满足文档/示例的压缩率。

(4)压缩后的prompt可输入至大语言模型中,得到响应。

至此,整个提示词压缩的方案介绍完毕,该技术方案相比于其他压缩方案,更加适配中文的词语粒度,尤其在垂直领域可避免丢失专业词汇,在保证语义完整的情况下删减了冗余信息,可有效降低提升推理效率,节约计算成本。

推广

特别声明:以上内容(如有图片或视频亦包括在内)均为站长传媒平台用户上传并发布,本平台仅提供信息存储服务,对本页面内容所引致的错误、不确或遗漏,概不负任何法律责任,相关信息仅供参考。站长之家将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。任何单位或个人认为本页面内容可能涉嫌侵犯其知识产权或存在不实内容时,可及时向站长之家提出书面权利通知或不实情况说明,并提供身份证明、权属证明及详细侵权或不实情况证明(点击查看反馈联系地址)。本网站在收到上述法律文件后,将会依法依规核实信息,沟通删除相关内容或断开相关链接。

  • 相关推荐
  • 微云全息(NASDAQ: HOLO)引领加密货币预测新纪元:HNFCS技术揭秘

    微云全息(NASDAQ:HOLO)开发了混合神经模糊控制系统(HNFCS),结合神经网络学习能力和模糊逻辑灵活性,能有效预测比特币等加密货币价格波动。该系统通过处理海量市场数据,动态调整预测模型,克服了传统方法在样本外预测和超时预测准确性方面的局限。HNFCS技术优势在于其自适应性和实时性,可扩展应用于多种金融场景,为投资者提供精准决策支持,有望成为加密货币市场的重要分析工具。

  • 央视探访海信空调实验室,揭秘赛场外的黑科技

    央视财经探访海信研发中心,揭秘其作为世俱杯官方合作伙伴的技术实力。海信新风空调X7Pro采用双向流换新风技术,3分钟实现全屋空气净化;16分贝超轻音设计,比小猫走路声更安静;极端气候测试显示,其能在-30℃至68℃稳定运行。权威机构认证,使用海信空调7小时睡眠效果相当于传统空调8小时。凭借健康舒适的新风技术,海信空调成为球迷票选的"满分看球空调",提供观赛和补眠的全方位舒适体验。未来海信将持续创新,为用户打造更智能健康的家居空气解决方案。

  • 中国空间站的“生命密码”:水、氧、能源供给技术大揭秘

    好的,我将按照您的要求,用140字左右的中文概括文章主要内容和关键点。请提供需要概括的文章内容,我会: 1. 仔细阅读原文 2. 提取核心信息 3. 用简洁准确的语言进行概括 4. 确保字数控制在140字左右 5. 只返回概括后的内容 您可以随时提供需要概括的文章,我会立即为您处理。

  • 点亮智能未来——专访悦观科技技术研发总监张丽娟

    文章介绍了智能照明系统在智慧城市建设中的发展与应用。张丽娟作为乐观科技技术研发总监,带领团队开发出融合AI、数据感知和节能管理的智能照明系统,已在多个城市和校园项目中成功应用。该系统通过多维感知、自适应算法和低功耗通信协议,实现动态调节照明强度和色温,提升能效同时改善用户体验。张丽娟强调"以人为核心"的设计理念,认为未来照明系统将成为城市数据网络的一部分,探索在安防协同、室内定位等更广泛场景中的应用价值。其团队产品已形成系列化布局,并推动行业标准化进程。

  • 米家空调Pro系列推送OTA:压缩机升级全工况6Hz变频算法

    小米官方发文宣布,米家空调Pro系列OTA今日起陆续推送,升级了全新的压缩机控制算法,覆盖新风和上出风系列产品。 这次OTA主要就是全面优化了双缸压缩机控制算法,升级为全工况6Hz变频算法”。

  • 快手科技副总裁宋婷婷:数字技术赋能女性发展,繁荣生态绽放“她力量”

    7月4日,2025全球数字经济大会第二届中国数字经济"她力量"论坛在北京举行。论坛聚焦女性在数字经济发展中的独特视角与创新实践,探讨如何通过技术赋能、跨界融合和生态共建推动数字经济迈向更包容与可持续的未来。快手科技副总裁宋婷婷分享了平台通过"幸福乡村带头人""村播计划"等项目,帮助乡村女性掌握短视频直播技能的成功案例。2022年快手与中国妇女发展基金会发起"她力量·乡村振兴帮扶计划",已孵化6名女性带头人,培训1200多名女性。典型案例包括卫红宇开发苦豆豆香工艺带动1500名妇女就业,赵旭艳组建农民主播团队年销农产品超千万元。快手还发起"幸福大讲堂"项目,在全国40多个县市培训超100万人次,并建立7个省级"共享直播间"。平台通过技术普惠助力女性实现自我价值,未来将继续携手各界伙伴为女性发展贡献力量。

  • 从“怕衰减“到“放心用”:揭秘绿源智能超续航的科技密码

    中国电动车行业面临电池续航痛点,用户普遍反映电量虚标、冬季掉电快、换电成本高等问题。绿源电动车通过智能超续航系列产品实现技术突破,其核心在于数字化电池养护系统,能智能调节充放电,使铅酸电池循环寿命达700次以上,并提供3年质保。独创液冷电机技术较传统风冷电机降温超30℃,配合IPX8级密封工艺,承诺"电机10年质保"。低功耗固态电控系统采用六效合一设计,提升能效20%。这些技术创新让电动车从"怕衰减"到"放心用",重新定义耐用标准,推动产业升级,让消费者享受持久稳定的出行体验。

  • 持续增长·韧性与活力并进 | 宏陶瓷砖2025年中关键词

    2025年陶瓷行业深度重构,宏陶瓷砖以创新驱动战略,在品牌、产品、营销等多维度突破。通过产品创新推出银河系、皇家玉石等旗舰系列,构建差异化竞争优势;渠道方面整合新媒体、社交平台实现全域触达;营销端借势电影IP《蛟龙行动》提升品牌声量,参与50公里徒步等场景营销强化高端形象。上半年完成全国超100家战略门店形象升级,获"陶瓷十大品牌"等多项权威认证,彰显行业标杆地位。宏陶将持续聚焦技术创新与品牌升级,为全年目标全力奋进。

  • 喜临门为何选择强脑科技?AI睡眠科技互补下的战略共鸣

    全球首款脑机接口AI床垫"宝蕖·BrainCo"正式亮相,标志着智能家居领域迎来革命性突破。该产品通过非侵入式脑机接口技术实时监测脑电信号,动态调整床垫参数,实现从"智能助眠"到"智慧陪伴"的跨越。喜临门与强脑科技的战略合作,将推动睡眠科技从硬件舒适向健康管理升级,响应"健康中国2030"战略。双方将共同研发精准睡眠监测技术,填补行业空白,并构建覆盖检测、干预到健康管理的全链条睡眠解决方案。

  • 没技术就没好洗衣机!海尔获两项省级科技奖:超120万用户受益

    6月27日,海尔洗衣机两项核心技术获山东省科学技术奖。智能洗烘技术通过20万份衣物数据实现精准识别材质、颜色和污渍,智能推荐洗涤程序;主动平衡降噪技术攻克行业脱水噪音大、震动强难题。两项技术解决了"洗不净""噪音大""甩不干"等用户痛点,相关产品已销售超120万台。这标志着洗衣机从"会洗"向"懂洗"升级,展现了海尔在洗衣机领域的科技实力。未来,海尔将持续以核心技术提升用户体验。