首页 > 传媒 > 关键词  > 提示工程最新资讯  > 正文

卓世科技提示词压缩专利技术揭秘

2024-10-14 11:34 · 稿源: 站长之家用户

提示工程是一种在机器学习模型,尤其是预训练语言模型中,通过精心设计输入提示(prompt)来引导模型输出期望结果的技术。在大语言模型的使用中,提示词通常是一段文本,用来引导模型生成特定的输出或完成特定的任务。

在多文档搜索、问答系统、文档自动摘要生成以及阅读理解等多样化且复杂的应用场景中,往往会面临输入提示(prompt)长度显著增加的挑战。这种超长prompt不仅加大了大型语言模型(LLM)的推理成本,还显著延长了推理时间,从而严重限制了其在需要即时响应的实时应用场景中的适用性。为了克服这一难题,优化prompt设计,如通过压缩技术精简关键信息、采用更有效的prompt格式或结构,变得尤为关键。这样的策略旨在平衡模型性能与实时性需求,确保LLM能够在复杂多变的场景下依然保持有效、准确的响应能力。

基于以上背景,卓世科技创新的中文提示词压缩技术应运而生。

卓世科技对提示词进行压缩的技术旨在保证推理效果的前提下降低推理成本,提升推理速度。其主要的思路如下:

(1)定义长prompt的结构:

Prompt=instruction+documents/demonstrations+question。

(2)小语言模型和大语言模型的分布对齐

使用小语言模型(small LLM)估计长prompt的各个部分的重要程度,为了缩小大语言模型(LLM)和小语言模型之间的概率分布差距,通过在LLM生成的数据上进行指令微调来有效小语言模型,使得小语言模型更好地模拟LLM的分布。

(3)对documents/demonstrations部分进行两个层次的压缩。

3.1、示例层次的压缩

documents/demonstrations部分中通常包含多个文档/示例,而每个文档/示例包含有多个段落。针对每个文档/示例的每个段落,计算出段落与question的相关性,保留得分前 3 的段落作为该文档/示例的代表上下文x_doc。同时,可计算出该文档/示例中所有段落的平均相关性s_k。

然后根据question部分和文档/示例的代表上下文x_doc计算文档/示例级别的困惑度r_k。最终文档/示例的评分为s1=s_k*r_k。

此时,每个文档/示例计算出三个分数,评分s1、平均相关性s_k以及困惑度r_k。利用这三个分数从长prompt的documents/demonstrations部分中删除部分文档/示例。

3. 2 重排序

由于模型对prompt的不同位置处的信息的敏感度不同,通常模型对prompt首尾位置处的信息敏感度较好,中间位置的敏感度较差。为了确保prompt的效果,可依据评分对保留的文档进行重排序处理,使得评分较高的文档排列在首位,评分较低排列在中间位置。

3. 3 文档/示例压缩率计算

针对重排序后的prompt,用户可自定义在词语层次上的压缩率。按照上述文档/示例的排序,使用[1, 2*Kc]的均匀离散分布,来初始化每个文档/示例的压缩率。

3. 4 词语层次的压缩

在删减文档/示例后的documents/demonstrations部分,可计算每个token的条件困惑度差异。

为了确保压缩后的语义完整,可使用双向比较大匹配分词法,以获取到最长的分词词语。同时,为了适应垂直领域,可结合垂直领域内的专业词汇表进行分词,尽量保留垂直领域内的专业词汇。

然后可基于前述计算出的token的条件困惑度差异以及分词的结果,对每个词语进行打分。假设一个中文词语word_i有k个token组成,按照该中文词语word_i是否属于垂直领域的词汇,使用不同的计算方式对其评分。

最后针对每个文档/示例,利用文档/示例中每个词汇的评分,按照得分高低顺序压缩文档/示例,使得其满足文档/示例的压缩率。

(4)压缩后的prompt可输入至大语言模型中,得到响应。

至此,整个提示词压缩的方案介绍完毕,该技术方案相比于其他压缩方案,更加适配中文的词语粒度,尤其在垂直领域可避免丢失专业词汇,在保证语义完整的情况下删减了冗余信息,可有效降低提升推理效率,节约计算成本。

推广

特别声明:以上内容(如有图片或视频亦包括在内)均为站长传媒平台用户上传并发布,本平台仅提供信息存储服务,对本页面内容所引致的错误、不确或遗漏,概不负任何法律责任,相关信息仅供参考。站长之家将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。任何单位或个人认为本页面内容可能涉嫌侵犯其知识产权或存在不实内容时,可及时向站长之家提出书面权利通知或不实情况说明,并提供身份证明、权属证明及详细侵权或不实情况证明(点击查看反馈联系地址)。本网站在收到上述法律文件后,将会依法依规核实信息,沟通删除相关内容或断开相关链接。

  • 相关推荐
  • 微云全息(NASDAQ: HOLO)引领加密货币预测新纪元:HNFCS技术揭秘

    微云全息(NASDAQ:HOLO)开发了混合神经模糊控制系统(HNFCS),结合神经网络学习能力和模糊逻辑灵活性,能有效预测比特币等加密货币价格波动。该系统通过处理海量市场数据,动态调整预测模型,克服了传统方法在样本外预测和超时预测准确性方面的局限。HNFCS技术优势在于其自适应性和实时性,可扩展应用于多种金融场景,为投资者提供精准决策支持,有望成为加密货币市场的重要分析工具。

  • 卓世科技荣膺《互联网周刊》“2025全国企业新质生产力赋能典型案例”

    卓世科技凭借"零代码Agent开发平台"荣获2025年"大模型创新应用奖",并入选全国企业新质生产力66个最佳典型案例。该平台通过"数字员工"重塑组织协作模式,实现会议调度、行政管理等场景全流程自动化,将人力成本降低90%。平台支持动态接入企业知识库与第三方插件,完成跨系统复杂任务,已广泛应用于制造、养老等行业。评审指出该案例展现了技术普惠、要素重组和产业共振三大核心价值,推动形成"智能体+场景"协同创新网络。卓世科技成立于2018年,核心团队来自百度,专注AI普惠化,已获得近百项AI专利。

  • 央视探访海信空调实验室,揭秘赛场外的黑科技

    央视财经探访海信研发中心,揭秘其作为世俱杯官方合作伙伴的技术实力。海信新风空调X7Pro采用双向流换新风技术,3分钟实现全屋空气净化;16分贝超轻音设计,比小猫走路声更安静;极端气候测试显示,其能在-30℃至68℃稳定运行。权威机构认证,使用海信空调7小时睡眠效果相当于传统空调8小时。凭借健康舒适的新风技术,海信空调成为球迷票选的"满分看球空调",提供观赛和补眠的全方位舒适体验。未来海信将持续创新,为用户打造更智能健康的家居空气解决方案。

  • 世俱杯“绿色赛场”的科技赋能:科龙空调低碳技术定义节能新高度

    科龙空调作为2025年FIFA世俱杯官方指定空调,在青岛举办全民沙滩足球赛致敬顶级赛事。活动现场设立"低碳科技体验区",展示静省电Max等节能产品,让大众体验赛事同款绿色科技。科龙通过将高效节能技术应用于观赛场景,实现顶级赛事与家庭环境的无缝连接。其静省电Max系列APF值达5.5,超国家一级能效标准30%,8月还将推出能效超6.0的旗舰产品。科龙贯彻全生命周期环保理念,采用R32环保冷媒,搭载双排冷凝器等创新技术,并通过AI智能调控实现精准节能。这一系列举措深化了体育IP合作价值,以"科技为民"理念连接顶级赛事与美好生活。

  • 选奶必看:opo 在奶粉中的功效和作用大揭秘

    文章介绍了OPO结构脂在婴幼儿奶粉中的重要作用。OPO是一种接近母 乳脂肪结构的成分,能减少钙皂形成,改善宝宝便秘问题,促进钙质吸收和骨骼发育,同时增强肠道菌群平衡和免疫力。相比普通奶粉的POP结构,OPO更易消化吸收。佳贝艾特悦护羊奶粉不仅含有4.2g/100g的高含量OPO,其羊奶小分子结构吸收率高达95%,还添加10倍类HMO成分,临床验证可提升保护因子IgG达62%,全方位�

  • 国内首家民企参与“国家管网联通”上海LNG站管线压缩机组及配套系统招标

    本文介绍了天然气长输管道核心设备——压缩机的重要作用和发展历程。压缩机被誉为管道输送的"心脏",通过增压克服管道摩擦阻力,维持输气压力和流量。随着我国天然气管道建设快速发展,压缩机技术已实现从完全依赖进口到逐步国产化的突破。文章重点介绍了信然公司参与上海西复线-金卫LNG管线压缩机项目的情况,这是国内首家民营企业参与此类项目投标。同时详细解析了离心式和轴流式两大类压缩机的工作原理、结构特点及适用场景,包括信然离心式压缩机通过叶轮旋转产生离心力增压,单级压比3:1~5:1;轴流式压缩机通过多级动/静叶片交替作用实现连续增压,等熵效率高达90%以上。最后说明了本次招标项目的概况和范围,拟采购2套压缩机组及配套系统。

  • 巴西商标专利官费又上涨!麦德通带你了解重点涨幅明细!

    巴西专利商标局(INPI)宣布自2025年8月7日起大幅上调商标专利官费,平均涨幅达24.1%,部分项目涨幅高达49%。此次调整涉及商标申请、异议、续展等全流程费用,将直接影响企业在巴西市场的知识产权布局成本。重点涨幅包括:商标申请费上涨1.4%,异议申请费暴涨46.5%,马德里商标指定巴西申请费上涨48.5%,外观设计专利申请费上涨47.8%。建议企业尽快在8月7日前完成续展、变更等手续,并提前提交新申请以节省成本。麦麦通提醒,已下单未提交材料的需补缴差价。

  • 微算法科技基于格密码的量子加密技术,融入LSQb算法的信息隐藏与传输过程中,实现抗量子攻击策略强化

    随着量子计算技术的发展,传统加密算法面临被量子计算机破解的风险。微算科技基于格密码的量子加密技术,将LSQb算法与量子图像处理相结合,通过量子图像预处理、信息编码嵌入、格密码加密等步骤,构建抗量子攻击的安全传输系统。该技术利用格密码的数学结构优势,在量子环境下保持高安全性,并通过量子纠错编码确保传输稳定性。相比传统方法,该方案在安全性和可靠性上实现质的飞跃,为敏感信息保护提供重要解决方案,未来将与更多量子信息技术结合形成更完善的量子信息处理系统。

  • 拓总揭秘:eBay矩阵策略,助力跨境电商腾飞

    本文介绍了eBay矩阵策略在跨境电商中的应用。该策略通过在eBay平台建立多个店铺、类目和产品线,形成多元化电商矩阵,帮助企业实现三大目标:提升品牌知名度、降低运营风险和拓展全球市场。实施要点包括:选择企业店铺类型、根据市场需求确定产品线、进行多元化运营(多店铺、多类目、多产品线布局)以及优化运营(精细化运营、提升客户体验和数据分析)。该策略能有效助力跨境电商企业实现全球化布局,但需持续优化运营以提升竞争力。

  • 北芯生命坚持自主研发与技术突破,为临床诊疗提供有力技术支撑

    深圳北芯生命科技通过自主研发,在心血管精准诊疗领域取得重大突破。其核心产品包括中国首个自主60MHz高清高速IVUS系统和首个获批的国产FFR系统,填补国内技术空白,改变依赖进口的局面。目前公司已推出11款产品,覆盖五大类别,其FFR系统上市后迅速占据30.6%国内市场份额。北芯构建了完整创新生态,产品广泛应用于国内30个省市的三甲医院,并逐步走向国际市场。未来公司将持续创新,为心血管疾病诊疗提供更智能的解决方案。