要点:
1、开源工具Autolabel能用LLM代替人工高效标注数据，效率提升100倍，成本仅1/7。
2、Autolabel支持主流LLM，可快速标注NLP数据集，准确率高达88.4%，超过人工标注。
3、Autolabel可估计标注置信度，不同LLM可平衡成本与质量，大幅降低标注门槛。
站长之家（ChinaZ.com）9月18日 消息:最近，一家初创公司refuel上线了一个AI标注数据的开源工具Autolabel，它能够利用LLM（如GPT-4等）自动对数据进行标注，大大简化了数据标注流程。
Autolabel支持主流的LLM提供商，并可为开源和私有模型提供支持。与人工标注相比，Autolabel可将标注效率提高100倍，而成本仅为人工成本的1/7。
研究表明，Autolabel结合GPT-4进行标注可取得88.4%的准确率，超过了人工标注的准确率。Autolabel还可以估计标注置信度，允许用户平衡成本和质量。总体来说，Autolabel极大地降低了数据标注的门槛，为训练高质量模型提供了可能。
在接下来的几个月中，开发者承诺将向Autolabel添加大量新功能:如支持更多LLM进行数据标注;支持更多标注任务，例如总结等;支持更多的输入数据类型和更高的LLM输出稳健性;让用户能够试验多个LLM和不同提示的工作流程。
（举报）