站长之家（ChinaZ.com）8月2日 消息:Skill-it 是一个在线数据选择系统，旨在通过基于技能顺序的数据选择，提升语言模型的学习效率和性能。它提供了一种数据驱动的技能框架，帮助我们理解和训练语言模型。
通过选择具有高影响力的技能数据和按照一定顺序训练模型，Skill-it 可以帮助用户更快地训练出具备特定能力的语言模型。它适用于各种语言模型训练任务，如代码生成、艺术创作和对话模型等。
论文地址:https://arxiv.org/abs/2307.14430
具体如下:
1. 技能顺序: Skill-it 提供了一种基于技能顺序的数据选择算法，可以根据语言模型训练的需要，有选择地提取相关技能的数据，从而更快地学习和提升模型的能力。
2. 数据选择: Skill-it 提供了两种数据选择方法:技能分层抽样和在线数据选择。技能分层抽样可以均匀地抽样相关技能的数据，解决了数据不均衡的问题;在线数据选择算法可以根据训练进程中的技能依赖关系，选择具有高影响力的技能数据。
3. 应用案例: Skill-it 在不同规模的模型和数据集上进行了实验，展示了其在连续预训练和微调任务中的效果提升。同时，Skill-it 在实际数据集上的应用也获得了较低的损失和更高的准确性。
（举报）