美图与清华合作推出最大规模教程类行为数据集COIN

2019-03-08 16:16 稿源:用户投稿  0条评论

近日,美图公司社交产品事业群视觉算法组与清华大学自动化系智能视觉实验室合作,推出了业界最大规模教程类行为数据集COIN(COmprehensive INstructional video analysis),该论文已被计算机视觉与模式识别会议CVPR2019 录用。

COIN数据集的概览

教程类行为视频(Instructional Video)可以帮助使用者获取完成各种行为任务的知识,但是现有教程类行为视频数据集在规模性和多样性都存在较大的局限性,难以应用于现实生中的复杂场景。为此,美图公司社交产品事业群视觉算法组与清华大学自动化系智能视觉实验室合作提出了名为COIN的大规模教程类数据集,用于更全面的教程类行为视频分析。

COIN数据集采用分层结构,即第一层是领域(Domain)、第二层是任务(Task)、第三层是步骤(Step),其中包含与日常生活相关的 11827 个视频,涉及交通工具、电器维修、和家具装修等 12 个领域的 180 个任务,共 778 个步骤。

COIN数据集的分层结构

COIN数据集的设计人员还开发了创新性的标注工具,可以更高效更准确地标注视频行为的步骤信息。此外,为了给数据集提供更准确的基准指标,数据集开发人员还使用了SSN、R-C3D等评价方法对COIN数据集进行了测评。

COIN数据集的步骤定位准确率分析

目前,COIN数据集是业界规模最大、多样性最丰富的教程类视频数据集。该数据集在标注结构上采用分层的组织结构,涵盖了多种不同类型的教程类视频。该数据集的提出,给复杂场景下视频动作时序定位(temporal localization)等问题的研究提供丰富的数据资源,有望加快推动视频行为分析与理解等相关领域的研究。

美图公司社交产品事业群视觉算法组,是美图社交化的重要算法团队之一。随着“美和社交”战略的发布,美图秀秀从过去的纯图片处理软件转变为社区平台。视觉算法组通过人工智能/深度学习算法,理解图像和视频内容中的语义信息,为社区中推荐、搜索、反作弊和垃圾过滤等提供有力的技术支撑。帮助用户处理图片的同时,增加社交功能及软件活性。

数据集链接:https://coin-dataset.github.io

本文由站长之家用户投稿,未经站长之家同意,严禁转载。如广大用户朋友,发现稿件存在不实报道,欢迎读者反馈、纠正、举报问题(反馈入口)。

免责声明:本文为用户投稿的文章,站长之家发布此文仅为传递信息,不代表站长之家赞同其观点,不对对内容真实性负责,仅供用户参考之用,不构成任何投资、使用建议。请读者自行核实真实性,以及可能存在的风险,任何后果均由读者自行承担。

声明:本文转载自第三方媒体,如需转载,请联系版权方授权转载。协助申请

相关文章

相关热点

查看更多