首页 > 传媒 > 关键词 > 快手最新资讯 > 正文

超越Google,快手落地业界首个万亿参数推荐精排模型

2021-02-03 14:09 · 稿源:站长之家用户投稿

精准的推荐系统模型是很多互联网产品的核心竞争力 个性化推荐系统旨在根据用户的行为数据提供“定制化”的产品体验。国民级短视频App快手 每天为数亿用户推荐百亿的视频 遇到的挑战之一是推荐系统模型如何精准地描述与捕捉用户的兴趣。

如今业内采用的解决方案通常为结合大量数据集和拟合参数来训练深度学习模型 如此一来让模型更加逼近现实情况。Google日前发布了首个万亿级模型 Switch Transformer 参数量达到1. 6 万亿 其速度是Google之前开发的最大语言模型 T5-XXL 的 4 倍。然而快手万亿参数精排模型总的参数量超过1. 9 万亿规模更大 且已经投入实践。下面就让我们通过快手精排模型的发展史 一起揭秘它内部的的技术密码吧!

图示

Google BERT-large NLP预训练模型:3. 4 亿参数量

Google Meena开域聊天机器人 26 亿参数量

Google T5 预训练模型 110 亿参数量

OpenAI GPT3 语言模型 1750 亿参数量

Google Switch Transformer语言模型: 16000 亿参数量

快手精排排序模型 19000 亿参数量

参数个性化CTR模型-PPNet

2019 年之前 快手App主要以双列的瀑布流玩法为主 用户同视频的交互与点击 观看双阶段来区分。在这种形式下 CTR预估模型变得尤为关键 因为它将直接决定用户是否愿意点击展示给他们的视频。彼时业界主流的推荐模型还是以DNN DeepFM等简单的全连接深度学习模型为主。但考虑到某用户个体和视频的共建语义模式在全局用户的共建语义模式基础上会有个性化的偏差 如何在DNN网络参数上为不同用户学习一个独有的个性化偏差成为了快手推荐团队优化的方向。

在语音识别领域中 2014 年和 2016 年提出的LHUC算法 learning hidden unit contributions 核心思想是做说话人自适应 speaker adaptation 其中一个关键突破是在DNN网络中 为每个说话人学习一个特定的隐式单位贡献 hidden unit contributions 来提升不同说话人的语音识别效果。借鉴LHUC的思想 快手推荐团队在精排模型上展开了尝试。经过多次迭代优化 推荐团队设计出一种gating机制 可以增加DNN网络参数个性化并能够让模型快速收敛。快手把这种模型叫做PPNet Parameter Personalized Net 。据快手介绍 PPNet于 2019 年全量上线后 显著的提升了模型的CTR目标预估能力。

PPNet结构图

如上图所示 PPNet的左侧是目前常见的DNN网络结构 由稀疏特征 sparse features 、嵌入层 embedding layer 、多神经网络层 neural layer 组成。右侧是PPNet特有的模块 包括Gate NN和只给Gate NN作为输入的id特征。其中uid pid aid分别表示user id photo id author id。左侧的所有特征的embedding会同这 3 个id特征的embedding拼接到一起作为所有Gate NN的输入。需要注意的是 左侧所有特征的embedding并不接受Gate NN的反传梯度 这样操作的目的是减少Gate NN对现有特征embedding收敛产生的影响。Gate NN的数量同左侧神经网络的层数一致 其输出同每一层神经网络的输入做element-wise product来做用户的个性化偏置。Gate NN是一个 2 层神经网络 其中第二层网络的激活函数是2 * sigmoid 目的是约束其输出的每一项在[0,2]范围内 并且默认值为1。当Gate NN输出是默认值时 PPNet同左侧部分网络是等价的。经实验对比 通过Gate NN为神经网络层输入增加个性化偏置项 可以显著提升模型的目标预估能力。PPNet通过Gate NN来支持DNN网络参数的个性化能力 来提升目标的预估能力 理论上来讲 可以用到所有基于DNN模型的预估场景 如个性化推荐 广告 基于DNN的强化学习场景等。

多目标预估优化-基于MMoE的多任务学习框架

随着短视频用户的需求不断升级 2020 年 9 月 快手推出了8. 0 版本。这个版本里增加了底部导航栏 在此基础上增加了一个“精选”tab 支持单列上下滑的形式。这个兼容双列点选和单列上下滑的版本 旨在为用户提供更好的消费体验 加入更多元的消费方式。在新的界面下 有相当一部分用户会既使用双列也使用单列。用户在这两种页面上的消费方式和交互形式都有很大的不同 因此在数据层面表示出来的分布也非常不同。如何将两部分数据都用在模型建模里 而且用好 成为了快手推荐团队一个亟待解决的问题。

快手团队发现 当单列业务的场景增多后 多任务学习更加重要。因为在单列场景下 用户的交互行为都是基于show给用户的视频发生 并没有像双列交互那样有非常重要的点击行为。这些交互行为相对平等 而且这些行为数量多达几十个 时长相关预估目标、喜欢、关注、转发等 。

精排模型预估目标 部分

随着单列业务数据量越来越大 从模型层面 推荐团队尝试拆离出针对单列业务单独优化的模型。具体表现在特征层面 可以完全复用双列模型特征 只是针对单列的目标 额外添加个性化偏置特征和部分统计值特征。在Embedding层面 因为前期单列数据量少 不能保证embedding收敛 最初使用双列数据click行为主导训练 后面改用单双列用户视频观看行为 有效播放、长播放、短播放 主导训练embedding。在网络结构层面 主要基于shared-bottom网络结构训练 不相关目标独占一个tower 相关目标共享同一tower顶层输出 这能在一定程度上提升目标预估效果。这个模型上线后 起初有一定的效果 但很快暴露出了一些问题。首先 它没有考虑到单双列业务中embedding分布差异 造成了embedding学习不充分。其次 在多任务学习层面 单列场景下 用户的交互都是基于当前视频show的单阶段行为 各个目标之间互相影响 模型单个目标的提升 不一定能带来线上的整体收益。

因此 如何设计一个好的多任务学习算法框架 让所有预估目标都能提升变得非常关键。这个算法框架必须考虑数据、特征、embedding、网络结构以及单列用户交互特点。经过充分的调研和实践 推荐团队决定采用MMoE模型 Multi-gate Mixture-of-Experts 来改进当前模型。

MMoE是Google提出的一种经典多任务学习算法 其核心思想是把shared-bottom网络替换为Expert层 通过多个门控网络在多个专家网络上上分别针对每个目标学习不同专家网络权重进行融合表征 在此融合表征的基础上通过task网络学习每个任务。

通过参考MMoE算法和上面提到的快手推荐场景难点 推荐团队改造了MMoE算法并设计了一套新的多任务学习算法框架。具体体现在 在特征层面 进行了语义统一 修正在单双列业务中语义不一致特征 添加针对用户在单列相关特征。在Embedding层面 进行了空间重新映射 设计了embedding transform layer 直接学习单双列embedding映射关系 帮助单双列embedding映射到统一空间分布。在特征重要性层面 设计了slot-gating layer 为不同业务做特征重要性选择。

通过以上 3 点的改动 模型将输入层的embedding表示从特征语义 embedding在不同业务分布 特征在不同业务重要性三个层面做了归一化和正则化 重新映射到统一的特征表征空间 使得MMoE网络在此空间上更好的捕捉多个任务之间后验概率分布关系。通过此项对MMoE的改进 模型所有的目标提升非常显著。

短期行为序列建模-Transformer模型

在快手的精排模型中 用户历史行为特征非常重要 对刻画用户兴趣的动态变化有很好的表征。在快手的推荐场景下 用户的行为特征非常丰富并且多变 其复杂度远远超过视频类特征或者上下文的特征 因此设计一个能够针对用户行为序列有效建模的算法很有必要。

目前业界上对于用户行为序列建模主要分为两种模式 一是对于用户的历史行为进行weighted sum 二是通过RNN之类的模型进行时序建模。在快手前期的双列精排模型里 用户行为序列只是简单做sum pooling作为模型输入。而在单列场景下 用户被动接收快手推荐视频 而且丢失掉封面信息后 用户需要观看视频一段时间再做反馈 因此主动视频选择权降低 更加适合推荐系统对用户的兴趣做E&E Exploit &Explore 。

快手的序列建模灵感来自于Transformer模型。Transformer模型是Google在 2017 年提出的经典神经网络翻译模型 后来火爆的BERT和GPT- 3 也是基于此模型部分结构。Transformer主要包括Encoder跟Decoder两部分 其中Encoder部分对输入语言序列进行建模 这部分跟用户行为序列建模目标是非常类似的 因此快手借鉴其中算法结构并对计算量进行了优化。

MMoE结合Transformer建模用户兴趣序列

首先 快手推荐团队使用用户的视频播放历史作为行为序列。候选的序列有用户长播历史序列 短播历史序列 用户点击历史序列等 此类列表详尽地记录了用户观看视频id 作者id 视频时长 视频tag 视频观看时长 视频观看时间等内容 完整描述用户的观看历史。其次 对视频观看距今时间做log变换代替position embedding。在快手的推荐场景下 用户短期的观看行为跟当次预估更相关 长时间观看行为更多体现用户的多兴趣分布 使用log变换更能体现这种相关性。最后 替换multi-head self-attention为multi-head target attention 并且使用当前embedding层的输入作为query。这样设计的目的有两点 首先当前用户特征 预估视频特征和context特征比单独的用户行为序列提供更多信息。其次可以简化计算量 从O(d*n*n*h)变换为O(d*n*h +e*d) 其中d为attention的维度 n为list长度 h为head个数 e*d表征的是embedding层维度变换为attention维度所需的复杂度。

改造后的Transformer网络能显著提升模型的预估能力 在离线评估上 用户观看时长类预估提升非常明显 线上用户观看时长也显著提升。

长期兴趣建模

长期以来 快手的精排模型都比较偏向于使用用户最近的行为。上面已经说到 通过采用transformer和MMoE模型 快手的精排模型对用户的短期兴趣进行了精确的建模 取得了非常大的收益。之前的模型里 采用了用户最近几十个历史行为进行建模。由于短视频行业的特点 最近几十个历史行为通常只能表示用户很短一段时间内的兴趣。这就造成了模型过度依赖用户的短期行为 而导致了对用户中长期兴趣建模的缺失。

针对快手的业务特点 快手推荐团队对于用户长期兴趣也进行了建模 使得模型能对于用户长期的历史记录都有感知能力。快手推荐团队发现 将用户的交互历史序列 播放、点赞、关注、转发等 扩长之后 模型能够更好的捕捉到一些潜在的用户兴趣 即使此类行为相对稀疏。针对该特点 推荐团队在之前的模型基础上设计并改进了用户超长期兴趣建模模块 能够对用户几个月到一年的行为进行全面的建模 用户行为序列长度能达到万级。此模型已经在全量业务推全并且取得了巨大的线上收益。

快手用户长期兴趣精排模型结构示意图

千亿特征 万亿参数

随着模型的迭代 深度学习网络的复杂度越来越高 模型中添加的特征数量也越来越多 模型特征规模的大小也制约了精排模型的迭代。这不仅会限制模型特征的规模 使得一部分特征被逐出 带来模型收敛的不稳定性 同时还会导致模型更容易逐出低频的特征 造成线上冷启动效果变差 新视频、新用户 对于长尾的视频或者新用户不够友好。

为了解决这个问题 快手推荐和架构的同学针对训练引擎和线上serving进行改进 做到离线训练和线上serving的服务根据配置的特征量灵活扩展 可以支持精排模型离线跟线上有千亿特征 万亿参数的规模。特别的 新模型对于新视频跟新用户的流量分发更加友好 在新用户和新视频的指标上有显著的提升 践行了快手推荐”普惠“的理念。目前快手的精排模型 总特征量超过 1000 亿 模型总的参数量超过 19000 亿。

在线训练和预估服务

为了支撑推荐场景下千亿特征模型的在线训练和实时预估 推荐团队针对训练框架和线上预估服务的参数服务器(Parameter Server)进行了修改。在推荐模型的在线学习中 存储Embedding的参数服务器需要能够精准的控制内存的使用 提升训练和预估的效率。为了解决这一问题 推荐团队提出了无冲突且内存高效的全局共享嵌入表 Global Shared Embedding Table, GSET 的参数服务器设计。

每个 ID 单独映射一个Embedding向量很快就会占满机器的内存资源 为了确保系统可以长期执行 GSET 使用定制的 feature score 淘汰策略以控制内存占用量可以始终低于预设阈值。传统的缓存淘汰策略如 LFU、LRU 只考虑了实体出现的频率信息 主要用以最大化缓存的命中率。feature score 策略考虑了机器学习场景下额外的信息来辅助进行特征淘汰。

在推荐系统的在线学习过程中 会有大量低频 ID 进入系统 这些低频 ID 通常在未来的预估中根本不会出现 系统接收了这些特征后可能很快又会再次淘汰他们。为了防止低频 ID 无意义的进入和逐出对系统性能产生影响 GSET 中支持一些特征准入策略来过滤低频特征。同时为了提升GSET的效率和降低成本 快手还采用了新的存储器件 -- 非易失内存 (Intel AEP)。非易失内存能提供单机达到若干TB的近似内存级别访问速度。为了适配这种硬件 推荐团队实现了底层KV引擎NVMKV来支撑GSET 从而很好的确保了万亿参数模型的线上稳定性。

展望未来

据快手推荐算法负责人 曾在Google Research担任Staff Research Manager的宋洋博士介绍 短视频行业有其独特的挑战 表现在用户量多 视频上传量大 作品生命周期短 用户兴趣变化快等多个方面。因此短视频推荐很难照搬传统视频行业精细化运营的做法 而需要依靠推荐算法对视频进行及时的 精确的分发。快手推荐算法团队一直针对短视频业务进行深度定制和积极创新 提出了很多业界首创的推荐模型和想法 同时也给推荐工程架构团队带来了很多系统和硬件层面的挑战。

宋洋博士认为 快手精排万亿参数模型是推荐系统一个里程碑式的突破 它结合了序列模型 长短期兴趣模型 门控模型 专家模型等各个方面的优点 是至今为止工业界最全面 最有效的推荐模型之一。该模型已在快手的主要业务上全量上线为用户服务。在未来“算法-系统-硬件”三位一体的挑战和机遇可能会有更多 希望这将更进一步推动快手推荐系统在技术上的创新和突破 为用户增进体验和创造价值。

免责声明:“站长之家”的传媒资讯页面文章、图片、音频、视频等稿件均为自媒体人、第三方机构发布或转载。如稿件涉及版权等问题,请与我们联系删除或处理。稿件内容仅为传递更多信息之目的,不代表本网观点,亦不代表本网站赞同其观点或证实其内容的真实性,更不对您的投资构成建议。我们不鼓励任何形式的投资行为、购买使用行为。

  • 相关推荐
  • 大家在看
  • 快手,流量汪洋通往何处?

    2021年1月29日,国内短视频、直播行业巨头快手在港交所的公开发售告一段落,这家成立十年的公司,距离上市倒计时的终点更近一步。

  • 快手计划明日公开招股

    快手将于1月26日在香港公开招股发行365亿股股份招股价区间为每股105115港元筹资额或超480亿港元据快手昨日更新后的招股书显示2020年前11个月快手营收525亿人民币毛利为人民币209亿元亏损则继续扩大至94亿元截至2020年11月快手日活下降至263亿月活下降至481亿电商GMV为3326亿人民币

  • 集结全国年货,快手电商携宋祖儿、林更新喊你“上快手逛大集”

    春节临近,云购物成为采购年货的重要方式。近日,快手电商正式推出“上快手,逛大集”主题超级播年货专场,让用户足不出户就能品年俗买年货。2021 年 2 月 1 日- 2 月 22 日,快手电商将面向南京、西安、重庆、哈尔滨等全国四个城市举办超级播年货专场,重点展示各地的老字号品牌、特色商品以及文创产品。期间快手电商还会在各地热门景点搭建年货街,实现线上线下联动。此外,更有宋祖儿、华少、林更新、杨迪等明星空降直播间,以?

  • 2020快手非遗生态报告:快手国家级非遗项目覆盖率达96.3%

    2021 新年伊始,快手大数据研究院与快手非遗学院联合发布《 2020 快手非遗生态报告》。记得在 2020 年快手和江苏卫视联合打造的“一千零一夜”晚会上,九位非遗短视频作者和当红明星一起亮相——抽象的“非遗”落实为台上的唢呐、麦秸画、面人郎、油纸伞等具象,很多人意识到,原来非遗在快手上如此受欢迎。这份报告亦是一个窗口。通过丰富的数据和案例,我们可以看见短视频和直播如何拓展传统非遗的生存空间和变现方式,它们不仅?

  • Videoleap x 快手:不止剪辑,更是创造分享

    在快手上也能刷到好莱坞级的短视频大片? 是的,你没看错。最近快手用户可以通过一款叫作 Videoleap 的视频编辑器,轻松制作出精美视频,一键上传至快手。无论是制作好莱坞级别的大片,还是记录生活的精彩瞬间,这款视频编辑器都能帮用户轻松实现,并便捷分享至短视频平台。Videoleap:来自以色列、AI驱动的专业视频编辑软件 说起 Videoleap,这款专业视频编辑软件来头可不小,曾获得苹果年度最佳应用等业界大奖,来自一家名为Lightricks 的?

  • 快手直播 PK 赛,直播的一千种玩法

    短视频战争打入 2021 年,逐步演变成了广告营销能力比拼之战。以抖音、B站、快手为代表的新视频平台,在这一能力开拓上也相继走入了深水区。据快手IPO最新数据显示,快手前三季度线上营销服务收入已达到了 133 亿元,且在快手直播收入飞速上涨的同时,非直播收入的占比仍旧从 2020 年上半年的31.5%,上升到 2020 年前三季度的37.8%。这意味着,快手对广告营销业务的发力使得其收入结构得到不断优化。另一边,在海外业务受损的情况?

  • 不让明说,就用暗语?快手专项治理“暗示商品功效”

    “你们懂得,不能说”“官方平台不让说”......随着快手电商对虚假宣传的严厉治理,部分意欲夸大宣传的主播为躲避治理,竟开始用暗语、图片或手势暗示来进行虚假宣传。为此,快手近日发布《虚假宣传之“暗示商品功效”专项治理公告》,宣布对此类行为做进一步整治。 据悉,此次对“暗示商品功效”的打击,是快手商家治理团队依托“匹诺曹”行动开展的虚假宣传专项治理之一。 据公告显示,快手平台将加强虚假宣传治理力度,重点针

  • 独家首发!快手电商2020年度报告!

    当2020年上半年较为长期的经济趋势不明朗的时候,“万物皆可播”的风潮为人们带来了直播电商这一巨大的时代风口与机遇。

  • 释放内容能量 快手磁力聚星构筑游戏营销新高地

    近年来,短视频逐渐成为移动游戏用户获取游戏信息的重要渠道。据《 2020 年移动游戏用户短视频行为调查研究报告》显示,移动游戏用户与短视频用户重合率高达82.5%,近 6 成移动游戏用户通过短视频平台主动搜索游戏内容。凭借创意丰富且可量产的短视频制作优势,国民级短视频平台快手,已成为游戏行业决胜千里的重要推手,让游戏品牌在内容营销上往更精品化、内容化的方向发展。作为快手官方达人生态营销平台,快手磁力聚星依托于?

  • 上市前的狂欢:打新快手者,鲜有老铁们

    在商业媒体《晚点Latepost》发文称“字节员工组团参与快手打新、300多人的炒股群满屏都是打新链接图片”之后,刺猬公社(ID:ciweigongshe)也获知,一些快手员工敢于“All in”,打新自家股票的热情并不逊色于竞对。

  • 快手宣布支持HDR画质,集齐1080P+60帧+HDR

    今日,快手宣布,将全面支持多种HDR(高动态范围)格式视频的上传和消费,为用户带来全新的画质体验。

  • 快手三农生态报告》发布 “直播+短视频”助力乡村振兴

    互联网的出现提供了快速、互动的沟通方式,特别是易操作、易分享的短视频,以其原生态的现场感和广泛的用户黏性推动了振兴乡村的新业态、新气象。近日,快手三农举办年度创作者大会,同时发布了《快手三农生态报告》,报告主要从内容创作者、受众用户以及快手平台提供的助力等维度,全方位展现了 2020 年以来,快手通过“直播+短视频”丰富的内容生态,加速农业产业升级,助力乡村振兴的最新成果。报告显示,截至 2020 年 12 月,?

  • 夫妻利用灰产卖假“阿道夫” 快手协助抓获售假者

    明知快手账号因售假被封禁,仍不断购买新账号继续售假。 2020 年 12 月 18 日,快手协助南京警方将在平台售假“阿道夫”洗护产品的犯罪嫌疑人成功抓获,并依法采取刑事强制措施。这是快手电商 2020 年以来联合警方打假的又一起案件。2020 年 11 月,快手客服接到多个用户举报,快手平台上某商家销售的阿道夫系列产品为假货。为了保护消费者权益,维护快手电商健康秩序,快手官方联合“阿道夫”权利方对该商家账号已销售出的商品进?

  • 快手上模仿秀复兴,是表演上位还是情怀收割?

    模仿,历来是低成本的创作方式之一,用在如今的短视频大潮中,亦是如此。以抖音、快手为代表的短视频平台崛起,吸引了数亿用户,也激励了众多草根创作者的蜂拥加入,相较于最终“证道成神”的极少数头部达人,多数不温不火的腰尾部创作群体,更是构筑短视频生态的肢体与血肉。

  • 快手小程序平台正式开启公测 日活已破百万

    近日,快手小程序平台首次对外亮相,标志着快手小程序正式启动对外公测。快手小程序公开课以直播的方式介绍了快手小程序、小游戏生态、技术说明及商业化规则。据了解,快手小程序平台在内测阶段日活已破百万。在公开课上,快手主讲人分享了小程序与小游戏的生态剖析、技术介入指导和商业化规则等,与开发者和观众共同探索“短视频+小程序”这一互联网下半场的新路径。 据介绍,快手小程序生态中分为内容类、工具类、服务类三类产品

  • 快手开启温暖好运年,超级红包、超级直播+超级年礼陪你过年

    还有不到两周, 2021 牛年春节就要到来,“互联网迎春”已经成为近年来的新民俗,而快手今年更是打出了 “超级红包+超级直播+超级年礼”的超级陪伴组合,为用户带来多重福利。 据了解,快手今年春节活动主题为“温暖好运年”,预热活动从 1 月 29 日就已开始,一系列的红包活动将从此时贯穿除夕夜和元宵晚会将近一个月时间,并于 2 月 1 日同期开启持续 26 天的直播IP“超级播”,携 300 位明星与众多快手达人陪用户共迎新春。此

  • 66.6 吨年货,快手寻找中国福娃第二季,来了!

    “小孩小孩你别馋,过了腊八就是年”。尽管今年受疫情影响,不少人需要原地过年,但作为中国人的传统节日的重头戏,买年货、拜大年……依然是春节的标配动作。为了填充用户的年货仓、持续让用户感受快手温度,快手磁力引擎在推出第二季“寻找中国福娃”活动,将去年的6. 66 吨年货升级为66. 6 吨的超级福袋,与超过 100 个品牌联动,送出超过 5 万件礼品,让每一个尽情拥抱生活的人,都能福运绵绵。上快手抽福娃,年货论吨数,快马

  • 字节员工组团参与快手打新 抢20倍杠杆+融资额度

    今日,快手的港股打新正在火热的进行中,据捷利交易宝数据统计,快手实际认购已超211倍,冻结资金2232亿港元,预计有接近100万人参与认购,就连竞争对手字节员工都在抱团打新。

  • 涉案价值超400万!快手协助中山警方捣毁特大售假团伙

    直播间里 499 元、 999 元的假冒知名品牌羽绒服,“雪崩价”让顾客趋之若鹜,然而背后却暗藏着一条制假售假黑灰产业链。1 月 14 日,快手协助广东中山港口警方破获一起特大售卖假名牌服饰案,抓获 6 名团伙成员,其中 3 人被刑拘。这是快手电商 2020 年以来联合警方打击的又一起售假案件。售假举报突然剧增,迅速联动品牌和警方介入2020 年 12 月初,快手平台在日常电商举报回查中发现,一家名为“XX羽绒服-XX家”的商家投诉率急剧

  • 快手磁力引擎发布《2020磁力聚星创作者生态价值报告》

    2020 年,你心中的快手是什么样子的?是张雨绮、周杰伦、华少等明星在快手激情直播?还是联通、麦当劳、支付宝等知名品牌,在快手和粉丝们玩得不亦乐乎?亦或是音乐、游戏、动漫、汽车等丰富多彩的内容层出不穷?不论怎样,在快手,你不仅能感受到人间温暖烟火气,也能体会买到心中所爱的欢愉。2020 年,快手磁力引擎旗下达人生态营销平台“磁力聚星”构筑了一个极具信任感的商业生态,让创作者、品牌和用户玩在一起,满足品牌全方

  • 参与评论
文明上网理性发言,请遵守新闻评论服务协议
  • 热门标签

热文

  • 3 天
  • 7天