首页 > 传媒 > 关键词 > 快手大数据最新资讯 > 正文

聚焦数据管治,快手举办数据管治技术交流会

2020-12-31 15:28 · 稿源:站长之家用户投稿

近日,快手大数据团队联合“快手中学”,举办“快手数据管治技术交流会”,各行业数据相关开发者报名参与。快手是短视频行业开创者与引领者,致力于成为全球最痴迷于为客户创造价值的公司,帮助人们发现所需、发挥所长,持续用有温度的科技提升每个人独特的幸福感。

在海量的 UGC 数据、业务数据、用户数据背后,支撑快手数据业务的快手大数据平台,秉承“以领先的大数据技术,激活数据价值,赋能业务,打造快手核心竞争力”的使命。

日处理数据集群规模超过3W,数据量超过3EB,日入数据量超5PB,例行任务数超30W。今年9月,快手曾围绕“数据架构”这一主题举办了“快手大数据平台架构技术交流会”。本次交流则聚焦“数据管治”主题,明年将继续开展更多数据领域相关主题活动,欢迎在快手APP搜索并关注“快手大数据”官方账号获取活动资讯。

(▲出品人介绍)

(▲快手数据工厂团队负责人 董西成)

首先由快手数据工厂团队负责人董西成带来开场致辞。他介绍,快手在数据管治领域涉及的方面非常广泛,包括数据规范、资源控制、集成交换、数据建模等,为了推进数据管治,需要在技术产品、规范流程、组织等方面进行考虑。

(▲快手数据管治体系)

本次交流从数据管治的标准规范、资源管控、数据质量和数据服务四个方面展开分享,由来自快手的数据研发专家孙伟、程伟、杨钊、薛言、刘一凡分别带来五个主题演讲。

孙伟介绍了快手在数据中台化过程中由于模型不规范带来的数据孤岛、指标不一致、模型质量差等一系列问题,并针对这些问题结合元数据驱动的思路制定了治理方案,从元数据驱动问题的发现再到治理优化,最终实现数据模型的规范化。

从快手 EB 级数据量下对于存储成本管理所遇到的涉及面广、成本意识弱、缺乏有效方法等问题出发,程伟站在成本分析的角度,制定相应的存储成本控制策略,并以专项数据治理和自驱式数据管理相结合的方式去推进落地,从而达到存储成本管理的目的。

杨钊分享了快手的数据保障理念,并通过体系化的方式,保障数据完整、准确、一致、及时。基于上述保障体系,详细介绍了快手在直播场景通过需求流程管理、测试、质检、应急方案等保障策略,以及这些保障策略在直播事前、事中、事后具体的执行手段,如双链路设计、压力测试、应急方案制定等,保障了在数据量巨大,指标计算复杂等困难情况下,依然能够保障整个数据产品的产出及时,数据准确。

当谈到元数据平台和相关应用在快手的发展过程、现状及当前快手元数据平台的架构时,薛言分析了面对数十种的资产、过亿的实体规模的异构元数据,是如何进行抽象及管理的。并通过找数、全链路血缘、数据治理平台等几个主要的应用场景,展示了元数据在快手大数据平台中发挥的作用和价值。

刘一凡介绍了快手在数据中台化建设过程中,在指标领域建设所面临的缺乏流程、规范引起的口径不一致、反复梳理重构、缺乏统一服务引起的数据出口不一致等问题。并针对上述问题分享了流程、规范、组织以及系统方面的整体解决思路,重点阐述了 OneMetric 以及 OneService 两个核心系统模块的系统设计及其关键技术。

(▲演讲嘉宾合影:从左至右,分别为孙伟、薛言、程伟、董西成、杨钊、刘一凡)

本次交流采取线下线上结合的参会方式。线下开放了部分参会名额,所有现场观众需佩戴口罩,确保测温和健康宝状态正常,在签署健康声明后方可入场,入会就座时也均保持了一定间隔。此外,交流全程还通过“快手 APP”直播,观看总人数超3万人。

(▲现场签到)

快手以技术为核心竞争力,十分重视技术创新和应用,同时也希望通过更多更广泛的技术交流,和业内开发者分享经验,碰撞出更多智慧火花,推动技术不断前进。“快手中学”作为内部专业人才培养平台,旨在通过提供丰富多样的专业课堂培训、比赛、技术交流,助力人才成长,提升专业能力和专业影响力。

2020年“快手中学”联合快手技术团队共举办了四场技术交流活动,内容涉及移动端、前端、数据平台架构及数据管治。未来,由“快手中学”举办的技术交流还将以每季度一次的频次长期开展。

免责声明:“站长之家”的传媒资讯页面文章、图片、音频、视频等稿件均为自媒体人、第三方机构发布或转载。如稿件涉及版权等问题,请与我们联系删除或处理。稿件内容仅为传递更多信息之目的,不代表本网观点,亦不代表本网站赞同其观点或证实其内容的真实性,更不对您的投资构成建议。我们不鼓励任何形式的投资行为、购买使用行为。

  • 相关推荐
  • 大家在看
  • 快手“入市”

    如今处于上市敲钟倒计时中的快手科技,距离成为真正意义上的“短视频第一股”还有两天。从当前的集资规模来看,在未计超额配售权的情况下,快手集资达384亿元至420 亿元,上市时市值更是高达4724亿元。之于港股市场,快手上市仿佛为之注入了一剂强心针,成为近两年来除阿里之外,IPO规模领跑的那个。“显而易见的是,当前市场对于快手的反馈是积极的。”一位参与快手上市进程的机构投资人表示,快手成为各大投资机构眼中的“香饽饽

  • 快手香港上市

    今日,快手正式在港交所上市,股份代码1024,较115港元发行价上涨195.65%,报340港元,总市值近1.4万亿港元。

  • 快手,流量汪洋通往何处?

    2021年1月29日,国内短视频、直播行业巨头快手在港交所的公开发售告一段落,这家成立十年的公司,距离上市倒计时的终点更近一步。

  • 快手计划明日公开招股

    快手将于1月26日在香港公开招股发行365亿股股份招股价区间为每股105115港元筹资额或超480亿港元据快手昨日更新后的招股书显示2020年前11个月快手营收525亿人民币毛利为人民币209亿元亏损则继续扩大至94亿元截至2020年11月快手日活下降至263亿月活下降至481亿电商GMV为3326亿人民币

  • 上市前的狂欢:打新快手者,鲜有老铁们

    在商业媒体《晚点Latepost》发文称“字节员工组团参与快手打新、300多人的炒股群满屏都是打新链接图片”之后,刺猬公社(ID:ciweigongshe)也获知,一些快手员工敢于“All in”,打新自家股票的热情并不逊色于竞对。

  • 2021数字中国创新大赛大数据赛道城市管理大数据专题正式开赛

    1 月25 日由数字中国建设峰会组委会主办福建省数字福建建设领导小组办公室厦门市人民政府数字中国研究院(福建)承办厦门市工业和信息化局厦门市城市管理行政执法局协办的 2021 数字中国创新大赛大数据赛道城市管理大数据专题正式开赛据悉本次专题赛事以数聚赋能 众智成城为主题征集基于城市管理大数据领域的算法模型和创新应用解决方案旨在通过城市管理与大数据的融合针对当前城市管理的难点和痛

  • 集结全国年货,快手电商携宋祖儿、林更新喊你“上快手逛大集”

    春节临近,云购物成为采购年货的重要方式。近日,快手电商正式推出“上快手,逛大集”主题超级播年货专场,让用户足不出户就能品年俗买年货。2021 年 2 月 1 日- 2 月 22 日,快手电商将面向南京、西安、重庆、哈尔滨等全国四个城市举办超级播年货专场,重点展示各地的老字号品牌、特色商品以及文创产品。期间快手电商还会在各地热门景点搭建年货街,实现线上线下联动。此外,更有宋祖儿、华少、林更新、杨迪等明星空降直播间,以?

  • 快手冲击上市,老铁们撑起了一个“家族制”电商

    1月15日,快手通过港交所聆讯,并更新了招股书资料。2020年上半年,快手电商的商品交易总额(GMV)达到1096亿元,第三季度则达到945亿元。按这个规模,快手已成为全球第二大直播电商平台,仅次于淘宝直播。

  • 丁真圆梦“牛人之夜”,快手在下一盘什么棋?

    乍暖春风今又是,换了人间。刘德华和周杰伦拿到今年的春晚名单,可能会有一种恍如隔世之感。因为十几年前和他们在一张节目单的人,与现在完全不同了。

  • 快手直播 PK 赛,直播的一千种玩法

    短视频战争打入 2021 年,逐步演变成了广告营销能力比拼之战。以抖音、B站、快手为代表的新视频平台,在这一能力开拓上也相继走入了深水区。据快手IPO最新数据显示,快手前三季度线上营销服务收入已达到了 133 亿元,且在快手直播收入飞速上涨的同时,非直播收入的占比仍旧从 2020 年上半年的31.5%,上升到 2020 年前三季度的37.8%。这意味着,快手对广告营销业务的发力使得其收入结构得到不断优化。另一边,在海外业务受损的情况?

  • 夫妻利用灰产卖假“阿道夫” 快手协助抓获售假者

    明知快手账号因售假被封禁,仍不断购买新账号继续售假。 2020 年 12 月 18 日,快手协助南京警方将在平台售假“阿道夫”洗护产品的犯罪嫌疑人成功抓获,并依法采取刑事强制措施。这是快手电商 2020 年以来联合警方打假的又一起案件。2020 年 11 月,快手客服接到多个用户举报,快手平台上某商家销售的阿道夫系列产品为假货。为了保护消费者权益,维护快手电商健康秩序,快手官方联合“阿道夫”权利方对该商家账号已销售出的商品进?

  • 2020 CCF大数据与计算智能大赛决赛暨中国大数据技术大会成功举办

    1 月23 24 日由中国计算机学会主办由CCF大数据专家委员会自然语言处理专业委员会数据库专业委员会高性能计算专业委员会等七个专委以及教育部易班发展中心长沙市科技局长沙高新区管委会湖南大学数联众创共同承办的2020 CCF大数据与计算智能大赛决赛暨中国大数据技术大会在湖南长沙成功举办中国科学院院士CCF理事长梅宏中国工程院院士桂卫华中国科学院院士王怀民中国工程院院士王耀南湖南大学校长段

  • 2020快手非遗生态报告:快手国家级非遗项目覆盖率达96.3%

    2021 新年伊始,快手大数据研究院与快手非遗学院联合发布《 2020 快手非遗生态报告》。记得在 2020 年快手和江苏卫视联合打造的“一千零一夜”晚会上,九位非遗短视频作者和当红明星一起亮相——抽象的“非遗”落实为台上的唢呐、麦秸画、面人郎、油纸伞等具象,很多人意识到,原来非遗在快手上如此受欢迎。这份报告亦是一个窗口。通过丰富的数据和案例,我们可以看见短视频和直播如何拓展传统非遗的生存空间和变现方式,它们不仅?

  • RTFChain | 大数据结合区块链的医疗应用

    RTFChain 在社区发起并设计一套安全的、确定的、确权的、共识性的、实验性的医学数据协作系统;依据医疗数据协作系统在现有公链上的运行情况,设计并参与建设一条专注生命科学领域的基石数据链;发起并参与设计一个可扩展、可跨链的基于个人节点的医疗指纹原型。 通过社区建设,RTFChain 将提供一套让医疗数据价值流转和交换的良性运转的机制。 数据的贡献者可以共享脱敏的数据帮助医疗研究和服务机构,并通过区块链智能合约在数据?

  • 不让明说,就用暗语?快手专项治理“暗示商品功效”

    “你们懂得,不能说”“官方平台不让说”......随着快手电商对虚假宣传的严厉治理,部分意欲夸大宣传的主播为躲避治理,竟开始用暗语、图片或手势暗示来进行虚假宣传。为此,快手近日发布《虚假宣传之“暗示商品功效”专项治理公告》,宣布对此类行为做进一步整治。 据悉,此次对“暗示商品功效”的打击,是快手商家治理团队依托“匹诺曹”行动开展的虚假宣传专项治理之一。 据公告显示,快手平台将加强虚假宣传治理力度,重点针

  • 一文看懂抖音、快手、B站的广告投放原理

    一条广告最终能够展现出来,幕后需要经历选定广告投放的人群、准备广告投放的物料和与其他广告主PK这3个步骤,这也是一个广告主投放广告必须经历的3个步骤,我们称作“广告投放三部曲”。

  • 快手小程序平台正式开启公测 日活已破百万

    近日,快手小程序平台首次对外亮相,标志着快手小程序正式启动对外公测。快手小程序公开课以直播的方式介绍了快手小程序、小游戏生态、技术说明及商业化规则。据了解,快手小程序平台在内测阶段日活已破百万。在公开课上,快手主讲人分享了小程序与小游戏的生态剖析、技术介入指导和商业化规则等,与开发者和观众共同探索“短视频+小程序”这一互联网下半场的新路径。 据介绍,快手小程序生态中分为内容类、工具类、服务类三类产品

  • 教人反催收当 “老赖” 快手专项整治 “老赖培训班”

    快手站内官方号“快手管理员” 2020 年 12 月 30 日发布公告,宣布将对平台内发布付费学习反催收等高危金融广告的内容进一步专项打击,并公示了部分涉及付费反催收内容的违规用户。据悉,快手 2020 年 6 月启动“付费反催收内容专项整治行动”以来,平台已累计处置违规账号 1989 个,其中永久封禁账号 559 个。快手整治“付费反催收” 半年累计处置违规账号 1989 个据快手社区治理相关工作人员介绍, 2020 年 6 月,根据用户举报和

  • 短视频第一股?加快IPO进程 快手今日参与港交所的聆讯

    快手公司于1月14日下午参与港交所的聆讯,这距离快手公司2020年11月5日正式向港交所提交上市申请,过去了70天,距离快手启动上市过去了近两年时间。

  • Videoleap x 快手:不止剪辑,更是创造分享

    在快手上也能刷到好莱坞级的短视频大片? 是的,你没看错。最近快手用户可以通过一款叫作 Videoleap 的视频编辑器,轻松制作出精美视频,一键上传至快手。无论是制作好莱坞级别的大片,还是记录生活的精彩瞬间,这款视频编辑器都能帮用户轻松实现,并便捷分享至短视频平台。Videoleap:来自以色列、AI驱动的专业视频编辑软件 说起 Videoleap,这款专业视频编辑软件来头可不小,曾获得苹果年度最佳应用等业界大奖,来自一家名为Lightricks 的?

  • 参与评论
文明上网理性发言,请遵守新闻评论服务协议
  • 热门标签

热文

  • 3 天
  • 7天