首页 > 传媒 > 关键词 > 快手大数据最新资讯 > 正文

聚焦数据架构前沿技术,快手大数据平台架构技术交流会成功举办

2020-09-11 10:39 · 稿源:站长之家用户投稿

近日,快手数据平台部联合"快手中学",专题举办"快手大数据平台架构技术交流会"(Kuaishou Data Platform Architecture Conference),吸引了各行业数据相关开发者的参与。

从 hadoop 到 spark,再到 flink,从 kylin 到 druid,再到 clickhouse,从离线数仓到实时数仓架构,再到数据湖架构,近 10 多年中,大数据平台架构经历了快速演变。各大互联网公司或借助开源生态,或通过自研构建大数据架构系统,促进数据相关业务的价值挖掘与发展,为公司的战略发展、产品改进、用户增长带来收益。

作为全球领先的生活分享社区,目前快手日活跃用户超过 3 亿,库存短视频数量超过 200 亿条,直播日活超过 1.7 亿,电商日活超过 1 亿。在海量的 UGC 数据、业务数据、用户数据背后,支撑快手数据业务的大数据平台架构系统,经历了几个阶段的高速发展。为此,交流会着重介绍了快手在大数据存储、调度、计算上的技术挑战、应用、演进与最佳实践。

(▲交流现场)

本次交流采取线下线上结合的参会方式。交流会开放了部分线下参会名额,所有现场观众需佩戴口罩,确保测温和健康宝状态正常,在签署健康声明后方可入场,入会就座时也均保持了一定间隔。此外,交流全程还通过"快手APP"直播,观看总人数超1. 5 万人。

交流过程中,该场出品人之一、快手平台研发&数据平台负责人韦彬首先致辞。他介绍,快手大数据平台的使命是以领先的大数据技术,激活数据价值,赋能业务,打造快手核心竞争力。大数据团队从 2011 年创立之初没有全职数据同学,到目前团队已逐渐完备。在快手做大数据有四个特点,一是数据规模大,对数据治理的要求很高;二是数据驱动的文化深入人心,团队一直致力于对标行业最好水平打造数据中台;三是极度重视效率,确保数据平台灵活可用;四是为满足快手线上社区的场景,对数据的建模能力、应用能力都有极高要求。

▲快手平台研发&数据平台负责人 韦彬

第二位出品人、快手大数据架构团队负责人赵健博介绍,快手大数据架构团队的领域主要涉及六个方向,分别是:存储系统、消息队列、资源调度、实时引擎、离线引擎、OLAP引擎。近几年,快手大数据架构的技术发展迅猛,从离线计算分析到实时计算,从大集群到超大集群,飞速迭代优化。

▲快手大数据架构团队负责人 赵健博

随后,来自快手的分布式存储高级研发工程师徐增强、离线计算引擎方向负责人王磊、分布式消息队列高级研发工程师陈春斌,以及腾讯数据平台部数据湖研发负责人邵赛赛,分别带来主题演讲。

徐增强从数据规模、挑战和实践等几个方面,对快手分布式HDFS系统进行了全方位解读,并详细介绍了快手EB级HDFS集群发展历程中遇见一些核心问题的解决思路,如主节点扩展性问题、主节点处理能力瓶颈问题、节点热点问题、重要任务的分级保障问题等。

王磊介绍了快手Hive元数据在亿级分区规模的存储使用上所面临的总量多、增速快、压力大等多方面挑战,针对上述挑战给出了快手所采取的系列优化措施,包括读写分离、API性能优化、流量分级控制、Federation水平扩容等,从而达到提升Hive元数据服务稳定性和性能的目标。

陈春斌介绍了快手Kafka在业务快速增长过程中遇到的集群扩容瓶颈、集群间资源利用率不均、业务接入效率低等问题,针对上述问题从集群水平扩展性和topic水平扩展性等方面对Kafka进行针对性改造,从而达到平滑支撑业务快速增长和提高资源利用率的目的。

邵赛赛从数据湖技术需要具备的能力,如何构建一个统一的数据湖存储、并在其上进行多种形式的数据分析角度切入,介绍了Iceberg的设计初衷、优点及能力,使听众对表格式这一领域有了充分理解,并深入了解Iceberg的设计、实现、优势以及使用方式。

(▲演讲嘉宾合影:从左至右,分别为徐增强、陈春斌、邵赛赛、赵健博、王磊、李远策)

快手以技术为核心竞争力,十分重视技术创新和应用,同时也希望通过更多更广泛的技术交流,和业内开发者分享经验,碰撞出更多智慧火花,推动技术不断前进。"快手中学"作为内部专业人才培养平台,旨在通过提供丰富多样的专业课堂培训、比赛、技术交流,助力人才成长,提升专业能力和专业影响力。

今年7— 8 月,"快手中学"曾联合快手大前端团队举办"快手大前端技术交流会2020",受疫情影响仅做线上直播,而随着疫情防控的逐步稳定,为了给观众带来更好的交流互动体验,本次技术交流首次开放了部分线下参会名额。未来,由"快手中学"举办的技术交流还将以每季度一次的频次长期开展。

免责声明:“站长之家”的传媒资讯页面文章、图片、音频、视频等稿件均为自媒体人、第三方机构发布或转载。如稿件涉及版权等问题,请与我们联系删除或处理。稿件内容仅为传递更多信息之目的,不代表本网观点,亦不代表本网站赞同其观点或证实其内容的真实性,更不对您的投资构成建议。我们不鼓励任何形式的投资行为、购买使用行为。

  • 相关推荐
  • 大家在看
  • 又被“大数据杀熟”了?

    这是 7 月国内跨省旅游开放后的第一个节假日,又遇上国庆中秋连休 8 天。携程数据显示,预计今年国庆中秋 8 天长假旅游人次可能达到 6 亿。

  • OTA频发的“大数据杀熟”,想要治你不容易?

    九月初的时候,因为对国庆假期比较期待,一来本着“假期机票紧张”的想法,一来有着机票“越早定越便宜”的心理,便早早地在某宝旗下的某猪预定了全家往返的机票,后面就是一心等着假期到来,合家欢出游了。

  • 秒级追踪+爆款预测,魔方数据成直播大数据黑马

    魔方数据(iambox)是致力于快手全领域流量追踪分析的大数据服务平台,为用户提供快手直播广场即时数据分析、直播数据动态大屏呈现、爆款视频趋势追踪、数据定制化等服务,助力快手账号运营优化,辅助流量变现、电商带货。同时为广告主、商业合作等用户提供可靠的数据支持,帮助发掘优质账号、播主、机构。 自上线以来,魔方数据持续深耕快手大数据挖掘分析,以更及时、更真实、更可靠,更多维度的数据追踪分析功能,成为快手大数据

  • 老虎证券:snowflake ipo仅是开始 大数据和云红利还待释放

    本文发布于老虎证券社区《锐问》,老虎社区是老虎证券旗下的股票交易软件 Tiger Trade 的社区板块,致力于打造“离交易更近的美股港股英股社区”,有温度的股票交流社区。9月16日,Snowflake 正式在纽交所挂牌上市,首日暴涨111%,公司此前一再上调发行价格,并且吸引巴菲特首次投资IPO企业。《锐问》专访信天创投合伙人蒋宇捷,和他聊聊关于Snowflake和Tob项目的投资逻辑。蒋宇捷专注于企业服务、金融科技等投资领域,此前投资案?

  • 10.1旅游省心了:国家严禁大数据杀熟、差评不能删除

    马上就是10.1长假了,这次有8天时间,胆子大的可以凑够16天超长假期,这也是疫情之后第一个几乎没限制的长假,很多人都会选择去旅游。随着热度回升,以往的糟心事,比如机票杀熟、虚假宣传等估

  • 信用飞布局大数据风控,杜绝乱收费

    近年来全球新一轮信息革命全面爆发,以互联网、大数据、人工智能等为代表的数字科技的技术创新和融合的应用,对经济转型、社会发展、大众生活和国际竞争都产生了重要影响。充分利用好和发挥好数字科技发展强大的渗透、溢出、带动和引领等作用,加快推进互联网、大数据、人工智能等数字科技和实体经济的深度融合,大力发展数字经济,推动经济发展质量变革、效率变革、动力变革,已经成为经济高质量发展的重要路径选择。信用飞是数?

  • 聚数据人才,助产业腾飞——2020 CCF大数据与计算智能大赛北京起航

    10 月 13 日,中国计算机学会(CCF)主办的2020 CCF大数据与计算智能大赛(2020 CCF BDCI)在北京正式启幕。本次大赛将携手高校、名企、专家及DataFountain平台等多方力量,关注技术发展与人才培养,助力推动我国大数据技术及产业生态发展。为进一步扩大参与规模及影响力,2020 CCF BDCI联合CCF大数据专家委员会、CCF自然语言处理专业委员会、CCF数据库专业委员会、CCF高性能计算专业委员会、CCF人工智能与模式识别专业委员会、CCF

  • 苏宁换季大数据:秋衣秋裤同比增长175.23%

    昨日,苏宁发布换季大数据,10月9日至16日,卫衣、T恤、短裙分别同比增长21.91%、12.31%和5.68%。

  • 大数据杀熟明令禁止 央视调查发现差异化定价仍存在

    在旅游平台订酒店、订机票,老用户比新用户多花钱,这就是所谓的“大数据杀熟”。从10月1日起,文化和旅游部公布的《在线旅游经营服务管理暂行规定》正式施行,规定明确了在线旅游经

  • 《人民日报》痛批大数据“杀熟”:价格透明化是基本准则、必须要严惩

    你遇到过大数据“杀熟”的情况吗,对于这种行为,《人民日报》今天还进行了痛批。《人民日报》刊文称,不论是传统的线下经济,还是互联网时代的线上经济,价格公开透明始终是基本的

  • 便利蜂大数据:电影票房与进店人次等成“正向关系”

    便利蜂运用大数据对“双节”期间的电影排片时间和影院周边进店人次进行对照分析。数据显示,在北京、天津、南京、上海这几座城市,电影票房与便利蜂的进店人次、销售情况等,成“正向关系”。

  • “张江杯”大数据竞赛创新应用赛落幕 蜜度信息城感通获应用大奖

    9月21至9月22日,2020“张江杯”长三角地区大数据竞赛创新应用赛决赛在浦东新区大数据中心举行。上海蜜度信息技术有限公司“城感通”获最佳应用奖。本届大赛以“建功新时代、当好领头羊”为主题,展示了大数据时代科技创新成就和科技战疫成效,为浦东加快建设现代化经济体系、实现经济高质量发展发挥领头羊作用。创新应用竞赛作为本届大赛的“重头戏”,聚焦大数据的前沿技术和城市建设热点话题,吸引了防疫大数据、养老大数据、金

  • 七牛云数据科学系列论坛嘉宾马洪宾:大数据分析的云原生趋势

    七牛云「云加数据,智驱未来」数据科学系列论坛嘉宾马洪宾:大数据分析的云原生趋势9 月 10 日晚,七牛云主办的「云加数据,智驱未来」数据科学系列论坛如期举行。在直播中,Kyligence 创始合伙人 & 研发副总裁马洪宾为我们带来了主题为《大数据分析的云原生趋势》的精彩分享。嘉宾简介马洪宾,Kyligence 创始合伙人 & 研发副总裁,Apache Kylin 核心开发者及项目管理委员会成员 (PMC)。专注于大数据相关的基础架构和平台设计。在?

  • 街电十一订单消费大数据出炉,引领行业发展链接用户精彩生活

    据测算,刚刚过去的国庆长假,国内出游人数达到6. 37 亿人次,全国出游场景和本地生活场景均呈现利好消费态势。作为生活消费的“晴雨表”,共享充电宝领军品牌街电近日公布了其双节期间各消费场景订单租借数据。街电大数据显示,双节期间街电日均租借订单量均大幅高于今年五一同期,其中影院和旅游消费表现尤为突出,影院场景的日均租借订单量较五一同期增长 44 倍,旅游景区日均租借订单量也较五一同期实现翻番。作为广泛渗透各种

  • 联想大数据平台、国产操作系统麒麟配对成功!自主可控

    从联想官方获悉,近日,由联想自主研发的软件产品——联想大数据平台LeapHD与银河麒麟高级服务器操作系统完成兼容性测试,达到了通用兼容性要求,及性能、可靠性要求,能够满足用户的

  • SK海力士推出首款DDR5 DRAM 适用于大数据、人工智能等领域

    【TechWeb】10月7日消息,SK海力士日前宣布,推出首款DDR5 DRAM(动态随机存取存储器)。DDR5是新一代DRAM标准。SK海力士推出DDR5 DRAMSK海力士表示,DDR5 DRAM作为超高速、高容量产品,尤其适用于大数据、人工智能、机器学习等领域。SK海力士于2018年11月成功开发首款16Gb DDR5 DRAM之后,向英特尔等核心客户提供样品,并完成了一系列测试与性能、兼容性验证等程序。这一成果也意味着SK海力士在即将到来的DDR5市场随时能够销售相

  • 大数据公司Palantir今晚登陆纽交所 每股参考价7.25美元

    9月30日消息,据国外媒体报道,大数据公司Palantir将于北京时间今晚登陆纽交所。PalantirPalantir选择在纽交所直接上市,不发行新股。在这种模式下,Palantir不需要借助承销商配售新股票,也不会筹集到任何新资金。纽交所公布,Palantir的每股参考价(reference price)为7.25美元。参考价格只是市场给投资者的一个指引,并不代表实际的交易价格。外媒表示,如果以每股7.25美元价格计算,Palantir估值约160亿美元。Pal

  • 印象笔记首次亮相数字中国建设峰会 探讨大数据时代下的知识管理

    ( 10 月 13 日 福州) 2020 年 10 月 12 日- 14 日,第三届数字中国建设峰会在福州召开,印象笔记董事长兼CEO唐毅受邀出席,并在由工业和信息化部主办的“大数据分论坛”上发表了题为《大数据时代下知识管理的洞察与实践》的主旨演讲,就“数据驱动 产业赋能”这一主题与出席论坛的政商界领袖开展深度交流与探讨。移动互联网的迅猛发展,尤其是5G时代的到来,对海量信息进行高效收集、存储、编辑和整理,并以更为丰富、立体的形态

  • 美国三大股指周三收高 大数据公司Palantir上市首日暴涨31%

    【TechWeb】10月1日消息,据国外媒体报道,美国三大股指周三收高,大数据公司Palantir上市首日暴涨31%。Palantir股价表现周三收盘,道琼斯工业指数上涨329.04点,或1.2%,报27781.7点;标普500指数上涨27.53点,或0.83%,报3363点;纳斯达克综合指数(纳指)上涨82.26点,或0.74%,报11167.51点。科技巨头方面,苹果(NASDAQ:AAPL)股价上涨1.51%至115.81美元,总市值约1.98万亿美元。明星股特斯拉(NASDAQ:TSLA)股价上涨2.37%至429.

  • 外媒:大数据公司Palantir上市首日估值预计将达220亿美元

    9月25日消息,据国外媒体报道,知情人士称,大数据公司Palantir上市首日估值预计将达到220亿美元。Palantir知情人士透露,在上市前,Palantir聘请的银行家已告诉投资者,该公司的股票可能以每股10美元左右的价格开始交易。以此计算,Palantir市值接近220亿美元。今年9月,Palantir的股价在非公开市场上价格约为9.17美元。Palantir计划在纽交所直接上市,不发行新股。在这种模式下,Palantir不需要借助承销商配售新股票

  • 参与评论
文明上网理性发言,请遵守新闻评论服务协议
  • 热门标签

热文

  • 3 天
  • 7天