首页 > 传媒 > 关键词  > 正文

「探迹技术大讲堂」开讲,技术大神开课揭秘SaaS大数据架构

2023-09-21 13:45 · 稿源: 站长之家用户

时间已经来到ChatGPT引发中国AI热潮的第十个月,「AI+X」无疑是今年技术型企业里的当红命题,所谓外行看热闹、内行看门道,这阵风是否会彻底改变原有产品的技术架构,如何利用新技术、新趋势切入赛道甚至实现领跑才是泛科技领域的焦点。

作为中国智能销售SaaS的开创者,探迹科技目前已构建超1. 8 亿主体的企业全量知识图谱,为企业解决从线索挖掘、商机触达、客户管理到成单分析等一系列销售难题。面对如此巨量的数据,探迹的大数据架构是如何演变的,SaaS企业里的技术团队正在做哪些新的开发与探索?

9 月 16 日,「探迹技术大讲堂」在探迹科技总部开讲,探迹科技CTO陈开冉致开场辞,探迹科技高 级大数据开发专家邓楚健与云器科技CTO关涛分别带来各自的技术观点与案例经验,其中不乏探迹大数据架构核心技术解读,以及未来的数据算法引擎思考。

关涛:畅想「One Size Fits All」的数据架构

关涛毫无疑问是大数据领域专家中的专家。

早在 2006 年,关涛就加入微软亚洲研究院,参与构建微软第 一代分布式KV系统SearchRepository和Bing搜索的分布式存储后台Kirin Store。之后,关涛加入了微软美国云计算和企业事业部,主持和参与开发了Azure Datalake、Cosmos/Scope等多套超大规模分布式存储和计算平台,直至 2016 年回国加入阿里,负责阿里巴巴主线大数据平台飞天MaxCompute与Dataworks,之后又担任阿里和蚂蚁集团技术委员会计算平台领域组长、阿里云架构组大数据组组长,直到 2021 年创立云器科技,担任首席技术官。

云器科技CTO关涛

关涛表示,哪怕经过多年的发展,国内「原创」数据平台技术依然偏少,但数据领域继续保持高速增长, 2023 年国内数据平台技术依旧大多是组装式数据架构,引擎数据语义均不统一,异构存储及多套元数据带来了极 高的开发成本、维护成本和大量的计算与存储冗余。

最关键的是,这类的组装式数据架构缺乏满足业务的灵活性。

关涛认为,应该有一个一体化数据分析引擎,实现统一接口、统一处理逻辑,提供多种优化指标的高覆盖度和灵活调整能力。此外,AI扩展了能够处理的数据类型,给结构化数据提供了新的处理能力,接下来将有全新的大数据架构,支持AI新计算范式。

那什么才是合理的解?

探迹同学向关涛请教

关涛的答案是,开放式湖仓一体架构是面向Data+AI融合场景的最 优选择,而具备多元独立、分析引擎一体化、BA+AI的数据平台才能最 大程度解放数据生产力。

当然,关涛认为「增量计算」也许是one size fits all实现的关键,这也是目前云器科技Lakehouse下一代架构的目标。

邓楚健:没有最 好的架构,只有最适合的架构

湖仓一体也是探迹科技的大数据架构团队在应用的技术之一。探迹高 级大数据开发专家邓楚健带来了他的分享。

邓楚健作为探迹大数据平台架构的高 级技术专家,一直专注于探迹的 PB 级大规模数据实时计算架构研发,在企业大数据及知识图谱技术方面有丰富的技术实践和成果积累。

探迹高 级大数据开发专家邓楚健

邓楚健介绍,探迹的数据来源和特点是大数据领域中别树一帜的,具有数据量大,多源多构半结构化数据,原始关联性弱,大规模随机更新等特点。如何从这种海量低价值密度数据中,提炼出有商业价值的部分,及时的呈现给客户,实现为客户建立商业链接的愿景,是探迹大数据架构面临的主要挑战。

当行业都在套标准化的数据包时,探迹选择搭建自己的大数据架构。探迹的目标很清楚,要做「全量知识图谱」,这是一条「开荒」的路子,也是目前中国 toB 销售真正需要的东西——商机往往就在这些数据信息里,缺一不可,晚一步触达都有可能错失机会。

邓楚健透露,探迹科技的大数据架构目前已经演进到第三代TDR(Tungee Data Refresh),该架构以存算分离、实时上新、数据治理为核心,极大满足了各行业各版本的数据迭代上新要求,为客户提供不可计量的商业价值。下一代,探迹大数据架构将朝着独 家数据引擎的方向迭代,即Tungee Data Engine。

探迹同学向邓楚健请教

此外,探迹大数据架构体验了传统数据库技术到大数据库,再到数据湖,目前正在应用湖仓一体、流批一体、智能调度、大语言模型引擎整合等技术。

探迹大数据的每代架构都解决了当时期的核心问题,都具有合理性。邓楚健认为,优秀的架构不是一蹴而就的,而是不断演化而来。没有最 好的架构,只有最合适的架构,而架构的发展过程,也是组织结构的发展过程。技术架构要贴合组织沟通结构,才能发挥出最 佳效果,顺应时代,与时俱进,不断地吸收新的技术和经验,不断迭代演进才是发展的根本。

本次探迹技术大讲堂中,探迹科技的技术团队与云器科技就大数据架构现状与趋势进行了深入交流,期待多元的技术思考与观点推动技术进一步创新,在不久的将来助力行业技术继续迭代升级、引领行业发展。

作为国内智能销售SaaS的开创者,探迹科技坚持创新为本、技术为先,立足各行业、企业真实销售场景需求,致力于用大数据与AI技术为企业提供全流程智能销售SaaS服务,用科技助力企业降本增效、斩获商机。在过去的七年里,探迹科技构建了超过1. 8 亿家主体的企业全量知识图谱,开辟了智能销售SaaS的新时代,先后荣获“专精特新”“高科技高成长企业”“全球独角兽”等荣誉,服务客户超过 20000 家,其中包括阿里巴巴、微软、亚马逊、戴尔等行业巨头。

推广

特别声明:以上内容(如有图片或视频亦包括在内)均为站长传媒平台用户上传并发布,本平台仅提供信息存储服务,对本页面内容所引致的错误、不确或遗漏,概不负任何法律责任,相关信息仅供参考。站长之家将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。任何单位或个人认为本页面内容可能涉嫌侵犯其知识产权或存在不实内容时,可及时向站长之家提出书面权利通知或不实情况说明,并提供身份证明、权属证明及详细侵权或不实情况证明(点击查看反馈联系地址)。本网站在收到上述法律文件后,将会依法依规核实信息,沟通删除相关内容或断开相关链接。

  • 相关推荐
  • 硬盘数据恢复技术揭秘:硬盘格式化后数据丢失如何恢复

    本文介绍了硬盘格式化后数据恢复的方法。格式化分为快速和完全两种:快速格式化仅清除文件索引,数据仍存于扇区;完全格式化会扫描并标记坏扇区,理论上清除更彻底。数据恢复原理是利用硬盘存储特性,通过专业软件扫描重建文件索引。推荐使用转转大师等专业工具,支持多种文件类型恢复,操作简便。其他方法包括:利用系统备份还原、使用Chkdsk命令修复(需技术基础)、求助专业数据恢复机构(费用较高)。注意事项:发现误格式化后立即停止使用硬盘,避免数据覆盖;选择可靠恢复软件;将恢复数据保存至其他存储设备。日常应养成定期备份重要数据的习惯。

  • 科技赋能风控跃迁,我来数科用大数据风控打造稳健金融底盘

    文章探讨了大数据风控在金融科技中的核心地位。随着数据成为数字经济时代的关键资产,大数据风控正从辅助工具演变为业务决策的中枢系统。头部金融科技平台通过实时数据处理平台和人工智能技术,构建了全面、动态的风险画像,为金融机构提供精准风控解决方案。文章强调,金融科技的核心在于数据积累与运用,而数据安全则是其生命线。未来,持续以科技为引擎、数据为基础,构建智能化风控体系,将成为推动金融行业稳定发展的重要力量。

  • 华为终端BG董事长余承东重返母校清华 开讲鸿蒙校园公开课

    2025年5月22日,华为终端BG董事长余承东重返母校清华大学,在"时代论坛"发表主题演讲《创新引领未来·共建鸿蒙世界》。演讲中,余承东展示了华为首款鸿蒙折叠电脑MateBook Fold,强调其铰链与屏幕技术创新。他重点阐述了鸿蒙操作系统的突破:代码超1.2亿行,通过软硬件云整合实现设备互联,采用分布式架构支持"一次开发、多端部署"。余承东指出,构建统一操作系统生态是突破碎片化困境的关键,呼吁开发者共建鸿蒙生态。活动由清华校领导出席,华为高校花粉俱乐部组织,这是其在全国400+高校开展的第900场公开课,旨在传递科技创新理念。

  • 阿里云全栈AI技术引擎驱动SaaS企业全球化升级 构建出海新范式

    全球SaaS市场正以16.4%的年复合增长率迈向万亿规模,中国企业引领的智能化升级正在改写行业全球化叙事。阿里云发布"全栈AI+全球化"技术体系,通过端到端技术栈重构打造可扩展、低门槛的全球化智能基座,释放技术红利。通义千问大模型通过参数效率优化突破AI规模化应用的经济性瓶颈,支持119种语言适配不同市场。e签宝推出行业首个智能合同Agent,实现合同全生命

  • 技术选型别盲目:为什么很多企业用错了分布式数据库?

    本文探讨了分布式数据库的适用场景与选择误区。文章指出,分布式数据库并非万能解决方案,其最大优势在于横向扩展能力,适合互联网业务的海量用户、高并发等场景。但在传统企业级应用中,集中式数据库可能更优。文中列举了三种常见的"伪分布式"需求场景:分布式应用、多租户需求和跟风采购,强调技术选择应回归业务本质。最后以金仓数据库为例,介绍了�

  • 水滴信用开放平台开放支持企业大数据MCP企业信息查询场景

    水滴信用企业大数据平台拥有覆盖全国3.7亿市场主体的企业信用图谱,提供1000+维度的企业数据查询服务。其核心功能包括:工商注册、股东出资、司法诉讼、经营异常等基础信息实时更新;深度风险扫描涵盖行政处罚、股权冻结等全面监控;商业能力洞察包含知识产权、招投标等实力评估;关系网络透视可穿透至最终自然人。平台已上线火山引擎COZE插件,调用量超8000万次,支持金融风控、供应链管理、政府监管等多场景应用,通过MCP技术实现数据智能融合与深度挖掘,推动企业信息查询从静态检索升级为动态智能洞察。

  • StarRocks 优化实践:揭秘毫秒级实时分析的三大核心技术

    StarRocks是一款高性能实时分析数据库,通过三大核心技术解决海量数据分析难题:1)向量化执行引擎,采用批处理方式减少CPU开销,支持SIMD指令集加速计算;2)CBO优化器,基于统计信息智能选择最优执行计划,支持复杂查询改写和物化视图优化;3)列式存储结构,结合稀疏索引和Bitmap索引提升I/O效率。其企业级产品镜舟数据库在此基础上增强多租户隔离、RBAC权限控制等特性

  • 四川省文化大数据公司与腾讯云签署战略合作协议,共同打造“文化+AI”新标杆

    5月25日,四川省文化大数据公司与腾讯云在深圳文博会上签署战略合作协议。双方将围绕文化数字化建设、人工智能技术应用及生态运营三大领域展开深度合作,共同推进四川省文化数据服务平台扩容升级与智能化转型。重点打造"文化大数据人工智能一体化平台",整合AI技术提供知识问答、内容生成、文旅导览等服务,推动四川特色文化资源数字化应用。未来还将深化短视频分发、用户画像分析等领域的合作,助力文化数据资源资产化、服务化转型。此次合作将加速四川文化数字化进程,为国家文化数字化战略实施提供新动能。

  • 突破数据库备份恢复瓶颈:华瑞指数云“无损快照”技术赋能企业数据库实现秒级数据保护

    文章探讨了数字化时代下数据库备份与恢复技术的重要性,重点分析了传统备份方式的痛点(耗时、占用资源、性能影响)和快照技术的优势(秒级创建、空间节省、低I/O影响)。详细对比了COW(写时复制)和ROW(写时重定向)两种快照技术原理及优劣,指出ROW在写入性能上的优势。同时介绍了华瑞指数云WDS基于"无损ROW快照克隆"的创新方案,通过优化读写流程实现秒级备份恢复且性能零损耗。文章还对比了AWS RDS/Aurora和阿里云RDS/PolarDB等主流云数据库的备份实现方式,并通过PostgreSQL实践案例展示了WDS方案的高效性。最后强调分布式存储架构为数据库带来的性能突破和扩展能力,重新定义了企业级数据保护的标准。

  • 小米YU7搭载2200MPa小米超强钢!背后支持大学“技术王牌”揭秘

    小米汽车联合东北大学王国栋院士团队、育材堂共同研发的2200MPa超强钢技术取得突破,应用于小米SU7车型。该钢材抗拉强度较1500MPa热成型钢提升40%,A柱、B柱承载能力分别提升25%和70.5%,四门防撞梁性能显著增强。这项技术由东北大学轧制技术及连轧自动化国家重点实验室(现数字钢铁全国重点实验室)主导研发,该团队曾率先开发出2000MPa级热成型钢。育材堂作为技术转化平台,汇聚了多位钢铁领域专家。此次创新标志着国产汽车钢材达到国际领先水平。