首页 > 传媒 > 关键词  > 正文

「探迹技术大讲堂」开讲,技术大神开课揭秘SaaS大数据架构

2023-09-21 13:45 · 稿源: 站长之家用户

时间已经来到ChatGPT引发中国AI热潮的第十个月,「AI+X」无疑是今年技术型企业里的当红命题,所谓外行看热闹、内行看门道,这阵风是否会彻底改变原有产品的技术架构,如何利用新技术、新趋势切入赛道甚至实现领跑才是泛科技领域的焦点。

作为中国智能销售SaaS的开创者,探迹科技目前已构建超1. 8 亿主体的企业全量知识图谱,为企业解决从线索挖掘、商机触达、客户管理到成单分析等一系列销售难题。面对如此巨量的数据,探迹的大数据架构是如何演变的,SaaS企业里的技术团队正在做哪些新的开发与探索?

9 月 16 日,「探迹技术大讲堂」在探迹科技总部开讲,探迹科技CTO陈开冉致开场辞,探迹科技高 级大数据开发专家邓楚健与云器科技CTO关涛分别带来各自的技术观点与案例经验,其中不乏探迹大数据架构核心技术解读,以及未来的数据算法引擎思考。

关涛:畅想「One Size Fits All」的数据架构

关涛毫无疑问是大数据领域专家中的专家。

早在 2006 年,关涛就加入微软亚洲研究院,参与构建微软第 一代分布式KV系统SearchRepository和Bing搜索的分布式存储后台Kirin Store。之后,关涛加入了微软美国云计算和企业事业部,主持和参与开发了Azure Datalake、Cosmos/Scope等多套超大规模分布式存储和计算平台,直至 2016 年回国加入阿里,负责阿里巴巴主线大数据平台飞天MaxCompute与Dataworks,之后又担任阿里和蚂蚁集团技术委员会计算平台领域组长、阿里云架构组大数据组组长,直到 2021 年创立云器科技,担任首席技术官。

云器科技CTO关涛

关涛表示,哪怕经过多年的发展,国内「原创」数据平台技术依然偏少,但数据领域继续保持高速增长, 2023 年国内数据平台技术依旧大多是组装式数据架构,引擎数据语义均不统一,异构存储及多套元数据带来了极 高的开发成本、维护成本和大量的计算与存储冗余。

最关键的是,这类的组装式数据架构缺乏满足业务的灵活性。

关涛认为,应该有一个一体化数据分析引擎,实现统一接口、统一处理逻辑,提供多种优化指标的高覆盖度和灵活调整能力。此外,AI扩展了能够处理的数据类型,给结构化数据提供了新的处理能力,接下来将有全新的大数据架构,支持AI新计算范式。

那什么才是合理的解?

探迹同学向关涛请教

关涛的答案是,开放式湖仓一体架构是面向Data+AI融合场景的最 优选择,而具备多元独立、分析引擎一体化、BA+AI的数据平台才能最 大程度解放数据生产力。

当然,关涛认为「增量计算」也许是one size fits all实现的关键,这也是目前云器科技Lakehouse下一代架构的目标。

邓楚健:没有最 好的架构,只有最适合的架构

湖仓一体也是探迹科技的大数据架构团队在应用的技术之一。探迹高 级大数据开发专家邓楚健带来了他的分享。

邓楚健作为探迹大数据平台架构的高 级技术专家,一直专注于探迹的 PB 级大规模数据实时计算架构研发,在企业大数据及知识图谱技术方面有丰富的技术实践和成果积累。

探迹高 级大数据开发专家邓楚健

邓楚健介绍,探迹的数据来源和特点是大数据领域中别树一帜的,具有数据量大,多源多构半结构化数据,原始关联性弱,大规模随机更新等特点。如何从这种海量低价值密度数据中,提炼出有商业价值的部分,及时的呈现给客户,实现为客户建立商业链接的愿景,是探迹大数据架构面临的主要挑战。

当行业都在套标准化的数据包时,探迹选择搭建自己的大数据架构。探迹的目标很清楚,要做「全量知识图谱」,这是一条「开荒」的路子,也是目前中国 toB 销售真正需要的东西——商机往往就在这些数据信息里,缺一不可,晚一步触达都有可能错失机会。

邓楚健透露,探迹科技的大数据架构目前已经演进到第三代TDR(Tungee Data Refresh),该架构以存算分离、实时上新、数据治理为核心,极大满足了各行业各版本的数据迭代上新要求,为客户提供不可计量的商业价值。下一代,探迹大数据架构将朝着独 家数据引擎的方向迭代,即Tungee Data Engine。

探迹同学向邓楚健请教

此外,探迹大数据架构体验了传统数据库技术到大数据库,再到数据湖,目前正在应用湖仓一体、流批一体、智能调度、大语言模型引擎整合等技术。

探迹大数据的每代架构都解决了当时期的核心问题,都具有合理性。邓楚健认为,优秀的架构不是一蹴而就的,而是不断演化而来。没有最 好的架构,只有最合适的架构,而架构的发展过程,也是组织结构的发展过程。技术架构要贴合组织沟通结构,才能发挥出最 佳效果,顺应时代,与时俱进,不断地吸收新的技术和经验,不断迭代演进才是发展的根本。

本次探迹技术大讲堂中,探迹科技的技术团队与云器科技就大数据架构现状与趋势进行了深入交流,期待多元的技术思考与观点推动技术进一步创新,在不久的将来助力行业技术继续迭代升级、引领行业发展。

作为国内智能销售SaaS的开创者,探迹科技坚持创新为本、技术为先,立足各行业、企业真实销售场景需求,致力于用大数据与AI技术为企业提供全流程智能销售SaaS服务,用科技助力企业降本增效、斩获商机。在过去的七年里,探迹科技构建了超过1. 8 亿家主体的企业全量知识图谱,开辟了智能销售SaaS的新时代,先后荣获“专精特新”“高科技高成长企业”“全球独角兽”等荣誉,服务客户超过 20000 家,其中包括阿里巴巴、微软、亚马逊、戴尔等行业巨头。

推广

特别声明:以上内容(如有图片或视频亦包括在内)均为站长传媒平台用户上传并发布,本平台仅提供信息存储服务,对本页面内容所引致的错误、不确或遗漏,概不负任何法律责任,相关信息仅供参考。站长之家将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。任何单位或个人认为本页面内容可能涉嫌侵犯其知识产权或存在不实内容时,可及时向站长之家提出书面权利通知或不实情况说明,并提供身份证明、权属证明及详细侵权或不实情况证明(点击查看反馈联系地址)。本网站在收到上述法律文件后,将会依法依规核实信息,沟通删除相关内容或断开相关链接。

  • 相关推荐
  • 大家在看
  • 新加坡缘中秀大数据回报华人社会 投入整理数据库支撑中华宗谱的事业

    新加坡讯 —— 在新加坡这座多元文化交融的国际化都市中,缘中秀企业正以其深厚的文化底蕴和前瞻性的企业战略,全力以赴投入到一项重大的文化事业中——整理并支撑中华宗谱数据库的建立。这项事业的推进,不仅彰显了缘中秀对中华传统文化的传承与弘扬,也体现了其在科技与传统融合领域的创新实践。(图一:缘中秀与国图合作整理AR宗谱)缘中秀,作为亚洲知名的风

  • 地图商户入驻为什么选用企业三要素验证?凭安征信企业大数据核验解决方案简析

    消费数字化应用场景化的背景下,用户对地图工具从当初的线路导航需求逐渐演变成一站式获取与出行、生活相关的各种信息和服务的综合性需求,地图工具此时已经不局限于导航,而是融合了众多功能和服务的综合性平台。想要提供更精准、更个性化、更便捷的用户服务就需要入驻大量商户,在此过程中就面临着如何对商户工商信息准确核验核查的问题,避免欺诈以及不实�

  • 凭安征信:企业大数据应用助力企业供应链供应商风控管理

    随着企业供应链变得越发复杂且全球化,引入企业信用信息数据来管理供应商,已成为现代企业运营打造核心竞争力的关键要素。凭安征信认为企业大数据应用于企业供应链供应商管理能帮助企业预判风险,优化合作,在市场竞争中取得优势。凭安征信拥有专业的数据工程及数据科学团队,具备业界领先的大数据技术,通过对公开数据实时采集及处理,目前已涵盖工商信息、风险信息、知识产权、互联网信息、经营披露信息、深度挖掘信息等六大门类1000数据维度,现已构建以3.3亿市场主体为核心的中国企业信用信息图谱。

  • 悦享控股(CHR.US)智能运营数据管理AI技术获国家发明专利

    悦享控股有限公司今天宣布,公司自主研发的《一种智能运营数据管理方法及系统》获得国家知识产权局颁发的发明专利证书,标志着公司在影视传媒领域的AI技术获得突破,凸显公司在人工智能技术储备与创新研发的雄厚实力,公司将加速推动发明专利在相关行业的授权使用。此次发明涉及人工智能运营数据管理领域,包括:获取当前影视平台的平台运营数据中的所有类别的初始核心数据,对所有类别的初始核心数据进行数据预处理,获得每个类别的初始核心数据的最终核心数据;计算出每个类别的最终核心数据的影响值;基于所有类别的最终核心数据的影响值获得运营分析矩阵,并基于运营分析矩阵获得当前影视平台的运营情况判断结果;基于当前影视平台的运营情况判断结果获得当前影视平台的运营调整方式。悦享控股致力于以"悦享"为核心的数字产业生态建设,坚持以创新产品应用和技术驱动公司可持续规模化发展。

  • IPO雷达丨港迪技术坚持技术创新,增强高质量发展新动能

    近期,唐山港第二港埠公司两台门座式起重机自动化改造项目顺利完成重载调试,进入常态化运行。据了解,该项目采用多项先进技术:通过多感知融合和点云深度学习,有效提升了复杂船型和地面堆场的识别成功率和识别精度;通过机器学习方法进行物料分布量估算,优化了多货种散货装卸船策略,有效提升了自动化作业效率;通过视觉AI识别,实现了多种复杂作业场景下的安全

  • 合作探迹巩固增长优势,90后“3D打印创业者”年入过亿

    从国民衣食住行到航天航空等大国重器都有3D打印的身影,在资本助推、技术迭代、政策扶植等因素交替发力下,当前的3D打印发展水平已跃升至另一个台阶,相关数据预测,到2025年我国3D打印市场规模将超过630亿元。雷石三维打印科技有限公司合作探迹,每年积蓄潜在客户2000,年营收增长超20%,销售全流程效率全面提升。探迹也将持续赋能中国制造业,以AI大数据技术推动企�

  • GMIF2024:西部数据闪存先进技术副总裁李艳博士将分享主题演讲

    GMIF2024:西部数据闪存先进技术副总裁李艳博士将分享《3DQLCNANDFlash拓展及其应用》主题演讲。9月27日,第三届GMIF2024创新峰会将在深圳湾万丽酒店举办,本届峰会以“AI驱动,存储复苏”为主题,将围绕存储器市场复苏与AI新兴应用市场带动下的产业格局与趋势,分享前沿技术与最新产品,探讨产业链上下游如何协同创新,构建合作共赢的产业生态。峰会以“AI驱动,存储复苏”为主题,将汇聚存储器产业链的终端厂商、原厂、平台厂商、主控厂商、模组厂商、封测厂商、设备厂商、材料厂商等头部企业、上市公司以及本土代表性企业,通过主题演讲、资本市场对接与策略分享、存储器品牌全球直播、展览等多种形式,围绕存储器市场复苏与AI新兴应用市场带动下的产业格局与趋势,分享前沿技术与最新产品,探讨产业链上下游如何协同创新,构建合作共赢的产业生态。

  • 明月镜片再出圈,技术还原《解密》中不可忽视的细节

    电影《解密》自从上映后,引发热烈讨论。随着电影出圈的,还有明月镜片这个国民镜片品牌,品牌双代言人陈道明和刘昊然共同主演电影,同时明月镜片也作为电影的镜片技术顾问,参与电影细节共创。这样的组合也让观众们看到了品牌和影视作品的“有机结合”,共同为观众呈现了一场视觉盛宴。《解密》就是对细节的极致追求电影中的主角容金珍,在从事解密工作后的�

  • ALPD激光放映技术“掘金”中东市场

    伴随用户数量和使用时长的持续增长,由全球激光显示领军企业光峰科技自主研发的ALPD激光放映方案的品质及可靠性得到越来越多用户的认可。国内影院市占率超过三分之一的同时,ALPD在海外市场的应用也在快速增长。中国技术与海外市场之间的双向奔赴,正在开启中国电影放映的新格局。

  • 追觅洗地机H20 Ultra旋锋版,多项首创技术搭载,助力技术普惠之路

    智能清洁工具是现代生活的象征之一,但面对纷杂的环境智能清洁工具在和用户生活交融的同时也会产生一些问题,洗地机作为智能清洁工具的重要分支,自然也不可避免,例如毛发缠绕滚刷就是一个不可忽视的问题追觅科技在了解到用户在使用洗地机所产生的问题后,特意推出了追觅洗地机H20Ultra旋锋版。对于追觅洗地机H20Ultra旋锋版这款追觅的新品来说,在彻底解决毛发缠绕滚刷的基础上也将清洁做到极致,让解放双手成为一种现实,目前,追觅洗地机H20Ultra旋锋版已经在多个电商平台售卖,全新清洁体验一建即可体验。在解决毛发缠绕滚刷这一洗地机所面临的现实问题的基础上,追觅洗地机H20Ultra旋锋版更是升级了自清洁的能力,这一系列创新技术的搭载也代表着追觅创新技术实现了新一轮全方位的升级,让科技的力量普惠用户生活。

  • BNA:多功能AI超级应用,涵盖社交、电商、娱乐和教育。

    BNA AI Super App是一款集成了多种智能服务的超级应用,它不仅提供社交功能,如分享帖子、写博客、聊天和视频通话,还涵盖了AI电商和娱乐服务。此外,该应用还提供40种语言的AI教学服务,帮助用户学习不同的语言。BNA AI Super App以其强大的AI功能和多语言支持,满足了不同用户群体的需求。

  • Elisi:高效能自主层级式计划助手

    Elisi 是一款旨在帮助用户实现个人成长的终极组织者和指南。它通过直观的设计和用户友好的说明,帮助用户将梦想转化为清晰的结果,分解成可实现的里程碑,并通过AI技术理解并适应用户的个人需求,确保每一天都更有条理和高效。Elisi 致力于提供便捷服务,主要功能套件完全免费。

  • Omi AI:个性化AI助手,记录每一刻,与AI对话获取反馈。

    OMI APP是一个任务驱动的个性化AI助手,旨在通过语音和音频转录功能帮助用户提高记忆力和沟通效率。它是一个开源的AI记事本,提供提醒、建议等功能,同时注重用户隐私。

  • MeowMail:高送达率的AI电子邮件营销工具

    MeowMail是一款集成在Shopify后台的电子邮件营销应用,利用AI技术自动选择最佳发送时间,提高邮件的送达率至98%以上。它支持拖放编辑、从Klaviyo导入邮件列表、使用Beefree编辑器创建新邮件,并通过设定支出限制来管理邮件营销活动。MeowMail还提供企业级支持和自动翻译文本功能,帮助商家以低成本实现高效的邮件营销。

  • Maia 100:微软定制AI加速器,专为大规模AI工作负载设计。

    Maia 100是微软为Azure设计的首款定制AI加速器,专为大规模AI工作负载而打造,通过软硬件的协同优化,实现了性能、可扩展性和灵活性的最大化。它采用了TSMC N5工艺和COWOS-S互连技术,具备高达1.8TB/s的带宽和64GB的容量,支持高达700W的热设计功耗(TDP),但以500W运行,确保了高效的能效比。Maia 100集成了高速张量单元、向量处理器、DMA引擎和硬件信号量,支持多种数据类型和张量切分方案,并通过以太网互连支持大规模AI模型。此外,Maia SDK提供了丰富的组件,支持快速部署PyTorch和Triton模型,并通过双编程模型确保高效的数据处理和同步。

  • LTM:超长上下文模型,革新软件开发

    Magic团队开发的超长上下文模型(LTM)能够处理高达100M tokens的上下文信息,这在AI领域是一个重大突破。该技术主要针对软件开发领域,通过在推理过程中提供大量代码、文档和库的上下文,极大地提升了代码合成的质量和效率。与传统的循环神经网络和状态空间模型相比,LTM模型在存储和检索大量信息方面具有明显优势,能够构建更复杂的逻辑电路。此外,Magic团队还与Google Cloud合作,利用NVIDIA GB200 NVL72构建下一代AI超级计算机,进一步推动模型的推理和训练效率。

  • EZ-work AI文档翻译:智能AI翻译,高效文档语言转换助手。

    EZ-work AI文档翻译是一款专注于文档翻译的在线服务,支持多种语言的翻译,包括中文、英语、日语、俄语、阿拉伯语和西班牙语等。它使用先进的AI技术,如gpt-4o-mini和deepseek-chat模型,为用户提供快速、准确的翻译服务。该产品适用于需要文档翻译的个人和企业,尤其在国际交流和学术研究领域尤为重要。

  • Watson AI:会议助手,自动记录并总结会议要点。

    Watson AI是一款会议助手应用程序,它通过录制系统音频和麦克风来转录和总结会议内容,自动提取行动项和会议摘要,帮助用户更高效地进行会议记录和回顾。

  • PicTech AI: 免费在线AI图片翻译 助力跨境电商

    PicTech AI是由学以致用科技旗下的智能图像工具品牌,专注于为跨境电商提供AI驱动的图片翻译服务。该产品利用人工智能技术,实现高准确率和高清晰度的图片翻译,支持中文、英语到日语、韩语等多国语言的翻译。PicTech AI的智能抠图功能,能够准确检测图片主体边缘,一键去除背景,无需专业编辑。产品背景信息显示,其团队由来自百度、网易、阿里巴巴等行业巨头的顶尖高科技人才组成,具备强大的技术实力和产品能力。该产品定位于帮助跨境电商从业者简化工作流程,提高效率,无需懂外语或图像处理技能即可使用。

  • AnythingLLM:一站式AI应用,支持多种文档和模型。

    AnythingLLM是一个多功能的桌面客户端,支持多种语言模型(LLM)和文档类型,提供完全私密的使用体验。用户可以根据自己的需求选择企业级模型、自定义模型或开源模型,如GPT-4、Llama、Mistral等。产品支持一键安装,本地运行,无需互联网连接,保护用户隐私。

  • 林哥的大模型野榜:更适合中国宝宝体质的大模型产品排行榜

    林哥的大模型野榜是一个专注于中国用户需求的大模型产品排行榜,提供了多维度的评估和排名,帮助用户更好地了解和选择适合的大模型产品。

  • Fluximg.com:AI文本到图像生成器,支持多尺寸和自动翻译。

    Fluximg.com是一个基于Flux模型的AI图像生成网站,提供从文本到图像的转换服务。它支持多种语言,包括中文和英文,并且具有用户友好的界面。网站提供免费和专业版本,使用户能够根据自己的需求选择不同的服务级别。

  • 现代文转古文:将现代汉语转化为古汉语,提升文采。

    现代文转古文是一款能够将现代汉语自动转换为古汉语的模型,它通过先进的自然语言处理技术,使得用户可以轻松地将现代文本转换成具有古典韵味的古文。这种转换不仅能够增加文本的文学价值,还能在教育、文学创作、文化传承等方面发挥重要作用。

  • Zamba2-mini:先进的小型语言模型,专为设备端应用设计。

    Zamba2-mini是由Zyphra Technologies Inc.发布的小型语言模型,专为设备端应用设计。它在保持极小的内存占用(<700MB)的同时,实现了与更大模型相媲美的评估分数和性能。该模型采用了4bit量化技术,具有7倍参数下降的同时保持相同性能的特点。Zamba2-mini在推理效率上表现出色,与Phi3-3.8B等更大模型相比,具有更快的首令牌生成时间、更低的内存开销和更低的生成延迟。此外,该模型的权重已开源发布(Apache 2.0),允许研究人员、开发者和公司利用其能力,推动高效基础模型的边界。

  • InterTrack:无需对象模板的人体与物体交互跟踪技术

    InterTrack 是一种先进的跟踪技术,能够在单目RGB视频中跟踪人体与物体的交互,即使在遮挡和动态运动下也能保持跟踪的连贯性。该技术无需使用任何对象模板,仅通过合成数据训练即可在真实世界视频中实现良好的泛化。InterTrack 通过分解4D跟踪问题为每帧的姿态跟踪和规范形状优化,显著提高了跟踪的准确性和效率。

  • GenWarp:生成新视角的图像,保持语义信息。

    GenWarp是一个用于从单张图像生成新视角图像的模型,它通过语义保持的生成变形框架,使文本到图像的生成模型能够学习在哪里变形和在哪里生成。该模型通过增强交叉视角注意力与自注意力来解决现有方法的局限性,通过条件化生成模型在源视图图像上,并纳入几何变形信号,提高了在不同领域场景下的性能。

  • Qwen2-VL:新一代视觉语言模型,更清晰地看世界。

    Qwen2-VL是一款基于Qwen2打造的最新一代视觉语言模型,具备多语言支持和强大的视觉理解能力,能够处理不同分辨率和长宽比的图片,理解长视频,并可集成到手机、机器人等设备中进行自动操作。它在多个视觉理解基准测试中取得全球领先的表现,尤其在文档理解方面有明显优势。

  • Dressplay:个性化服装生成器,轻松变换你的装扮。

    Dressplay是一个创新的在线服装生成器,允许用户通过简单的步骤生成个性化的服装。它利用先进的图像处理技术,让用户能够选择服装区域、目标人物以及想要穿戴的服装,从而创造出逼真的服装效果。Dressplay背后的技术不仅提高了服装设计的效率,也为用户提供了一种全新的个性化体验。目前,Dressplay提供免费试用,用户可以通过网页访问并体验其功能。

  • GLM-4-Plus:国际领先的语言理解与长文本处理大模型。

    GLM-4-Plus是智谱推出的一款基座大模型,它在语言理解、指令遵循和长文本处理等方面性能得到全面提升,保持了国际领先水平。该模型的推出,不仅代表了中国在大模型领域的创新和突破,还为开发者和企业提供了强大的语言处理能力,进一步推动了人工智能技术的发展和应用。

  • Playground:专业的设计工具,让设计变得简单有趣。

    Playground是一个专业的在线设计平台,它提供了丰富的设计资源和工具,包括贴纸、壁纸、海报、T恤设计和社交帖子设计等。用户可以轻松地创建个性化的艺术作品,无论是个人使用还是商业用途。该平台以其易用性、丰富的设计元素和创新的设计理念,满足了不同用户的设计需求。

今日大家都在搜的词: