首页 > 传媒 > 关键词 > 信也科技最新资讯 > 正文

信也科技PMQ消息系统:易监控、易维护的轻量级消息系统

2021-01-20 16:49 · 稿源:站长之家用户投稿

1月20日,由信也科技(NYSE:FINV)自主研发的PMQ消息系统正式对外发布。该系统是信也科技在调研业界消息系统的基础上研发的一款易于监控、易于维护的轻量级消息系统。目前,其已在信也科技私有云平台上稳定运行了四年,日消息量高峰时间超过30亿条,高峰写入超过20万TPS(异步模式)。

据了解,消息系统在现代微服务系统中,起着至关重要的作用。不论是异步、解耦或削峰,都需使用到消息系统。而消息系统的稳定性,对系统的整体稳定性有着举足轻重的意义。

信也科技PMQ消息系统的研发历程并非一帆风顺。早在2016年之前,信也科技曾尝试使用Kafka与RabbitMQ,彼时经常面临消息丢失、消息堆积等情况,严重影响了业务系统。自2016年年中以来,信也科技便着力开发PMQ消息系统,并于2017年发布2.0版本,实现了基本的消息发送与消费功能。自2017年年中开始研发3.0版本,至2018年年中,已实现重平衡、自助修改偏移等完善的消息治理功能。自2019年初发布的新版本,已逐渐实现了多语言、多环境等高级功能。

PMQ消息系统的整体架构示意图

PMQ消息系统的架构可分为以下五部分:

第一,Admin Portal。用户可在Admin Portal上创建Topic、消费者组、订阅Topic等常见操作。这些操作会生成对应的元数据信息,而这些元数据信息会保存至Metadata数据库中。

第二,Broker。Broker会定时将Metadata元数据信息同步至内存中。当Producer发送消息请求达到Broker时,Broker会跟进Topic对应的元数据信息,将消息保存到相关的数据库表中。Consumer也会根据元数据信息从数据库中拉取相关的消息。

第三,Producer,消息发送方。当Producer发送消息时,会将消息发送到Broker集群中的任何一个实例,当某个实例出现访问异常时,会自动重试,将消息转发到其他实例。

第四,Consumer,消息消费方。当消费方启动时,会完成消息消费的注册功能。注册完成后Consumer会获取到相关的元数据信息,Consumer会从Broker拉取消息进行消费。

第五,MySQL,消息存储层。所有的Topic消息至少会保存在2个MySQL物理实例上,防止单点故障。每个MySQL物理机都有备份集群,当某个MySQL集群出现问题时,会自动进行主从切换,以此来保证MySQL的高可用。

同其他消息系统相比,PMQ消息系统采用了MySQL作为消息存储层,最大程度地降低了消息系统的复杂性,易于运维。此外,PMQ消息系统实现了Broker与存储分离,可实现Broker与MySQL的水平扩展。

依托于MySQL,PMQ消息系统可实现更丰富的治理功能。具体功能如下:

1、堆积告警。在PMQ控制台中,可查看消息的发送与消费情况,当出现消息消费堆积的情况时,PMQ消息系统便发送告警消息给相关的负责人,通知其及时处理。

2、消息消费与发送监控。PMQ消息系统的客户端内置了监控信息,可以监控消息发送与消息消费情况。特别内置了消息消费是否报错,消费耗时等监控信息。

3、动态调整线程数。消息在消费过程中,经常会遇到消息堆积的情况。当相关负责人收到堆积告警时,负责人可根据监控情况来判断是否可以增大线程数来加快消息消费速度。消费线程数可在后台Portal界面动态修改,实时生效,无需用户修改代码,重启等操作。采用此方式,可非常迅速地解决消息堆积的情况。

4、动态调整偏移量。消息在使用过程中,会遇到以下情况,当消息消费时可能会出现一些bug。当bug修复完成后,可能需要重新消费历史消息,此时可在PMQ消息系统后台控制页面中,动态调整偏移量,消费方即可按照指定的偏移对历史消息进行重新消费,无需修改代码实时生效。

5、动态设置消费者组黑白名单。在本地代码开发时,为了调试某个消费逻辑代码,需要将某个消费者组指定给某个IP消费。对于此场景开发人员可在PMQ消息系统后台对某个消费者组设置白名单,设置完成后,此消费者组对应的消息便会被指定IP消费。同理,也可以设置黑名单,不允许某些IP消费。对于此类需求用户可在PMQ消息系统后台自助操作,无需修改代码,实时生效。

6、支持失败消息。当用户在PMQ控制页面中给某个消费者组添加Topic订阅时,会自动创建一个消费者组与Topic对应的失败Topic,当客户端消息消费失败时,会自动将消费失败的消息发送至对应的失败Topic上,然后进行重试消费,如果重试失败,用户可在消息查询界面查看到消息消费重试结果。

7、消息查询。有相关权限的用户,可在后台检索Topic历史消息。

8、操作自助化。用户可在PMQ消息系统后台自助创建Topic,自助创建消费者组,自助订阅Topic,自助查看消息消费情况、发送量、剩余量等信息。

9、权限控制与审计。PMQ消息系统权限管控采取的是谁创建谁负责的方式。同时用户在后台界面上的所有操作均会进行日志记录,便于操作审计。

10、多语言支持。PMQ通过Proxy代理的方式支持多语言。对于其他非Java类型的应用,只要支持HTTP协议,即可进行消息的发送与消费。这样PMQ只需维护一份代码,即可支持所有的语言客户端。

11、多环境支持。在测试环境中,为了支持多版本并行开发,会出现多套环境的情况。PMQ消息系统支持消息在多环境中有序流转,同环境的消息默认会被同环境的实例消费。

12、监控报表。PMQ消息系统后台会自动生成各类报表数据,方便查看系统运行情况。根据监控报表数据可清晰地知晓系统的运行情况,从而及时消除系统的资源隐患。

自2017年PMQ消息系统在信也科技上线以来,已稳定运行多年,且已接入了超过400多个应用、2000多个实例,经受住了生产实践的考验。

此次信也科技将成熟的科技服务对外输出与赋能,是坚持探索创新的成果。未来,PMQ消息系统将引入消息轨迹、智能化运维与分析、PMQ集群多活等相关的功能。并且PMQ消息系统会全面兼容Kafka、RocketMQ等消息系统,使其他的消息系统也可使用到PMQ强大的治理功能。

树高叶茂,系于根深。信也科技亦将不断夯实根基,锐意进取,在科技行业中继续做敢于探路的“急先锋”,积极响应国家的号召,持续探索与发展科学技术,推动科技自立自强,并加强与合作伙伴的沟通与交流,实现互利共赢发展。

免责声明:“站长之家”的传媒资讯页面文章、图片、音频、视频等稿件均为自媒体人、第三方机构发布或转载。如稿件涉及版权等问题,请与我们联系删除或处理。稿件内容仅为传递更多信息之目的,不代表本网观点,亦不代表本网站赞同其观点或证实其内容的真实性,更不对您的投资构成建议。我们不鼓励任何形式的投资行为、购买使用行为。

  • 相关推荐
  • 大家在看
  • 首届信也科技开放日顺利举办 科技全景图正式发布

    12 月 17 日,以“创新·赋能·互融·共赢”为主题的首届信也科技开放日在上海顺利举办,信也科技(NYSE:FINV)在当日会场上首次揭秘了自身的科技全景图,用图谱的形式直观展示了公司在科技研发和科技赋能方面的努力与成果。 科学发展是不变的话题,但经济环境与发展阶段却是随着时间的推移而变化的。面对日益复杂的国内外经济形势变化,我国构建了国内国际双循环相互促进的新发展格局,而数字科技则是新发展格局的重要助推力量。 ?

  • 信也科技9¾模型管理平台:以AI技术助力行业集成创新

    近日,信也科技(NYSE:FINV)推出的9?模型管理平台在信也科技开放日上首次亮相。9?平台能够提供一站式人工智能模型服务,它以AI技术服务集团业务全链路,助力金融科技行业集成创新。据了解,9?平台的名称灵感来源于哈利·波特系列中的9?站台,该站台可以通往魔法学院开启奇妙世界,而信也科技的9?平台,则是通过人工智能技术支持集团科技业务,并为合作伙伴赋能。为众人所熟知的是,人工智能发展数载,它潜移默化地影响着人们的生?

  • 信也科技发布章鱼流量管理平台 助力高效获取优质流量

    1 月 14 日,信也科技(NYSE:FINV)正式对外发布章鱼流量管理平台。章鱼平台旨在实现数据全面化、决策智能化、系统自动化三大目标,可指导市场从业人员,以更高效的方式获取更优质的流量。章鱼流量管理平台的名称来源于海洋生物“章鱼”,由于拥有与人类相似的基因,章鱼可通过自身建立神经网络,具备良好的学习能力,因此“章鱼”与构建信也科技流量管理平台的定位不谋而合,章鱼流量管理平台的名称便由此诞生。伴随着新媒体的不断?

  • 携手并进!美创科技与佳都科技、伟仕佳杰签约全国总代理

    12月15日,美创科技与佳都科技、伟仕佳杰举办全国总代签约仪式。佳都科技、伟仕佳杰将作为全国总代理商,与美创科技通力合作,共拓市场业务,为更多行业客户提供技术领先、匹配业务场景的创新产品和解决方案。图:佳都科技、伟仕佳杰一行参观美创科技总部,详细了解美创科技的发展历程及核心业务美创科技总经理柳遵梁、佳都科技副总经理徐彤、伟仕佳杰副总裁滕召红现场签约并发表致辞,一致表达合作愿景,期待能在数据安全和数据治?

  • 科技作为信仰和底层驱动力 实地集团在科技地产赛道坚定前行

    1 月 12 日,由新浪科技主办的 2020 科技风云榜年度盛典在北京举行,实地集团凭借在智慧人居上的突出成果脱颖而出,与华为、中国移动、商汤科技、红杉资本等一道成为 16 家获奖企业之一,也是唯一登榜的地产企业。这仅仅是 2020 年实地集团获得的权威第三方科技奖项中的一个!作为智慧人居、科技地产最早的实践者之一, 2020 年实地集团立足社区场景不断创新,丰富智能产品和服务,且从整体上迭代——基于自研的智慧人居生态系统SL

  • 美的变身:要年轻、要科技、要硬核

    2020年末,美的大动作频频。并购菱王电梯,下注智慧楼宇;成为B站2021跨年晚会首席合作伙伴,跨次元与年轻人在一起;注资5亿成立机电公司,经营范围主要为电机及其控制系统研发、电子元器件制造、电机制造等,剑指新制造;宣布重新规划整体业务架构,将原来的四大业务板块调整为五大业务板块,同时升级战略主轴,把2011年确立的“产品领先、效率驱动、全球运营”三大战略主轴,升级为:科技领先、用户直达、数智驱动、全球突破。

  • 太美医疗科技eTrial助力国家科技重大专项课题顺利上线

    2020 年 12 月,天津中医药大学第一附属医院临床试验中心的Ⅰ期临床试验病房管理系统(eTrial)完成建设并正式上线。该系统的上线,是 2020 年度国家科技重大专项"重大新药创制"课题"儿童中药新药临床评价技术示范性平台建设"项目重要组成部分。太美医疗科技很荣幸成为 2020 年度国家科技重大专项"重大新药创制"课题合作单位,作为eTrial系统供应商,承担了"Ⅰ期临床试验病房的信息化升级建设"所需的主要技术开发、支持及服务保障?

  • 实地集团获新浪科技风云榜智慧人居科技创新典范奖

    在刚过去的2020 年里,国内科技领域的最热话题莫过于“新基建”。50 万亿投资明晰了未来的方向。在中国经济新十年由量向质的蝶变中,科技正成为各行各业转型升级的胜负手。地产行业也不例外。当云计算、AIoT、5G开始进入千家万户,新老基建的融合不仅丰富了人居服务体验的科技内涵,也极大拓展了行业的边界与想象空间。实地集团便是其中一家以科技为核心驱动的领航企业。1 月12 日,实地集团荣膺新浪科技风云榜2020 年度智慧人居科

  • 科技驱动行业变革 高灯科技入选毕马威中国2020领先金融科技50企业

    1 月 18 日,“毕马威中国 2020 领先金融科技 50 企业”发布会在北京举行。作为金融科技重要分支,财税科技类企业也亮相本次评选,其领先企业代表高灯科技凭借科技创新和数字化企业服务优势,在近 200 家优秀企业中崭露头角,首次参与评选并成功入选榜单,一同获奖的还有Welab、华盛证券、平安壹钱包、金山云、 360 数科等国内杰出金融科技企业。科技力量驱动行业变革,助力传统金融效率提升毕马威中国自 2016 年至今已经成功举办?

  • 超级科技与信隆行达成战略合作,用科技助力政企数据安全建设

    2020 年 1 月,杭州超级科技有限公司与上市公司上海信隆行信息科技股份有限公司(870522)达成战略合作。通过本次合作,两大公司实现金融、政企资源端与网络安全科技端的资源整合及优势互补,助力双方在网络安全建设,金融行业数据安全,政企数字化等领域更加稳健地发展。国家对于网络安全日益重视近年来,“以隐私泄露为代表的数据泄露问题”形势严峻,已经威胁到政治、民生等领域的稳定,特别是数字经济的持续、健康发展,数据安全

  • 科技向善白皮书 2021》发布,记录科技赋能抗疫历史印记

    2021 年 1 月 9 日,腾讯科技向善暨数字未来大会 2021 在北京举行。本届大会是腾讯研究院举办的第四届科技向善大会,以“共生”为主题,探讨现实世界与数字空间、传统行业与数字技术、线下世界与线上世界的新型关系。大会上午场“共生·科技向善”聚焦数字世界与现实社会的交互影响。英国牛津大学社会人类学教授项飙、科幻作家陈楸帆、腾讯集团高级副总裁郭凯天、腾讯集团副总裁、腾讯研究院院长司晓分别发表了演讲。腾讯研?

  • Publink助力嘉辉科技构建ITR流程,以科技推动智慧城市落地

    近些年,在国家顶层设计下,智慧城市建设如火如荼。目前,中国在建的智慧城市达 500 多个。城市向着智慧化方向升级,需要在基础设施之上,构建起多维化的数据采集体系,自主打造更具特色的平台架构、软件系统、数据格式等,来满足智慧交通、智慧政务、智慧社区等多个领域的智慧化管理。反之,智慧城市建设也倒逼着物联网产业的发展。在中央和地方的推动下,中国物联网产业正逐步进入产业起步期,产业规模进入“万亿时代”,未来将?

  • 柔宇科技:“自主可控”价值几何?

    众所周知,在目前的大环境下,自主可控达到了前所未有的高度。对于“一芯一屏”这样的大国重器急需重点突破,必须主动严防易被“卡脖子”的硬核科技领域。非常时期采用非常手段,关键时期的政治指引要比市场自发性的动作更能“蛇打七寸”。这也映射出两个概念,“市场经济学价值”与“政治经济学价值”,这两个概念其实在不久前上市的中芯国际身上得到很好的演绎:在科创板IPO之前,中芯国际在港股的估值不过千亿港元,但在科创板?

  • 爱普生首秀观感:以科技创新引领绿色未来

    那些用完的A4纸都去哪了? 还能去哪?肯定是丢掉了。没错,对于绝大部分人来说,无论是公司还是家庭里用过的文件、报告都会随手丢弃。虽然许多注重环保的企业可能会选择双面打印的方式节省纸张,但不可避免的是这些纸张最终还是会被扔进垃圾桶。 世界自然基金会(WWF)曾公布过一项数据——全球每分钟有36个足球场那么大片的森林被砍伐。每年全球纸张产、用量已达3.2亿吨,如果以每吨纸需砍伐4棵平均20年树龄的树木作原料的话,那么?

  • 谁在建设“新基建”?拓甫科技的创新秘密

    2018年底,中央经济工作会议首次提出“新型基础设施建设”这个概念,到2020年,以5G网络、数据中心、人工智能、物联网建设等为代表的新基建屡屡成为经济“热词”。就在刚刚过去的2020年12月,中央经济工作会议再次指出,要大力发展数字经济,加大新型基础设施投资力度。而新基建的推动,需要中央给方向,地方给政策,但最终,还需要操作层面的经济体——比如公司,来具体实施,天津拓甫科技,正是这样一个实干派。实际上过去的十年

  • 科技也有温度,酷开电视让智慧生活更加简单

    近年来,随着智能电视市场的日益饱和,我国电视市场结束了由增量主导的时代。电视厂商在增速放缓、同质化竞争激烈的压力下,也加快了探索智能电视差异化的步伐。在画质、音效、配置等常规要素之外,寻找能够有效提升用户体验的差异化功能,成为了不少电视厂商努力的方向。为年轻人打造科技潮品的酷开电视,也在保证产品基本的画质、音效、配置的同时,持续加码“智能化”,以AI语音操控、家庭设备互联等作为破局点,打造出以电视为

  • 广州锦和德贸易让淳本电吹风:科技加持,呵护加倍

    最近发现不仅中年人群表达了对于“秃顶”的恐慌,更有一些青年人也在吐槽自己这寥寥无几的头发。当代的我们忧心这日渐稀疏的头发,在对洗发水和润发乳的选择上十分重视。却恰恰忽视了干发这一过程,实际上电吹风对头发的养护也是至关重要的。广州锦和德贸易有限公司(简称:广州锦和德贸易),始终秉持着“科技加持,呵护加倍”的企业理念,不断研发更适用于亚洲人发质的电吹风。旗下品牌“淳本”,一经面世就收获了广大消费者的喜

  • 豪越科技助力“智能院”,打造智慧社区科学防疫

    为了有效应对疫情,北京市通过加快智慧社区助推科学防疫。据了解,智慧社区建设将以“人脸识别”系统作为安全认证智能化手段,贯穿所有需要验证身份的环节,集成人工智能、云计算和大数据技术,挖掘有效数据,进行实时统计实时分析,助力构建健康科学的防疫系统,确保社区居住环境安全。在北京经济技术开发区,一套基于人脸识别技术的门禁系统正在为社区居民服务,通过对人脸的识别作为门禁开启的钥匙,它具有唯一性和不易被复制的

  • 小米科技有限责任公司申请「米兔」商标

    据天眼查显示,小米科技有限责任公司新增“米兔”商标信息,申请日期为2020年12月28日,国际分类为30-方便食品,商标状态为“商标申请中”。小米科技有限责任公司成立于2010年3月,注册资本18.5亿人民币,法定代表人为雷军,经营范围包括技术开发;货物进出口、技术进出口、代理进出口;销售通讯设备、厨房用品、卫生用品等,该公司最大股东为雷军,持股比例77.8%。

  • 何小鹏:今年大概有数家科技企业成为造车新势力

    今日,小鹏汽车董事长何小鹏在微博表示,据其了解,今年大概有数家科技企业可能会成为不同模式的造车新势力,这对智能汽车市场和新的移动生态真正的到来,会产生非常正面的加速影响。

  • 参与评论
文明上网理性发言,请遵守新闻评论服务协议
  • 热门标签

热文