首页 > 传媒 > 关键词 > 空间数据最新资讯 > 正文

宋关福:面对爆发式增长的空间数据,GIS的“分布式”战术

2020-09-15 16:28 · 稿源:站长之家用户投稿

  9月9日下午,2020 GIS 软件技术大会主题大会在北京国际会议中心举行。会上,超图集团总裁、董事宋关福博士作《分布式GIS与空间区块链技术探索》报告,分享了超图“BitDC”五大技术体系之分布式GIS技术体系,并介绍了超图在空间区块链方面的最新探索。

  宋关福在GTC 2020主题大会作报告

  宋关福认为,GIS软件技术的发展史,就是不断与膨胀的空间数据战斗的历史。2011年-2015年,超图先后在64位计算、多线程计算、GPU计算等高性能计算技术方面进行了探索,以满足不断激增的空间数据处理需求。这一阶段,利用单机算力提升GIS性能的集中式GIS是主流。

  随着数据采集技术的不断进步,新一代测绘与设计数据和空间大数据愈发膨胀,GIS软件对其存储、处理和分析面临巨大挑战:分析处理性能骤降,基本无法管理类似手机信令的流式空间大数据。超图在GIS高性能计算上开辟新路径:从集中式GIS转向分布式GIS。

  分布式GIS技术是利用多机分布式协同技术和计算资源的横向扩展能力,完成大量并发请求,或分解完成单一复杂任务的GIS技术。事实上,“分布式GIS”不是新概念,20年前就有学者提出,但一直未有真正商业化产品。

  今天的分布式GIS技术由多项零散的技术演化而成。超图整合2004年至今的研究成果,构建了分布式GIS技术体系,结构如下:

  分布式GIS技术体系的五大技术

  1、边缘GIS技术

  宋关福用一幅有趣的章鱼图来比喻边缘GIS技术:章鱼只有40%神经元在大脑里,60%分布在八个爪里,所以它的思考是“分布式”的。边缘GIS技术跟章鱼类似,在经典的云和端环境中,分布式的边缘服务器是对云中心的补充,是一种协同。

  “过去,端直接访问云中心,会有一定的网络延时,效率比较低。为了解决这个问题,我们就在靠近端的边缘地带部署了边缘服务器,一些访问、数据、计算不再直接发往云中心,而是交给边缘服务器去处理,如有处理不了的,边缘服务器再发往云中心,如此就可以降低网络延时,提高响应效率。

  相比带宽消耗较高、实时性比较差的集中式的云GIS,边缘GIS在边缘的地方分解了带宽的压力,有着低带宽消耗、低网络延时的特点,大大提升了系统响应的速度,整体价值体现为:高性能。”

  SuperMap GIS 10i(2020)新版本中的边缘服务器,新增支持三维数据分发的工具,包括地形瓦片、S3M瓦片、影像瓦片,可以大幅提升三维服务器的性能。

  2、云原生GIS技术

  早在三年前,超图就发布了云原生GIS技术:原生为云设计、充分发挥云的弹性和分布式优势的GIS技术,可以让云更好地发挥作用。微服务、容器化、自动编排、持续交付、DevOps是云原生GIS五要素。

  早期的Web GIS是单体架构,所有操作在一个程序中启动。微服务化把它拆成若干个模块,每个模块都可以单独部署、单独启动。

  容器化部署就是让微服务的小模块在不同的机器上协同开展工作。这样的架构有着细粒度、高弹性、相互独立、故障隔离的特点,大大提高了可用性。

  在2018年第一次推出微服务后,今年超图推出了更微的GIS服务:此前,组件和C++内核未解耦分包,现在,组件和C++内核可实现解耦分包。分解得更细致之后,资源消耗更低。如下图三个指标对比:

  SuperMap iServer微服务资源消耗

  假设单体架构2017为100%,更微的GIS服务出现之后,部署包大小减少至42%,占用内存减少至47%,启动时间缩减至28%。

  以云原生的云南地质大数据系统为例,系统有着400TB数据、400+服务实例,数据量非常大。如何调度成百上千的服务实例?这就需要应用SuperMap GIS云原生技术,用SuperMap iManager和kubernetes来实现自动化编排,对多个容器自动化运维管理,可以做到负载均衡、服务自愈、弹性伸缩。

  云原生的价值可总结为:高弹性、高可用、高并发。所谓高弹性,就是粒度小了,弹性就高了,当某一个模块访问量大的时候,只要重新启动模块容器即可;高可用,指的是故障发生的频率降低,不容易宕机;高并发是指同样多的计算资源,可以支撑更多的实例运行,并发能力提高。

  3、分布式空间分析与处理技术

  分布式空间分析与处理技术是基于Spark并行计算框架,把单一复杂的任务分解成多个子任务,发送到不同的服务器中去协同计算,再把结果汇总起来,这样可以数量级提升分析处理性能。

  分布式空间分析与处理技术的外延

  SuperMap GIS 10i(2020)新版本中,分布式空间分析与处理技术新增支撑对三维数据的分布式处理,例如地形、影像数据等多元数据,在数据接入、数据处理、服务发布环节,都可以使用分布式的技术来提升性能。

  这其中不得不提支持Web和分布式计算的Geoprocessing,它提供了一种图示化的、所见即所得的方式,用来构建空间数据分析流程、处理建模,还支持分布式处理算子,可用分布式的算法提高性能。同时,它提供了纯Web版本(Web GP),可以与桌面的GP协同。这在国际范围内是一种创新的尝试。

  分布式空间分析与处理技术的价值体现为:高性能,即提高分析处理算法的性能,降低时间消耗。

  超图做了某省土地利用(矢量数据)区域汇总分析的测试,4389万记录数据+省区划面数据,如此大量的数据采用传统单机方法需要耗时14.5小时,改为6节点的分布式计算模式后,只需要耗时22分钟,性能提升了40倍。

  4、分布式空间数据引擎技术

  分布式空间数据引擎技术,就是利用多机协同的分布式数据存储技术,突破空间数据库容量瓶颈。以前数据库记录数超过一个亿时,性能就急剧下降。这就需要分布式空间数据引擎技术,来提高空间数据存储管理性能。

  SuperMap分布式空间数据引擎

  SuperMap GIS 10i(2020)新版本中,分布式空间数据引擎技术新增支持分布式三维缓存瓦片存储。如倾斜摄影建模数据、点云数据等多源数据,可以把三维瓦片数据存放在MongoDB中,以提高缓存读写的性能。

  同时,分布式还能赋能三维GIS游戏引擎,“实力派”三维GIS可以为游戏引擎提供大场景三维数据和GIS分析处理能力,“偶像派”游戏引擎可以为三维GIS提供高仿真渲染效果。

  超图还联合Unreal Engine、Unity两大游戏引擎公司,研发了三维GIS插件——超图三维GIS游戏引擎开发包(SuperMap Scene SDKs 10i(2020) for game engines)。未来的数字孪生,也许就要借助这样的方式,来实现更好的可视化效果。

  分布式空间数据引擎技术的价值可总结为:大容量和高性能。大容量,就是突破大容量数据的管理;高性能,是指数据大的时候,索引查询的性能大幅度提高。

  5、空间区块链技术

  数据存储量、性能都很高了,怎么防止别人去篡改数据?这就需要超图今年新发布的空间区块链(Geo-Blockchain)技术。

  高安全、可追溯、高可信的区块链,是一种特殊的分布式的数据存储方式,与GIS融合后,就形成了空间区块链,达成了高可信的分布式空间数据库。空间区块链技术的价值就是:高可信。超图空间区块链技术框架选择了扩展性好、流行度高、开源可商用的联盟链Hyperledger Fabric。

  由于空间区块链要解决防篡改的问题,性能比较低,空间消耗比较大,重复存储要消耗十几倍的空间消耗,目前还不能做到把所有的空间数据都上链,只能把关键的、要保护的数据上链。如果数据量较大,则需要通过IPFS作为外部存储来配合上链。

  空间区块链技术

  未来的一段时间,空间区块链技术可应用到国土空间规划与用途管制、不动产登记与交易、自然资源资产与权益管理等自然资源管理相关领域,以及食品、药品监督与溯源、重要物品物流位置管理、城管执法管理等领域中,带来新的应用价值。宋关福说,区块链与GIS的结合才刚刚开始,精彩正在展开。

  宋关福总结说,上述五项技术都有着各自的价值。高性能的边缘GIS技术,高可用、高并发、高弹性的云原生GIS技术,高性能的分布式空间分析与处理技术,大容量、高性能的分布式空间数据引擎技术,高可信的空间区块链技术,它们共同组成了分布式GIS技术体系,所以分布式GIS的价值可以总结为“五高、一大”。这些技术和价值将给地理信息技术和应用创造更多可能。

  分布式GIS的价值“五高、一大”

  会上,超图正式发布了SuperMap GIS 10i (2020),推出了新的GIS基础软件五大技术体系(BitDC),即大数据GIS、人工智能GIS、新一代三维GIS、分布式GIS和跨平台GIS技术体系,丰富和革新了GIS理论与技术,为各行业信息化赋能更强大的地理智慧。

  SuperMap GIS 2020 五大技术体系(BitDC)

免责声明:“站长之家”的传媒资讯页面文章、图片、音频、视频等稿件均为自媒体人、第三方机构发布或转载。如稿件涉及版权等问题,请与我们联系删除或处理。稿件内容仅为传递更多信息之目的,不代表本网观点,亦不代表本网站赞同其观点或证实其内容的真实性,更不对您的投资构成建议。我们不鼓励任何形式的投资行为、购买使用行为。

  • 相关推荐
  • 大家在看
  • Check Point 软件技术有限公司重新定义企业安全远程访问

    收购无客户端安全远程访问云技术,将其集成到 Check Point Infinity 架构中,以打造市场上最简单、最安全的企业远程访问解决方案 2020 年 9 月,全球领先的网络安全解决方案提供商 Check Point? 软件 技术有限公司 (纳斯达克股票代码:CHKP)今天宣布收购 Odo Security 开发的新型安全远程访问云技术。这项技术将与 Check Point 的 集成在一起,为企业员工安全地远程访问任意应用提供最简单、最安全的解决方案。 新冠疫情的爆发?

  • 五大技术体系升级,SuperMap GIS 10i(2020)新特性速览

    在 9 月 9 日下午举办的2020 GIS 软件技术大会主题大会上,超图正式发布了新产品——SuperMap GIS 10i(2020)。SuperMap GIS 10i(2020)发布 超图软件研发的大型GIS基础软件系列——SuperMap GIS,是二三维一体化的空间数据采集、存储、管理、分析、处理、制图与可视化的工具软件,更是赋能各行业应用系统的软件开发平台。 历经二十余年的技术沉淀,超图软件构建了云边端一体化的SuperMap GIS产品体系,包含云GIS服务器、边缘GIS服?

  • 沉浸世界VR大空间,用技术升级体验经济

    从三国杀、狼人杀到剧本杀、密室逃脱,消费者和投资者一直都在寻求更新鲜有趣、更沉浸式的娱乐社交互动体验。仅密室逃脱行业, 2019 年商家数量接近1. 3 万家,市场规模预计突破百亿元。但传统密室受限于空间场地,在场景设计上很难满足天马行空的“脑洞”,交互体验被实物道具限制,另一方面密室依赖实体装修场景,更新成本巨大,而消费者又需要不断在不同商家体验新内容,品牌黏性不足,使得商家的复购率低。“沉浸世界”是一家?

  • 数据恢复大师恢复秘籍:有什么免费的硬盘数据恢复软件吗?

    有什么免费的硬盘数据恢复软件吗?相信很多的小伙伴都想知道电脑数据恢复的秘籍,因为我们大多数人在使用电脑时,经常会因为不小心误删或者磁盘格式化、损坏等原因导致重要电脑硬盘数据丢失的情况。也正是因为这样,目前市面上出现了很多的数据恢复软件。我们都知道,这些软件想要实现真正的数据恢复效果都是需要付费的!那么,电脑上最好用且免费的数据恢复软件有哪些呢?其实很简单,以下将为大家分享两款不同类型的,快来了解下

  • 蚂蚁集团发起成立“共享智能技术联盟” 促进安全数据协作

    9月24日,蚂蚁集团发起的“共享智能技术联盟”在上海首届外滩大会正式成立。共享智能技术联盟是蚂蚁集团今年首次发起的行业技术联盟,旨在聚合和共享行业资源,推进共享智能的技术开放,在安全合规的前提下,最大化的挖掘机构间的协作价值。在金融领域,有大量微贷、保险、支付、财富等相应金融场景,需要借助跨机构间的协作来降低风险,提升效率。但是由于隐私和合规的原因,各个机构之间形成了一个个的数据孤岛,智能化的能力只能局限在孤?

  • Egregor勒索软件背后的攻击者泄露了据称来自于Ubisoft 公司的数据

    ​Egregor勒索软件背后的攻击者攻击了游戏开发团队Crytek,并泄露了大量据称窃取自育碧娱乐软件公司(Ubisoft)文件系统中的数据。

  • 优信买车记:独身女性自由空间和空间自由

    饮食男女,最不过时的话题莫过于爱情。在大城市,很多人早早地恋爱和结婚,比其他人更快地完成了自己人生的大事,还有一部分人却一直都是单身的状态,其中,大龄单身女青年似乎格外引人注意。“这都 0202 年了,这种思想毒瘤怎么还顽强存在?”第N+ 1 次放下爸妈”催婚“的电话,小敏觉得眼前的火锅都不香了。每次和家人通电话,爸妈难免都会问一句:”有对象了吗?“过节回家,七大姑八大姨也会七嘴八舌,指指点点。在家人的传统?

  • iOS14系统Airpods空间音频怎么开 AirPodsPro空间音频设置方法

    iOS14系统升级之后,针对AirPods Pro耳机加入了音频空间的功能,这个功能是可以让耳机获得更好的耳机体验,这里我们来看下音频空间具体的设置开启方法。

  • 直播录像用什么软件?这三款软件你用过吗

    直播录像用什么软件?在我们的生活中会有很多的直播,像新闻、演出、赛事、游戏等等。在看直播的时候如果遇到了想要记录的内容,比如自己的感兴趣的知识点,或者画面很优美的场景。可以用录屏的方式快速记录直播内容。想要实现录制直播的需求,可以使用专业的录屏软件,一起看看关于录屏软件的分享!分享一:专业电脑录屏的软件首先分享一款适合电脑用的录屏软件,“嗨格式录屏大师”。是一款集音画同步录制、娱乐游戏、在线课程等

  • 录屏软件免费有哪些?这些录屏软件即专业又好用

    录屏软件免费有哪些?随着很多自媒体行业的发展,大家使用电脑和手机的频率越来越高。像是平时通过电脑办公、线上召开会议、空闲时间的王者、吃鸡游戏等。我们的生活已经离不开电脑和手机,电脑、手机屏幕显示的内容。有重要的、让人感兴趣的等等,那有什么好用的方法可以快速记录?一起看看专业的录屏软件,帮你记录电脑、手机屏幕上的内容!分享一:电脑专业录屏软件首先分享一个适合电脑录屏的软件,同时也有手机版本,就是“嗨

  • 百度网盘空间“大”调整 原2T免费空间将调整为100G

    一直以来,虽然百度网盘的速度被不少人吐槽,但是它足够大的空间却获得了不少人的喜爱。但是从 10 月 15 日开始,你的大空间可能要被收回了,如果你比较在意空间大小,赶紧看过来,还来得及。 9 月 30 日,百度网盘官方发布了“百度网盘空间调整通知”,以前享受2T免费空间的用户有一部分将调整为100G。

  • 绮美萱地毯:用心打造,舒适你的生活空间

    地毯的发展可以追溯到公元前6000年左右,说明了人们对舒适生活的追求已沉淀了千年。如今随着时间的推移和社会的发展,人们对生活品质的要求也随之提高,地毯在居家生活的运用也更为广泛。有人曾说过这样一句话:“房子可能是别人的,但是生活永远是自己的。”这可能就是现阶段很多年轻人的现状,在现有的情况下,提升自己的生活品质,不断追求更为舒适、高品质的生活方式,而天津市绮美萱地毯有限公司就在这种大环境下应运而生。绮

  • 百度网盘发布空间调整通知:2年不登录,免费空间降至100GB

    今天,百度网盘发布空间调整通知,对个人云存储空间方案作出一定调整。其中,于 2018 年 12 月 25 日至 2020 年 10 月 15 日这 2 年间,从未登录过百度网盘账号的用户,其存储空间将从2T降为100G,若存储文件超过 100G,将仅支持下载和访问已存储文件,无法存入新文件。

  • 百度网盘空间调整通知:部分用户空间将由2T调整为100G

    今日,百度网盘发布通知称, 2018 年 12 月 25 日至 2020 年 10 月 15 日期间,未登录过百度网盘帐号的用户,2T免费存储空间将从 2020 年 10 月 15 日开始调整为100G(已获空间大小取决于账号实际情况);若存储文件超过100G

  • AirPods空间音频神了!未来AirPods还能更逆天吗

    ​各位小伙伴们最近升级iOS14 了吗?如果你有AirPods,升级iOS14 还会得到额外的福利——AirPods的固件会随之升级,然后多出了一个名叫“空间音频”的选项!AirPods这个“空间音频”效果非常神奇。它借助AirPods的传感器以及特定算法,用小小的两个耳塞,模拟出了多声道环绕声的效果,甚至能让人有IMAX电影的听觉感受!

  • 百度网盘发布空间调整通知:若过去两年未登录 免费空间将下调整至100GB

    9月30日消息,百度网盘公众号今天下午对外发布公告称,希望通过合理的资源调配,提升闲置空间使用率,让更多有切实需求的用户享受到优质、稳定、安全的个人云存储服务。因此,对百度网盘的存储空间方案做出调整。具体来看,2018年12月25日至2020年10月15日期间,未登录过百度网盘帐号的用户,2T免费存储空间将从2020年10月15日开始调整为100G(已获空间大小取决于账号实际情况);若存储文件超过100G,将仅支持下载和?

  • 9 月头号恶意软件:新型Valak信息窃取恶意软件攻击激增

    Check Point 研究人员发现利用新型 Valak 恶意软件发起的攻击急剧增加;Emotet 木马连续三个月蝉联榜首2020 年 10 月全球领先网络安全解决方案提供商 Check Point ? 软件技术有限公司(纳斯达克股票代码:CHKP)的威胁情报部门 Check Point Research 发布了其 2020 年 9 月最新版《全球威胁指数》报告。研究人员发现,Valak 恶意软件更新版首次登榜,在 9 月份最流行恶意软件排行榜中排名第九。Valak 是一种复杂的威胁,于 2019 年末首

  • 特斯拉计划为电动皮卡专门设计充电空间 因车身更庞大

    9月24日消息,据国外媒体报道,已推出并量产Model S、Model 3等多款电动汽车的特斯拉,在去年11月份推出了他们的首款电动皮卡Cybertruck,其中两款计划在明年年底量产,目前的预订量已经超过了60万辆。特斯拉推出的电动皮卡Cybertruck,造型霸气,尺寸较他们已经量产的Model S、Model X、Model 3及Model Y都要大出不少。不过,车身更庞大的电动皮卡Cybertruck,也存在能否使用现有特斯拉充电站的问题,目前特斯拉的充?

  • 奔驰技术公司退出北汽德奔:北汽将无法享受奔驰技术“输出”

    北汽德奔技术中心有限公司是北京汽车股份有限公司与梅赛德斯-奔驰技术集团于2015年成立的合资公司,双方各自持股比例是51:49。近日,却有消息传出双方合作即将结束,意味着北汽将无法享受奔驰

  • 排课软件不会选? 小鹅通帮您解决此难题

    随着云端办公与云端教学的展开,各大排课软件系统服务也悄然上线了,作为支持企业与培训机构业内培训与课堂服务的技术服务平台,小鹅通也顺势在原有技术的基础上开发排课软件的功能,以轻量化级别的排课软件技术服务获得了企业与培训机构的信赖。传统的教学平台存在着诸多问题,例如学员一多,排课就存在困难,迫切需要排课软件来辅助,小鹅通SaaS服务产品主要针对有传播品牌、拓客、变现需求的各领域企业机构以及内容生产商、教培

  • 参与评论
文明上网理性发言,请遵守新闻评论服务协议
  • 热门标签