首页 > 传媒 > 关键词 > 数据处理最新资讯 > 正文

中国卫星遥感数据处理和信息提取的一场革命

2020-04-27 10:08 · 稿源:站长之家用户投稿

2020 年 4 月 15 日,虽然全球疫情阴霾尚未褪去,但也无法掩盖这天足以惊艳世界的光芒!清华大学理学院院长、地球系统科学系主任宫鹏教授和清华大学博士研究生刘涵一起,对外发布了清华大学中国和全球地表覆盖和土地利用制图成果,令在线参加的多家权威媒体,以及亲身参与此次项目合作的AWS(亚马逊云服务)和光环云(光环云数据有限公司)团队,都无比兴奋!

本篇全文均引用宫教授和刘博士发言原文,因为在项目的合作中,光环云深切感受到,没有什么语言比来自科学家团队的原话更真实且有力量!

这是一个革命性的进步!对整个地球系统观测行业都将产生深远影响!基于现在的处理能力和AWS的技术平台的支撑,我们拥有了逐日的无缝的遥感观测的数据集(Seamless Data Cube, 简称SDC),它填补了高空间分辨率和时间频率的观测的空白。我们也是目前世界上唯一一个完成了全球 10 米分辨率地表覆盖制图的团队,并正向 3 米分辨率发展。

Seamless Data Cube意思是什么呢?现在世界上有 9 个国家和地区做了Data Cube,但是就是左边这个样子,并不完整,是一片一片的。而Seamless Data Cube,就是每一天的间隔里面全球都有一张完整的 30 米分辨率的数据,陆地卫星Landsat本身也做不到这个样子,陆地卫星本身是每 16 天才能对全球扫一遍。同时,我们靠的还有一个数据就是MODIS的图像来辅助。而得到的结果,就是右边图里的数据,逐日都有,对着每一个空间的点,30 米× 30 米的这么大的格网里面,它每天都有数据,从 2000 年到 2018 年都有。有了这个数据以后,我们又做了很多进一步的信息提取。正是基于这逐日的数据,长时间序列的动态有很好的时空一致性,我们探测到了 30 米空间分辨率土地覆盖变化的情况。比如说首套从 2000 年到 2018 年间,逐季节的土地覆盖和逐年的土地利用。

这是一个创造性的大数据应用,充分利用了AWS的公共数据集,我们用它的数据集来服务于中国的科研发展。在这个过程中,我们用到了AWS在中国科技界的应用最大极限,我们用到的算力相当于全世界现在TOP200 的高性能计算机所能提供的能力,而且它有紧密的数据高速网络,让我们做了这样一些事情。(AWS架构师补充解释:计算量约在 10 万个vCPU,传统方法相当三四百个机柜规模,机柜平铺占地约一个操场那么大)同时,用了AWS这个技术以后,精度提高了10-20%。同时由于 AWS算力资源在最靠近开放数据集的区域,所以数据的传输与调用速度也达到了毫秒级,加速了研发的进程。未来应用也会有更好的客户满意度。

基于Seamless Data Cube,我们再运用AWS上面一整套完善的人工智能和机器学习的套件和服务,比如说Amazon SageMaker和Amazon EKS以及Amazon EMR上面的一些机器学习的套件,结合我们前期构建的世界首套全球全季节普适样本库和积累的相关领域知识,设计和训练了一套适应遥感大数据的深度遥感特征学习和分类模型。并进一步借助AWS的AutoML(AutoGluon)等自动化多层堆叠集成技术,对模型结构和参数进行深度调优,并进行分布式高性能推理。分类结果最后经过遥感专业化的变化探测和时空一致性后处理方法,得到这套全国逐季节土地覆盖和逐年土地利用图。

无论是制图还是数据,都是开辟了中国卫星遥感数据处理和信息提取的新范式,服务于国民经济的很多行业,比如农业集约化和土地闲置的探测、城市化与自然植被丧失的探测、土地退化和粮食安全、环境变化与健康、造林和土壤的含水量的关系、城市扩张与热岛效应,还有碳储备等等。

具体给出几个例子来。比如说我们发现我们国家的耕地确实是在减少,但目前耕地的面积并没有像大家想象的那么担忧,没有低于 18 亿亩的耕地红线,而且我们离那还挺远。对于我国森林,国际上很多人说中国的森林得到的数据不一,有的说多,有的说少,我们这个数据基本上把这些不一致经过我们时空一致性的计算,将森林面积的趋势做出来了。我们国家的森林面积确实在不断增加,也印证了我们国家森林保护工程的有效性。还发现了我们国家的保护区有较好的土地保护效应,但是在保护区周围有比较大的人为干扰,就是有较强的土地利用还存在破坏的情况。另外,信息也反映了人类活动对生物多样性热点地区有较高的干扰水平。

对于联合国制定的 17 个可持续发展目标,可以说这一套地表覆盖和土地利用的数据产品,能够有效地支持其中 13 个目标的工作。第一个就是消除贫穷,第二个是减少饥饿,第三个是健康,第六个是水资源的清净的水,第七个是清洁的能源,第八个是经济的增长,第九个是基础设施的创新,第十一个是城市,第十二个是负责任的消费和生产,第十三个是气候,第十四个是水下的生物保护,第十五个是陆上生物的保护,第十七个国际合作。我刚刚讲的这些,我们这套数据都可以对它们产生一定的支持。

有了这个能力,它还能帮助我们打造世界顶级的在线制图服务的平台。这个平台不仅使遥感专家,甚至使毫无遥感专业知识的用户都能快速完成他要做的应用。中学生、小学生想拿这个数据做点什么,从里面抠出来,拉几条曲线,或者把一个区域要拿出来做一些探测、变化、趋势的分析,都已经变得非常容易。它将极大调动大众的创造力,促进遥感应用市场化的普及,从而使遥感能够迎来一次革命。

有了这个数据(Seamless Data Cube),可以生产新的数据产品,可以说是无限的,也为国内外的同行提供技术支撑。比如咱们中国在科技部支持下要做 21 种新的地表参量数据产品,这是由武汉大学梁顺林教授牵头做的一个国家的重点研发项目。有了Seamless Data Cube之后,就可以支持梁树林项目的所有的参数:如跟能量有关系的,陆表能量平衡的参数;跟极地和冰冻圈有关系的很多参数;跟植被生物物理特征有关系的参数又有一串,水循环的参数也有很多,还有地表的类型变量的参数等。比如说最近西昌发生的森林火灾,火的范围、痕迹,全国的火斑,在这个时间里面的我们都能够把它提取出来。

最后一个就是给大家看,在清华大学建设的全球粮食估产模型,它每次需要的输入就是不同地方的作物种植和气候预测数据。可以拿着前面的数据,我刚刚讲的作物的种植、集约化经营、农业的撂荒,哪些地方不种哪些地方种植,这个数据作为输入,输入到粮食估产模型去以后,就可以跑出来全球的粮食产量的情况,提前两个月来预估粮食的产能。

我给大家做了一个介绍,希望这个简单的介绍能够让大家感觉到和我们一样的兴奋,我们确实进入了一个遥感的全球观测的新时代。谢谢大家。

免责声明:“站长之家”的传媒资讯页面文章、图片、音频、视频等稿件均为自媒体人、第三方机构发布或转载。如稿件涉及版权等问题,请与我们联系删除或处理。稿件内容仅为传递更多信息之目的,不代表本网观点,亦不代表本网站赞同其观点或证实其内容的真实性,更不对您的投资构成建议。我们不鼓励任何形式的投资行为、购买使用行为。

  • 相关推荐
  • 大家在看
  • MySQL敏感数据怎么加密 数据加密解密教程

    大数据时代的到来,数据成为企业最重要的资产之一,数据加密的也是保护数据资产的重要手段。本文主要在结合学习通过MySQL函数及Python加密方法来演示数据加密的一些简单方式。

  • 我来数科的大数据风控探索:数据驱动引领发展

    大数据风控能力是金融企业的命脉。不论是银行还是商业金融机构,其核心竞争力就是风控能力。作为金融科技的先行者,我来数科洞察未来金融市场趋势的基础上,率先进行数字科技升级,以数据驱动引领平台发展,在大数据风控领域做出了积极的探索。 众所周知,金融机构普遍肩负着社会经济的稳定健康发展的部分责任,同时又要作为商业单位存活,机构需要在兼顾监管层高标准与严要求的同时提升盈利水平,靠的就是风控。这其中,大数据风

  • 智引数字未来 西部数据如何应对“新常态”下的数据需求?

    我们的世界正在全面进入数字化进程,数据在我们的人际关系、职场、健康和安全等方面所扮演的角色越来越重要,“数据”成为了未来时代的关键词。尤其是今年整个世界都面对着突如其来的新冠疫情,由此各个市场与行业均迎来严峻的挑战,企业业务开展和运营的模式、用户日常的生活和工作方式都发生了急剧的变化。由数字化驱动的业务模式,成为新时期的核心驱动力,数字化进程正在全面加速推进。前不久,西部数据公司举办了以“智引数字

  • 卡思数据发布《7日抖音TOP100主播带货数据研究》

    最近读了 3 份来自不同机构关于直播电商的报告,总体来说还是蛮有收获的。因出品直播电商报告的机构太多,原计划要在年中出报告的我们,觉得做此事的意义已不那么大,且大报告一直存在的弊病是好不容易得出的观点,在飞速发展的行业里很快便会“站不住脚”,遂决定将读过的报告里没有但我仍觉有价值的部分,以数据研究型文章的形式,定期分享给到大家。

  • 币安何一:相信数据会说真话

    何一,作为币安的联合创始人,也许在20多岁当老师时,后来做主持人时,一脚踏进币圈又抽身而去时,赶在30岁前重返币圈时她迷茫过,但加入币安后,她的目标是清晰的,对自己的未来也是清晰的。这样的何一,在遇事后会格外的冷静,因为她相信,币安的发展方向是对的。去年11月,正值中国监管再次针对数字货币行业展开大规模整治的起点,提供买卖服务的交易平台是此轮摸排的重点。在北京,BISS团队遭调查,在上海,IDAX被警方立案,而

  • 360金融首席科学家张家兴:数据产生价值 AI与数据要一起建设

    在2020世界人工智能大会上,360金融首席科学家张家兴博士在企业级AI架构专场中发表金融领域的数据AI融合中台演讲,分享360金融在人工智能应用的实战经验。张家兴认为,“原本在金融里的决策是基于人的理性的决策,但随着人工智能的发展,我们逐渐转变为用机器学习模型做抉择。这种决策超越了人的理性,可以称为超理性决策,其特点是基于数据和不可解释,效果上优于人的理性决策。”据悉,目前市场上采取?

  • AI数据迈入场景化时代,头部企业云测数据重建产业模式

    中国AI数据服务行业正走入场景化以及精细化时代,在政策的进一步推动以及技术的进一步成熟下,人工智能产业落地速度明显提速,中国AI数据服务行业迎来巨大的发展浪潮。iiMedia Research(艾媒咨询)发布的《 2020 年中国AI数据服务行业研究报告》主要针对商业模式、应用范围、竞争格局等领域进行市场解读、企业研究以及未来趋势预测。 中国AI核心产业市场规模将超 1500 亿元, 数据服务发展潜力不断拓展 中国AI数据服务行业现如今发

  • 好用的数据分析软件有哪些?

    数据分析是指用适当的统计分析方法对收集来的大量数据进行分析,将它们加以汇总和理解并消化,以求最大化地开发数据的功能,发挥数据的作用。数据分析是为了提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。说到数据分析工具,被提及频率最高且使用最多的不过是这几种:Excel、SQL、Python、R、Smartbi、Tableau、SPSS、SAS 等。ExcelExcel作为入门级的工具,是最基础也是最主要的数据分析工具,它可以进行各种数据?

  • 数据告诉你,谁才是B站的“实火”艺人

    每当深夜来临,在被窝里点开那个熟悉的粉色图标,脸上总会不由自主的泛起微笑。不管是鬼畜、追番还是学知识,无数青年们都在B站寻找到了属于自己的快乐老家。

  • 《数据安全法(草案)》出台,对企业有何影响?

    2020 年 7 月 2 日,全国人大常委会第二十次会议审议了《数据安全法(草案)》(以下简称《数安法》)并公开征求意见。《数安法》主要围绕着数据安全管理各项基本制度、促进数据安全和发展的措施、解决数据安全领域突出总量、满足电子政务数据合理需求展开。在这之前,国内数据安全建设的指导性文件,是国家互联网信息办公室去年 5 月 28 日发布的《数据安全管理办法(征求意见稿)》(以下简称《办法》)。《数安法》和《办法》之

  • 比尔.盖茨:TikTok的美国数据将获得微软的安全保证

    从美国政府给出的最终一件,除非TikTok达成一项协议来出售美国业务,否则将必须在9月15日之前关闭这项业务。对于这个业务,微软目前表现的兴趣最大,当然阻力也不少,不过他们不会轻易放弃,于

  • 12款实用的数据挖掘工具

    数据在当今世界意味着金钱。随着向基于app的世界的过渡,数据呈指数增长。然而,大多数数据是非结构化的,因此需要一个过程和方法从数据中提取有用的信息,并将其转换为可理解的和可用的形式。数据挖掘或“数据库中的知识发现”是通过人工智能、机器学习、统计和数据库系统发现大数据集中的模式的过程。免费的数据挖掘工具包括从完整的模型开发环境如Knime和Orange,到各种用Java、c++编写的库,最常见的是Python。数据挖掘中通常?

  • Microsoft引入了新的安全技术以防止数据损坏

    【TechWeb】微软在旧金山推出了一种新的平台安全技术,以防止网络罪犯采用数据破坏技术来针对系统安全策略并篡改Windows 10设备上的数据结构。该技术称为内核数据保护(KDP),它通过基于虚拟化的安全性(VBS)保护Windows内核和驱动程序的一部分,从而防止了数据损坏攻击。据该公司称,KDP是一组API(应用程序编程接口),可将某些内核内存标记为只读,从而防止攻击者修改受保护的内存。这家科技巨头在一份声明中说:“例如,攻?

  • 比尔·盖茨:TikTok的美国数据将获得微软安全保证

    据彭博消息,比尔·盖茨表示Tik Tok的美国数据将获得微软的安全保证。微软不会对Tik Tok采取任何“故意”行动。

  • 数据揭秘抖音三哥覃祖铭为什么这么火?

    近期,抖音上掀起了一股“找三哥”的热潮,就跟三支花的突然爆火一样,一时间,三哥是谁?为什么要找三哥?成了许多人热议的话题。通过飞瓜数据-涨粉排行榜,我们发现这个叫【三哥(覃祖铭)】的播主,曾在一周的时间内涨粉149.9w,登上涨粉搞笑周榜No.1。那么,三哥到底是谁呢?他又是如何火起来的呢?今天,飞瓜数据带你来了解一下。作为又一从快手转到抖音的达人,覃祖铭前期的风格可以用三个词概括“魔性”、“土味”、“辣眼?

  • 舟谱数据:持续赋能是经销商实现增长的关键点

    随着传统的线下生意越来越难做,人工成本、运营成本等的逐渐升高,大部分经销商意识到存量市场开始面临着严重的冲击。针对这一情况,舟谱数据和新经销近日在南京联合举办了经销商落地增长实战活动。会上分享了一系列经销商增长策略,作为一直鼓励并切实推动经销商进行数字化升级的舟谱数据,还凭借大数据与人工智能领域的技术优势,成立了赋能经销商智能化升级的专业分享平台——舟谱商学院,旨在通过整合业内领先专家资源,为广大

  • 易我数据恢复EaseUS强势来袭,拯救误删“小白”

    随着信息时代的大爆炸,数据撑起了我们的日常生活,一旦丢失或者损坏,都会对我们产生大大小小的影响。但是每天都打着交道,难免有丢失的情况,遇到这种问题我们又该如何解决呢?易我科技成立 16 年,在这 16 年里一直苦心钻研数据,致力于数据恢复、磁盘分区管理、备份还原、数据传输等与数据相关的产品。在国外已经积攒下了良好的口碑,受到了海外媒体、网络红人的推荐,使用人群已高达 7200 万。易我数据恢复 2020 年 7 月中文?

  • Intel:按电源键关机对硬件无危害 可能会丢失数据

    直接按电源键关机会不会伤电脑?7月28日消息,Intel针对这个问题给出了完整答案。据悉,最开始时,电脑不会自己开关机。在很久之前(没错,就是那个热血沸腾的奔腾时代),电脑不具备自我

  • 进行抖音数据分析后,我发现了这些涨粉技巧

    抖音“直播带货”无疑是当下最热门的销售模式。仅需要一部手机,选好直播间要推荐的商品之后,人人都可以在抖音直播带货。并且直播带货跟传统直播不同,除了通过粉丝打赏音浪收入,通过带货增加商品的销售量,也能收获一笔不菲的销售额。除了带货主播,现在不少实体店商家也纷纷加入了线上直播带货。虽然直播带货的人越来越多,但想要做好,却不是件易事。今天,飞瓜数据整理了 6 个抖音直播带货的攻略,希望能帮助到大家在这条路?

  • 我来数科:大数据+AI为客户利益开启双重护航

    用高水准的服务保障客户利益,获得客户的信任,这是在激烈市场竞争中企业生存的必由之路。不久前刚刚完成品牌升级的我来数科,不仅在品牌定位和战略重心上有了新的变化,在服务理念和服务技术上也对自己提出了更高的要求。我来数科将更加增强平台的技术属性,用大数据+AI为保障客户利益开启双重护航。从行业现状来看,野蛮生长的时代显然早已过去,技术和服务才是新时代金融企业发展的硬道理。据了解,升级后的我来数科提出了全新?

  • 参与评论
文明上网理性发言,请遵守新闻评论服务协议
  • 热门标签