首页 > 传媒 > 关键词 > 华为云DLI最新资讯 > 正文

数据赋能,如何用华为云DLI精细化保障企业大数据安全

2019-01-30 16:21 · 稿源:站长之家用户投稿

  随着企业业务的不断发展,企业大数据资产在企业辅助决策、用户画像、推荐系统等诸多业务流程中扮演着越来越重要的作用,如何保证企业大数据在满足各业务部门数据访问需求的同时又能精细化保障数据访问安全、避免数据泄露是每个企业大数据资产管理者必须关注的话题。

  结合在华为云数据湖探索服务(DLI)中的技术沉淀与丰富的企业数据安全管理经验,本文从以下几点来探讨如何精细化保障企业大数据安全

  1、企业大数据的安全挑战;2、数据资产权限管理的通用做法;3、以华为云数据湖探索服务(DLI)为例,对数据资产管理的实践&案例分析;4、未来展望。

  企业大数据的安全挑战

  企业大数据日积月累,自然面临着大数据安全的挑战:数据来源广泛,来源于不同的业务单元,又要服务于各种业务单元,还需要对不同层级的员工设置不一样的权限。如何防范企业数据不被未经授权的用户访问,管理数据在不同业务单元的共享,隔离企业敏感数据……企业可能面临着以下的挑战:

  数据隔离:不同的项目业务数据需要隔离,如游戏运营数据,企业在设计大数据分析平台时可能期望A游戏产生的业务数据用来支撑A游戏运营分析,B游戏产生的业务数据是支撑B游戏运营分析,那么需要对业务数据按项目进行隔离,A游戏运营部门员工只可访问A游戏运营数据,B游戏运营部门员工只可访问B游戏运营数据。

  数据分层访问:不同层级业务部门对数据具备不同的访问权限,高层级部门可以访问底层级部门的数据,而低层级部门不可访问高层级部门的数据。如省级部门可以访问地市级数据,而地市级部门只可访问本地市数据,不可访问跨区数据,也不可访问省级部门数据。这就要求对数据的权限管理需要具备分层管理能力,能够分层级授予不同的权限。

  列级数据授权:不同业务部门对同一份数据的访问权限要求不同,所以要求能够对数据进行精细化授权。如银行系统中,用户表中的身份证号信息是敏感信息,柜台系统可以查询用户的身份证号,但推荐系统就不需要身份证信息,只需要用户ID就可以了。这种场景下需要对用户表能够分列授权,对不同的业务单元不同的权限。

  批量授权:随着企业规模的增大,企业员工可能非常庞大,分部门授权,批量授权也是很常见的业务场景。例如销售部门下面员工很多,如果单个单个的给销售人员授权,会非常麻烦,人员流动时取消授权也很复杂,这时就需要能够批量授权或者基本角色的授权模型,来实现一次授权,部门内员工均可使用的目的。

  数据资产权限管理的通用做法

  目前比较流行的大数据分析平台的有HADOOP,HIVE,SPARK等,它们使用的权限模型有POSIX模型,ACL模型,SQL Standard模型和RBAC模型。其中HADOOP大数据平台使用了POSIX和ACL权限模型来管理数据,HIVE和SPARK使用了ACL和RBAC权限模型来管理数据。

  POSIX权限模型是基于文件的权限模型,与Linux系统的文件系统权限类似。即一个文件有相应的OWNER和GROUP,只能支持设置OWNER, GROUP和其他用户的权限,可授权限也只有读写执行权限。这种模型不适用于企业用户,有一个明显的缺点就是它只有一个GROUP,不能实现不同的GROUP,有不同的权限,也无法实现精细化的权限管理,只能在文件级授权,所授权限也只有读写与执行权限。

  ACL即Access Control List, ACL权限模型可以弥补POSIX权限模型的不足,可以实现比较精细化的权限管理。通过设置访问控制列表,我们可以授予某一个用户多个权限,也可以授予不同的用户不同的权限。但ACL也有明显的缺点,当用户数较大时,ACL列表会变得庞大而难以维护,这在大企业中问题尤其明显。

  RBAC(Role-Based Access Control)模型也是业界常用的一种权限模型。是基于用户角色的权限管理模型,其首先将一个或多个权限授权某一个角色,再把角色与用户绑定,也实现了对用户的授权。一个用户可以绑定一个或多个角色,用户具备的权限为所绑定角色权限的并集。RBAC可以实现批量授权,可以灵活维护用户的权限,是当前比较流行的权限管理模型。

  SQL Standard模型是HIVE/Spark使用权限模型之一,本质是使用SQL方式的授权语法来管理权限。HIVE中的权限模型也是基于ACL和RBAC模型,即可以给单独的用户直接授权,也可能通过角色进行授权。

  以华为云DLI为例,对数据资产管理

  DLI结合了ACL和RBAC两种权限模型来管理用户权限。DLI中涉及到的概念有:

  DLI用户:DLI用户为IAM账号及其下的子用户,下面访问权限说明的用户均指IAM账号及其下的子用户。

  DLI资源:DLI的资源分为数据库(Database),表(table),视图(View),作业(Job)和队列(Queue)。资源是按项目隔离的,不同项目的资源不可互相访问。表和视图是数据库(Database)下的子资源。

  DLI权限:DLI权限为执行DLI相关操作所需要的权限。DLI中的权限比较细,每项操作对应的权限都不一样,如创建表对应CREATE_TABLE权限,删除表对应DROP_TABLE权限, 查询对应SELECT权限等等。

  DLI使用统一身份认证(IAM)的策略和DLI的访问控制列表(ACL)来管理资源的访问权限。其中统一身份认证(IAM)的策略控制项目级资源的隔离和定义用户为项目的管理员还是普通用户。访问控制列表(ACL)控制队列,数据库,表,视图,列的访问权限和授权管理。

  DLI使用统一身份认证来完成用户认证和用户角色管理。DLI在IAM中预定义了几个角色:Tenant Administrator(租户管理员),DLI Service Admin(DLI管理员),DLI Service User(DLI普通用户)。其中具备租户管理员或DLI管理员角色的用户在DLI内是管理员,可以操作该项目的所有资源,包括创建数据库,创建队列,操作项目下的数据库,表,视图,队列,作业。普通用户不可创建数据库,不可创建队列,依赖管理员的授权,可以执行创建表,查询表等操作。

  DLI使用ACL和RBAC两种模型来管理用户权限。管理员或资源的所有者可以授予另外一个用户单个或多个权限,也可能创建角色,授予权限给创建好的角色,然后绑定角色和用户。

  DLI提供了API和SQL语句两种方式来实现以上权限管理,方便用户灵活授权。具体使用方式可以参考DLI的权限管理。

  案例分析

  拿银行的大数据实践来分析下如何利用DLI来管理数据的权限。众所周知,银行积累了大量的用户数据,包括用户信息,交易信息,账户信息等等数以亿计的数据。而银行业务也是非常的复杂,涉及到柜员系统,监管部门,运营部门,营销部门等等各个业务线,各业务线对数据的要求不同,访问的权限不同。我们拿反洗钱业务与画像业务来简单介绍下如何利用DLI平台实现大数分析和数据资产权限管理。

  典型的反洗钱业务一般是大额预警和黑名单机制,需要从海量的交易数据中筛选出大额交易或者是黑名单人员交易数据,将这些数据反馈给监管人员进行进一步分析,涉及到的数据是交易数据,账户信息和黑名单信息。

  画像一般会分析用户的交易类型与交易数据,推断出用户的兴趣爱好,给用户画像,标记用户的兴趣点在哪些地方。涉及交易信息中的交易类型和账号信息。

  在这两项业务中,在DLI中,由数据管理员生成生成用户信息表,交易数据表,账户信息表,黑名单信息表,并导入相应的数据。在反省钱业务,授予反洗钱业务部门或人员账户信息表的查询权限,交易数据表的查询权限,黑名单信息的查询权限,通过对账户信息表和交易数据表和黑名单表的联合查询,可以查找出异常交易信息及相关交易人员,反馈给反洗钱监管人员。在画像业务中,由数据管理员授予画像业务部门或人员用户信息表的查询权限,交易数据表中交易金额和交易类型,交易商户等列的查询权限,账户信息表中的账户ID和用户ID列的查询权限,经过这几张表的联合与聚合查询,找出用户常用交易信息,包含交易类型,金额,及相关地点等信息,描绘出用户画像信息。

  未来展望

  传统企业数据资产面临着几个难题。各业务部门均会产生数据,数据标准不一致,维护复杂。各业务部门数据存在在不同的系统中,数据容易形成孤岛,无法有效挖掘利用。部门间数据共享复杂,容易形成网状授权网络,维护成本巨大。

  数据中台方案可以解决这样的难题,使用统一的数据管理平台,统一的数据存储,统一的数据标准,进行统一的数据资产管理,统一进行授权管理,这也DLI探索的一个方向。

免责声明:“站长之家”的传媒资讯页面文章、图片、音频、视频等稿件均为自媒体人、第三方机构发布或转载。如稿件涉及版权等问题,请与我们联系删除或处理。稿件内容仅为传递更多信息之目的,不代表本网观点,亦不代表本网站赞同其观点或证实其内容的真实性,更不对您的投资构成建议。我们不鼓励任何形式的投资行为、购买使用行为。

  • 相关推荐
  • 大家在看
  • Netflix是如何利用大数据打造爆款神剧的?

    好莱坞传奇编剧家威廉·戈德曼(William Goldman)曾经说过,在好莱坞,现在没有,将来也不会有人能够预测是什么原因能够让一部电影能够叫座。

  • 用户数据安全存储 华为云空间这些功能大显身手

    在我们日常使用智能机时,数据储存功能极为重要。许多华为手机用户都将个人数据保存在手机本地储存中,却忽视了华为手机自带的云空间这一项功能。华为手机中的云空间看似不起眼,实则大有乾坤,它不仅能帮我们在生活和工作中存储移动设备的日常使用数据,还能帮我们定期备份重要数据和文件,巧妙化解我们数字生活中的种种难题。华为云空间实现云与端的完美融合用户可使用手机、平板和电脑等不同的设备进入华为云空间。手机、平板?

  • 华为云空间服务提供三大环节九层机制 全力保障消费者数据安全

    随着智能终端的发展,用户对手机服务日渐依赖的同时,手机也成了储存信息的数据库。如何让用户能够把常用的文档资料安全备份并保存在云端,通过手机随时随地下载使用,华为云空间服务(HUAWEI Drive Kit)帮开发者们解决了这个问题。开发者们接入华为云空间服务后,即可获得为用户提供储存不同格式文件存储的能力,如储存以JPEG、PDF等格式的扫描文件。开发者的APP使用华为云空间服务,支持数据云端同步、备份、恢复功能,同时还能

  • 大数据绘出中国股民画像:43.6%在用华为手机

    日前,一家数据公司发布了中国股民画像: 35 岁以上男性,本科学历,企业白领,爱用华为手机,已婚已育,有房有车,抗压能力强……据了解,这张画像是根据 2018 年公开数据整理而来。值得注意的是,43.6%的股民都在使用华为手机。

  • 阿里云建成全国最大数据中心集群 全面应用自研硬核技术

    7月31日,阿里云宣布位于南通、杭州和乌兰察布的三座超级数据中心正式落成,陆续开服,将新增超百万台服务器,辐射京津冀、长三角、粤港澳三大经济带,加速新基建建设。截至目前,阿里云在全球22个地域部署了上百个云数据中心,其中规划建设了5座超级数据中心,分别位于张北、河源、杭州、南通和乌兰察布,已成为全国最大的数据中心集群。阿里巴巴IDC研发事业部总经理高山渊表示,相比传统数据中心,超级数据中心是面?

  • 我来数科的大数据风控探索:数据驱动引领发展

    大数据风控能力是金融企业的命脉。不论是银行还是商业金融机构,其核心竞争力就是风控能力。作为金融科技的先行者,我来数科洞察未来金融市场趋势的基础上,率先进行数字科技升级,以数据驱动引领平台发展,在大数据风控领域做出了积极的探索。 众所周知,金融机构普遍肩负着社会经济的稳定健康发展的部分责任,同时又要作为商业单位存活,机构需要在兼顾监管层高标准与严要求的同时提升盈利水平,靠的就是风控。这其中,大数据风

  • 我来数科:大数据+AI为客户利益开启双重护航

    用高水准的服务保障客户利益,获得客户的信任,这是在激烈市场竞争中企业生存的必由之路。不久前刚刚完成品牌升级的我来数科,不仅在品牌定位和战略重心上有了新的变化,在服务理念和服务技术上也对自己提出了更高的要求。我来数科将更加增强平台的技术属性,用大数据+AI为保障客户利益开启双重护航。从行业现状来看,野蛮生长的时代显然早已过去,技术和服务才是新时代金融企业发展的硬道理。据了解,升级后的我来数科提出了全新?

  • 华为云重磅发布全球首个双零损耗裸金属容器

    7月20日,在华为云TechWave技术峰会上,华为云基础服务领域总裁高江海正式发布了全球独家双零损耗裸金属容器——华为云第二代裸金属容器,首次在业内实现了资源和性能的零损耗,让容器全面释放裸金属服务器的潜力,加速云原生创新升级。图 零损耗第二代裸金属容器发布高江海表示,“面对快速发展的数字经济,企业需要更加灵活、敏捷、开放、易扩展的应用架构。云原生是帮助企业完成架构升级、拥抱数字经济浪潮的关键选择。华为云在?

  • 华为云IoT如何让“哑”终端进化为智能终端?看完这场直播你就明白了

    谈到物联网,最大的问题之一就在于沟通,不同设备、不同标准之间的沟通,软件与硬件的沟通等。如何解决这种 “沟通”问题,操作系统变得尤为重要。当前很多物联网设备已经从传统意义上的“哑”设备成功转型为智能化设备。Linux系统作为目前物联网设备中应用最广泛的操作系统,华为LiteOS与Linux有什么区别?和其他物联网操作系统对比,华为LiteOS的优势在哪里?采用华为LiteOS系统和用其他系统接入华为云loT平台是否有区别?华为LiteO

  • 三大环节九大措施 华为云空间安全存储您的数据

    数字化全场景智慧时代已至,华为云空间在华为终端云服务“芯-端-云”能力全面开放的大战略下,通过行业领先的存储技术,高级别的身份认证方案以及加密算法;在帐号认证、数据传输、数据存储这三大环节采取九大措施,全面保障用户数据与隐私安全,为每一位用户的云端数据保驾护航。 一、 帐号认证——为用户帐号筑起安全护城河 1、密码安全 为提升密码的安全系数,华为云空间在用户创建帐户时,要求用户密码必须包含大、小写字母和

  • Smartbi携手985高校:大数据之殇与智慧校园涅槃

    最近,教育部给本科教学质量“打分”:学业挑战度中等偏下,这一话题上了热搜,在网络上引起了人们的广泛关注和评论。联想到前段时间的新闻:近 30 所高校公布了超过 1300 名硕博研究生的退学名单,其中包括清华大学、复旦大学、中国人民大学等知名高校。我们不难发现,教育部这几年开始严查高校学风,严抓高校教育质量,学生教育水平,让高校“学生忙起来、教师强起来、管理严起来、效果实起来”。那么作为高校,又该如何评估教育

  • 华为云EI聚焦三大基础研究创新,助力产业智能升级

    7月27日,华为云举办TechWave人工智能专题日,与政企、科研机构和学术界等代表,共同探讨人工智能前沿技术、行业优秀实践,以及如何推动实现普惠AI。华为云宣布,将聚焦在计算机视觉、决策优化、语音语义三大领域持续技术创新,并发布了业界首创的AI训练及推理边缘小站方案——华为云ModelArts Edge智能小站,以人工智能澎湃技术创新助力产业智能升级。 三大领域技术创新支撑AI行业落地 为了更好地赋能产业升级,华为云EI持续深耕

  • 直播预约!华为云携手优质伙伴聚焦普惠AI如何赋能新零售

    普惠AI如何赋能新零售?如何用 5 秒钟影响消费者购买决策?新零售时代,应用大数据,人工智能等新一代信息技术对商品的生产、流通与销售过程进行升级改造,进而重塑业态结构与生态圈,并对线上服务、线下体验进行深度融合。 7 月 22 日周三上午10:00-12:00,华为云云市场 · 新生态在线直播第六期即将开启,本期话题,华为云将携手南京甄视、品览的二位行业大咖,聚焦普惠AI如何赋能新零售,通过AI和大数据重构线下顾客用户体验,吸?

  • 71年来首次7月无台风 大数据揭秘“缺席”原因

    7月29日,据中国气象局官网消息,今年7月份我国将不会迎来台风,这是自1949年以来首次出现这样的情况。据悉,从常年来看,7月份属于我国台风的活跃期,平均生成台风4.1个。截至目前,今年只有

  • 《数据安全法(草案)》出台,对企业有何影响?

    2020 年 7 月 2 日,全国人大常委会第二十次会议审议了《数据安全法(草案)》(以下简称《数安法》)并公开征求意见。《数安法》主要围绕着数据安全管理各项基本制度、促进数据安全和发展的措施、解决数据安全领域突出总量、满足电子政务数据合理需求展开。在这之前,国内数据安全建设的指导性文件,是国家互联网信息办公室去年 5 月 28 日发布的《数据安全管理办法(征求意见稿)》(以下简称《办法》)。《数安法》和《办法》之

  • 华为云为政企提供“黑土地”,推动各行各业数字化升级

    7月20日,在华为云TechWave技术峰会上,基于华为30年ICT技术积累和长期服务政企客户的经验,华为云如何帮助政企在新基建时代获取新技术,发展新动能?华为云业务总裁郑叶来与国家信息中心信息化和产业发展部主任单志广、财新传媒主持人袁小珊展开“高峰对话”讨论。在新基建的背景之下,政企数字化转型已成大势所趋,但如何改变现有的组织和业务流程?如何下定决心自我革命?在郑叶来和单志广看来,这正成为政府和企业在智能化升级

  • 携程发布“BOSS 直播”大数据 梁建章带货能力有多强?

    携程对外发布2020携程“BOSS直播”大数据报告,对外披露“BOSS直播”4个多月来的成绩。携程透露,以“BOSS直播”为核心的携程直播累计GMV破11亿元、产品核销率近5成、为千家高星酒店带货超百万间夜。“BOSS 直播”的主要仍面向高星酒店,这也是携程市场占有率最大的板块。报告透露,携程“BOSS直播”间内的预售产品均价仍在1200元以上,首批到店的酒店预售产品和效率接近50%。报告透露,携程直播间重复?

  • 美菜网,打造合作伙伴的经营投资优化大数据平台

    美菜网不仅是一个互联网生鲜电商平台,同时还是一个大数据服务平台。 美菜网以全价值链多元数据为基础,通过对数据的抽取、加工、分析,一键就能了解商品价格走向、各品类商品阶段性数据分析,解决信息不对称问题,帮助商户降低成本,提升效率。01智能推荐,让客户更精准的匹配需求如果您是客户,美菜网根据客户经营业态、所需商品不同,通过了解客户的日常采购习惯,及对您下单数据的分析,能够根据算法模型实时为您提供个性化的?

  • 大数据公司Palantir称已向SEC秘密提交IPO申请

    【TechWeb】7月7日消息,据国外媒体报道,大数据公司Palantir周一表示,已向SEC(美国证券交易委员会)秘密提交IPO(首次公开募股)申请。PalantirPalantir未透露计划何时上市,发行多少股份等信息。上月,有外媒报道,Palantir准备在今年秋天登陆资本市场。最近,Palantir正在积极为IPO做准备,上月任命了3名新董事,以符合监管规定。这3名新董事包括1名女性,即《华尔街日报》记者Alexandra Wolfe Schiff。加州规定上市公司必须

  • 中国营销界“奥斯卡”设特别奖 花落《后浪》、《华为云Cloud for Good》等

    7 月 15 日,2020 CAMA中国广告营销大奖颁奖典礼如期举行,将中国广告与品牌大会推向高潮,近 200 家来自全国各地的头部品牌主、创意热店、营销策划机构济济一堂。《后浪》、《华为云Cloud for Good》、《呼吸之树》、《中国银联诗歌POS机》等此前在社会引起强烈反响的作品均受到评委的青睐,喜获大奖。此外,与往届不同的“抗疫特别奖”让本届大会在品牌营销创意之外,更加彰显了品牌的温度和时代的特色。2020 年初暴发的新冠肺炎

  • 参与评论
文明上网理性发言,请遵守新闻评论服务协议
  • 热门标签

热文