首页 > 传媒 > 关键词 > 华为云DLI最新资讯 > 正文

数据赋能,如何用华为云DLI精细化保障企业大数据安全

2019-01-30 16:21 · 稿源:站长之家用户投稿

  随着企业业务的不断发展,企业大数据资产在企业辅助决策、用户画像、推荐系统等诸多业务流程中扮演着越来越重要的作用,如何保证企业大数据在满足各业务部门数据访问需求的同时又能精细化保障数据访问安全、避免数据泄露是每个企业大数据资产管理者必须关注的话题。

  结合在华为云数据湖探索服务(DLI)中的技术沉淀与丰富的企业数据安全管理经验,本文从以下几点来探讨如何精细化保障企业大数据安全

  1、企业大数据的安全挑战;2、数据资产权限管理的通用做法;3、以华为云数据湖探索服务(DLI)为例,对数据资产管理的实践&案例分析;4、未来展望。

  企业大数据的安全挑战

  企业大数据日积月累,自然面临着大数据安全的挑战:数据来源广泛,来源于不同的业务单元,又要服务于各种业务单元,还需要对不同层级的员工设置不一样的权限。如何防范企业数据不被未经授权的用户访问,管理数据在不同业务单元的共享,隔离企业敏感数据……企业可能面临着以下的挑战:

  数据隔离:不同的项目业务数据需要隔离,如游戏运营数据,企业在设计大数据分析平台时可能期望A游戏产生的业务数据用来支撑A游戏运营分析,B游戏产生的业务数据是支撑B游戏运营分析,那么需要对业务数据按项目进行隔离,A游戏运营部门员工只可访问A游戏运营数据,B游戏运营部门员工只可访问B游戏运营数据。

  数据分层访问:不同层级业务部门对数据具备不同的访问权限,高层级部门可以访问底层级部门的数据,而低层级部门不可访问高层级部门的数据。如省级部门可以访问地市级数据,而地市级部门只可访问本地市数据,不可访问跨区数据,也不可访问省级部门数据。这就要求对数据的权限管理需要具备分层管理能力,能够分层级授予不同的权限。

  列级数据授权:不同业务部门对同一份数据的访问权限要求不同,所以要求能够对数据进行精细化授权。如银行系统中,用户表中的身份证号信息是敏感信息,柜台系统可以查询用户的身份证号,但推荐系统就不需要身份证信息,只需要用户ID就可以了。这种场景下需要对用户表能够分列授权,对不同的业务单元不同的权限。

  批量授权:随着企业规模的增大,企业员工可能非常庞大,分部门授权,批量授权也是很常见的业务场景。例如销售部门下面员工很多,如果单个单个的给销售人员授权,会非常麻烦,人员流动时取消授权也很复杂,这时就需要能够批量授权或者基本角色的授权模型,来实现一次授权,部门内员工均可使用的目的。

  数据资产权限管理的通用做法

  目前比较流行的大数据分析平台的有HADOOP,HIVE,SPARK等,它们使用的权限模型有POSIX模型,ACL模型,SQL Standard模型和RBAC模型。其中HADOOP大数据平台使用了POSIX和ACL权限模型来管理数据,HIVE和SPARK使用了ACL和RBAC权限模型来管理数据。

  POSIX权限模型是基于文件的权限模型,与Linux系统的文件系统权限类似。即一个文件有相应的OWNER和GROUP,只能支持设置OWNER, GROUP和其他用户的权限,可授权限也只有读写执行权限。这种模型不适用于企业用户,有一个明显的缺点就是它只有一个GROUP,不能实现不同的GROUP,有不同的权限,也无法实现精细化的权限管理,只能在文件级授权,所授权限也只有读写与执行权限。

  ACL即Access Control List, ACL权限模型可以弥补POSIX权限模型的不足,可以实现比较精细化的权限管理。通过设置访问控制列表,我们可以授予某一个用户多个权限,也可以授予不同的用户不同的权限。但ACL也有明显的缺点,当用户数较大时,ACL列表会变得庞大而难以维护,这在大企业中问题尤其明显。

  RBAC(Role-Based Access Control)模型也是业界常用的一种权限模型。是基于用户角色的权限管理模型,其首先将一个或多个权限授权某一个角色,再把角色与用户绑定,也实现了对用户的授权。一个用户可以绑定一个或多个角色,用户具备的权限为所绑定角色权限的并集。RBAC可以实现批量授权,可以灵活维护用户的权限,是当前比较流行的权限管理模型。

  SQL Standard模型是HIVE/Spark使用权限模型之一,本质是使用SQL方式的授权语法来管理权限。HIVE中的权限模型也是基于ACL和RBAC模型,即可以给单独的用户直接授权,也可能通过角色进行授权。

  以华为云DLI为例,对数据资产管理

  DLI结合了ACL和RBAC两种权限模型来管理用户权限。DLI中涉及到的概念有:

  DLI用户:DLI用户为IAM账号及其下的子用户,下面访问权限说明的用户均指IAM账号及其下的子用户。

  DLI资源:DLI的资源分为数据库(Database),表(table),视图(View),作业(Job)和队列(Queue)。资源是按项目隔离的,不同项目的资源不可互相访问。表和视图是数据库(Database)下的子资源。

  DLI权限:DLI权限为执行DLI相关操作所需要的权限。DLI中的权限比较细,每项操作对应的权限都不一样,如创建表对应CREATE_TABLE权限,删除表对应DROP_TABLE权限, 查询对应SELECT权限等等。

  DLI使用统一身份认证(IAM)的策略和DLI的访问控制列表(ACL)来管理资源的访问权限。其中统一身份认证(IAM)的策略控制项目级资源的隔离和定义用户为项目的管理员还是普通用户。访问控制列表(ACL)控制队列,数据库,表,视图,列的访问权限和授权管理。

  DLI使用统一身份认证来完成用户认证和用户角色管理。DLI在IAM中预定义了几个角色:Tenant Administrator(租户管理员),DLI Service Admin(DLI管理员),DLI Service User(DLI普通用户)。其中具备租户管理员或DLI管理员角色的用户在DLI内是管理员,可以操作该项目的所有资源,包括创建数据库,创建队列,操作项目下的数据库,表,视图,队列,作业。普通用户不可创建数据库,不可创建队列,依赖管理员的授权,可以执行创建表,查询表等操作。

  DLI使用ACL和RBAC两种模型来管理用户权限。管理员或资源的所有者可以授予另外一个用户单个或多个权限,也可能创建角色,授予权限给创建好的角色,然后绑定角色和用户。

  DLI提供了API和SQL语句两种方式来实现以上权限管理,方便用户灵活授权。具体使用方式可以参考DLI的权限管理。

  案例分析

  拿银行的大数据实践来分析下如何利用DLI来管理数据的权限。众所周知,银行积累了大量的用户数据,包括用户信息,交易信息,账户信息等等数以亿计的数据。而银行业务也是非常的复杂,涉及到柜员系统,监管部门,运营部门,营销部门等等各个业务线,各业务线对数据的要求不同,访问的权限不同。我们拿反洗钱业务与画像业务来简单介绍下如何利用DLI平台实现大数分析和数据资产权限管理。

  典型的反洗钱业务一般是大额预警和黑名单机制,需要从海量的交易数据中筛选出大额交易或者是黑名单人员交易数据,将这些数据反馈给监管人员进行进一步分析,涉及到的数据是交易数据,账户信息和黑名单信息。

  画像一般会分析用户的交易类型与交易数据,推断出用户的兴趣爱好,给用户画像,标记用户的兴趣点在哪些地方。涉及交易信息中的交易类型和账号信息。

  在这两项业务中,在DLI中,由数据管理员生成生成用户信息表,交易数据表,账户信息表,黑名单信息表,并导入相应的数据。在反省钱业务,授予反洗钱业务部门或人员账户信息表的查询权限,交易数据表的查询权限,黑名单信息的查询权限,通过对账户信息表和交易数据表和黑名单表的联合查询,可以查找出异常交易信息及相关交易人员,反馈给反洗钱监管人员。在画像业务中,由数据管理员授予画像业务部门或人员用户信息表的查询权限,交易数据表中交易金额和交易类型,交易商户等列的查询权限,账户信息表中的账户ID和用户ID列的查询权限,经过这几张表的联合与聚合查询,找出用户常用交易信息,包含交易类型,金额,及相关地点等信息,描绘出用户画像信息。

  未来展望

  传统企业数据资产面临着几个难题。各业务部门均会产生数据,数据标准不一致,维护复杂。各业务部门数据存在在不同的系统中,数据容易形成孤岛,无法有效挖掘利用。部门间数据共享复杂,容易形成网状授权网络,维护成本巨大。

  数据中台方案可以解决这样的难题,使用统一的数据管理平台,统一的数据存储,统一的数据标准,进行统一的数据资产管理,统一进行授权管理,这也DLI探索的一个方向。

免责声明:“站长之家”的传媒资讯页面文章、图片、音频、视频等稿件均为自媒体人、第三方机构发布或转载。如稿件涉及版权等问题,请与我们联系删除或处理。稿件内容仅为传递更多信息之目的,不代表本网观点,亦不代表本网站赞同其观点或证实其内容的真实性,更不对您的投资构成建议。我们不鼓励任何形式的投资行为、购买使用行为。

  • 相关推荐
  • 大家在看
  • 四维图新大数据平台通过华为产品服务兼容性认证

    日前,四维图新两项大数据平台产品通过华为产品兼容性测试并获得认证证书。其中,MineData企业版V3.2. 0 不仅通过了华为云鲲鹏云服务兼容性认证,并帮助公司顺利成为华为鲲鹏凌云伙伴,还完成了华为TaiShan200 系列兼容性测试认证。世纪高通交警大数据平台3. 0 则通过了华为TaiShan200 系列的兼容性测试认证。测试结果表明,两项产品整体运行稳定,在功能、性能及兼容性方面表现良好,可全面满足用户需求。长期以来,四维图新跟华?

  • 人工智能+大数据,新浪舆情通用更“智能”的数据助力决策

    人工智能技术的应用早已深入人们的生活,语言翻译、智能音箱、导航系统、城市安防系统之中都能有人工智能技术的参与,在推动国家治理、优化企业运营策略的过程中,也能见到人工智能技术的应用。近年来,政企机构越来越重视聆听新媒体平台上的声音,并通过大数据分析和数据简报等方式挖掘信息价值,洞察民意以辅助自身决策。随着数字基础设施建设的逐步加速,互联网信息将成倍增长,并且以更复杂多样的形态和方式出现,人工智能技术

  • 央视报道快手智能云大数据中心落地乌兰察布 全力支持内蒙古新基建布局

    大数据中心作为“新基建”七大领域的重要组成,正在为我国经济增长提供新动力,相关领域及产业链动态持续受到央视等权威媒体关注。“今天,投资达百亿元的智能云大数据中心项目落地内蒙古乌兰察布市,该项目共计占地约 500 亩、容纳 30 万台服务器,预计明年投入使用。项目建成后,将支撑企业大数据、人工智能等核心技术平台,为企业长期发展提供充裕的资源保障。” 6 月 6 日晚,央视一套《晚间新闻》栏目报道了快手首个超大规模?

  • 魅族发布Flyme用户习惯大数据:24小时都在干啥?

    6月25日晚,魅族发布了Flyme用户习惯大数据,看看煤油24小时都在干嘛呢。该数据为近30天的每日平均值。数据显示,12%的Flyme用户会在1:00-6:00为自己的手机清理加速,15%的Flyme用户会在7:00-

  • 美柚发布大数据报告 母亲节思念“母亲味道”

    近日,全国最大纯女性互联网平台美柚发布大数据报告。据报告显示,母亲节期间,美柚平台用户用最真挚的感情表达对母亲的爱,对“母亲味道”的思念令人感怀。另外报告内容还包括,美柚平台户外用品销量排行、时令水果关注度TOP5 以及不同身份用户的行为洞察等。 母亲节礼物选择多 美柚用户怀念“母亲味道” 母亲节来临,美柚平台用户纷纷表达对母亲的感恩和怀念。因疫情被困工作地的用户,很久没有见到母亲,她们除了对母亲和家人?

  • 揭秘娱乐大数据:你看不惯的流量里,藏着多少金钱、水分和真心?

    流量,是如今衡量一个明星商业价值的重要标准,而数据,则是直观反映明星流量高低的核心依据。在饭圈生态中,流量和数据已经拥有了完整的生态链条,顶级流量明星的粉丝们不遗余力地制造着一个又一个数据奇迹。但是,流量能代表一切吗?数据又是从何而来?

  • 美柚大数据:5月“旅游攻略”话题同比暴增776%

    <p>【TechWeb】6月2日消息,纯女性互联网平台美柚发布的新一期大数据报告显示,5月份,“旅游攻略”话题比去年同期暴涨776%。美柚大数据分析师称,造成此话题暴涨的原因,一方面是用户对出门旅游的渴望,另一方面也显示出用户对旅游市场恢复信心十足。</p><p>报告显示,

  • 大数据公司Palantir任命3名新董事 为IPO做准备

    【TechWeb】6月29日消息,据国外媒体报道,大数据公司Palantir正在积极为IPO(首次公开募股)做准备,近日任命了3名新董事。大数据公司Palantir这3名新董事包括1名女性,即《华尔街日报》记者Alexandra Wolfe Schiff。加州规定上市公司必须拥有至少1名女性董事。另外2名新董事分别为Spencer Rascoff和Alex Moore。Spencer Rascoff是初创公司Zillow的创始人;Alex Moore是Palantir的早期员工。外媒去年曾报道,纳斯达克和纽约证券?

  • 端午出游大数据:微信支付笔数同比增长 43%

    ​6 月 28 日,微信支付与同程旅行共同发布 2020 年端午出游大数据。数据显示,微信支付旅游行业支付笔数同比增长 43%,支付金额同比增 27%;小程序支付笔数同比增长 123.52%;公众号支付笔数同比增长 38.54%。广州长隆、北京欢乐谷和上海迪士尼成为全国微信支付消费笔数前三甲。在消费年龄层上, 90 后取代 80 后成为端午出行主力,占比达到 36.4%。

  • 外媒:大数据公司Palantir计划在数周内提交IPO申请

    6月18日消息,据国外媒体报道,知情人士称,硅谷大数据公司Palantir计划在数周内提交IPO(首次公开募股)申请,准备在今年秋天登陆资本市场。Palantir知情人士称,Palantir正在与投行合作,期望在上市之前解决公司的资本结构问题;Palantir还在与顾问协助,为IPO做好其它准备工作。去年,外媒曾报道,Palantir需要找到足够的经验丰富的财务人员来处理首次公开募股的财务事项。Palantir向政府部门,以及金融、健康和其?

  • 华为云优秀伙伴带来公开课,北明软件与泰克教育携手精彩分享

    社会生活中,摩擦纠纷难免发生。但据研究统计,相当部分的矛盾纠纷,根本无需走到诉讼程序,通过协商、调解、仲裁、公证等非讼渠道就能化解。加之信息网络的快速发展,也催化了当事人和相关工作人员通过在线的方式处理问题的需求。如何利用云计算、AI等新技术,在线多元化解纠纷,成了构建新型纠纷治理模式的迫切需求。然而,纠纷处理面临着种类繁多、流程各异、涉及到的部门和人员多等一系列复杂问题。比如纠纷类型,除了刑事犯罪

  • 企业数字化转型关键期,华为云送来了一记助攻

    2020年初的黑天鹅,造成了企业复产复工的难题,与此同时,数字化转型成了逆势中的一道曙光,助力企业快速恢复和崛起。 36氪此前的调查和报道中发现,处于发展不同阶段、规模不一的大中小企业,不管是危机时期,还是正常时期,用数字化方式谋求生存和增长已逐渐成为当下的共识。 大数据、人工智能、云计算、物联网等创新技术和日益数字化的业务流程,让我们看到数字化技术正迅速席卷大多数行业和地域,数字化进程正在被前所未有的?

  • “文投大数据”推广价格预估,靠谱的自媒体推广平台

    备注:本文数据来自站长之家移动传媒平台,文章涉及的数据依托平台大数据计算所得,非百度官方数据,仅供参考。文投大数据是当前百家号中的普通号,目前账号百家号权重为0,综合排名位列1063715名,科技分类排名位列52147名,领先了4.8%的百家号。 文投大数据百家号概况 文投大数据的简介为关注文化领域发展,聚焦文化投资,是一家主旨明确、领域专注的自媒体作者,截止目前为止他们已经在百家号上发布了超过0篇的游戏内容,最近该

  • 华为云FusionAccess连续四年中国桌面云市场第一

    IDC最新研究数据显示,华为云FusionAccess桌面云一马当先,又一次斩获中国桌面云市场第一。这已经是自该报告2016年发布以来,华为连续第四年领跑中国桌面云市场,显示了客户对华为在桌面云市场多年来持续投入的认可。 IDC数据显示,华为不仅继续在其耕耘多年的政府市场持续领先,并且在金融、制造、能源等更多的行业也越来越受欢迎。同时期待FusionAccess基于华为鲲鹏生态会有更加优异的表现。 2020年,华为云FusionAccess针对日?

  • 第四届世界智能大会“云上”启幕,华为云与计算破解“新基建”底层密码

    6月24日,由国家发改委、科技部、工信部、国家广电总局、国家网信办、中国工程院、中国科学院、中国科协和天津市政府共同举办的第四届世界智能大会通过“云上”方式启动,行业专家齐聚线上,为智能科技领域的良性发展献言献策,为聚力建设人工智能先锋城市打造“天津智港”贡献力量。华为公司副总裁、华为云与计算中国区总裁史耀宏出席云上会议并发表观点:未来十年将是中国产业升级最关键的十年,尤其是在宏观环境变化的情况下,

  • 日本SOMPO拟向大数据公司Palantir投资5亿美元

    6月22日消息,据国外媒体报道,日本保险控股公司SOMPO日前宣布,计划向大数据公司Palantir投资5亿美元。Palantir双方还将发起一个健康、安全相关数据平台,由Palantir提供支持。Palantir和SOMPO去年已展开合作,成立大数据合资公司Palantir Japan。双方各出资50%,各派1人出任拥有代表权的董事。另外,本月早些时候,还有消息传出,Palantir计划在数周内提交IPO(首次公开募股)申请,准备在今年秋天登陆资本市场。Pal

  • 东方红资管与京东数科合作的第二支大数据基金正式发行

    6月11日消息,“东方红智远三年持有期混合型证券投资基金(基金代码:009576)”正式发行,成为东方红资产管理与京东数科合作的第二支大数据基金。据悉,京东数科旗下资管科技平台JT2为这一支基金的投研工作持续提供智能数据挖掘等技术支持。目前,“东方红智远三年持有期混合型证券投资基金”已经在东方证券、招商银行、京东金融APP等渠道对外发售。在投资策略方面,东方红智远三年持有期混合型证券投资基金将动态跟?

  • IDC:华为云容器软件市场份额位居中国第一,全球第二

    近日,全球权威咨询机构IDC发布《PRC SDC Software Market Overview, 2019H2/2019》报告,报告显示,华为云容器软件市场份额排名位居中国厂商第一、全球厂商第二。数据来源:IDC《PRC SDC Software Market Overview, 2019H2/2019》目前,华为云容器已构建起包括八大基础服务、四大解决方案在内的全栈容器产品,广泛服务于泛互联网、金融、政府、制造、生物等行业客户。华为云容器八大基础服务具体包括云容器引擎(CCE)、云容器?

  • 掌门教育携手华为云展开“5G+教育”深度合作 打造更有趣的智慧课堂

    信息技术的进步为千行万业的升级带来变革,4G的诞生改变了我们的生活,5G的落地则将改变世界。5G时代,绝不仅仅是网速和容量的提升,而是将掀起一场颠覆式的产业变革,以及再一次的数字生活大爆炸,每一个垂直行业企业,都将面临一场全新的变局。作为智能化教育的先锋探索者,掌门教育一直坚持创新教学场景应用,促进智能教育的升级发展。近日,掌门教育与华为云“5G+X”联创营展开深度合作,利用5G、AI、云等创新科技持续为教育赋

  • 大数据加持,“顾家自营+万师傅”家居服务模式为618赋能?

    近日,顾家家居与万师傅家居售后服务平台达成合作,据悉双方自 2018 年起已有合作,本次就其他领域形成新的合作共识。 作为享誉全球的家居品牌,顾家家居创立 38 年来,为全球 120 多个国家和地区的家庭提供健康、舒适、环保的家居解决方案,旗下拥有六大产品系列,组成丰富的产品矩阵。 顾家近几年围绕用户需求持续提升服务能力,建设 28 万平米的工业园,扩展线上线下全渠道销售,布局全国服务中心,确保产品研发生产、营销、仓

  • 参与评论
文明上网理性发言,请遵守新闻评论服务协议