Apache Ranger安装配置以及和LDAP集成

导语

Ranger是Hadoop平台的集中式安全管理框架,能够为hadoop平台组件提供细粒度的访问控制。通过Ranger, Hadoop管理员能够轻松地管理各种安全策略,包括:访问文件/文件夹,数据库,Hive表,列, Hbase, YARN等。此外,Ranger还能进行审计管理,以及策略分析,从而为Hadoop环境的深层次分析提供支持。
目前,Ranger支持对以下的Hadoop组件:HDFS, HBase, Hive, Yarn, Knox, Storm, Solr, Kafka。
本文主要介绍如何在Ambari环境下安装Ranger,如何配置Ranger使之与LDAP集成,如何通过配置Ranger策略完成访问控制。

1. Ranger介绍

Apache Ranger目前是Apache下的顶级项目,目的是通过制定策略(policies)实现对Hadoop组件的集中式安全管理。用户可以通过Ranager实现对集群中数据的安全访问。
Ranger由三个模块组成:

  • Ranger portal: 提供给用户进行安全管理的界面

  • Ranger plugin: 嵌入在需要安全控制的组件进程中,提供两种功能:从Ranger server中把用户配置的安全策略拉取到本地,当用户访问请求到来时,根据安全策略判断该用户是否有权限访问;从本地将用户访问的纪录返回给Ranger服务进行审计。

  • User group sync: 提供从OS, LDAP, Active Directory拉取用户和用户组的功能。同步到的用户和用户组能够展示在Ranger portal中

2. HDP2.4 Ambari环境下安装Ranger

安装前置条件

  • 必须已经使用Ambari部署Hadoop集群
    使用Ambari安装Ranger只能在安装Hadoop之后使用add service的方式将Ranger安装在集群中。因为在使用Ambari部署Hadoop集群时,在service列表中没有Ranger。

  • 集群中已经安装了数据库
    目前Ranger支持mysql, oracle, postgres, mssql, sqlanywhere等。建议在Ambari环境下使用Ambari server 安装的postgres数据库。

  • 在Ambari server上执行
    ambari-server setup --jdbc-db={database-type} --jdbc-driver={/jdbc/driver/path}
    其中database-type为所用的数据库类型,/jdbc/driver/path为jdbc driver路径。
    步骤为:

    • 检查/usr/share/java目录下是否有postgres jdbc driver文件 /usr/share/java/postgresql-jdbc.jar。如果没有,从postgres安装目录下拷贝至此目录。

    • 执行
      ambari-server setup --jdbc-db=postgres --jdbc-driver=/usr/share/java/postgresql-jdbc.jar

安装Ranger

  • 打开Ambari,在Actions下点击Add Service,在打开的服务列表里,勾选Ranger,点击next

  • 在安装配置页面,Ranger Admin下,

    • DB FLAVOR 选择POSTGRES
    • Ranger DB host 选择Postgres安装的主机名
    • Ranger DB password 输入Postgres DB的密码
    • DBA username改为postgres, DBA password输入密码
    • JDBC connect string 例如: jdbc:postgresql://ochadoop06.novalocal:5432/postgres

    配置完成后,点击Test Connection。如果返回没有权限,一般是因为在postgres的配置里面没有把该机器的访问权限配置。
    需要在安装postgres的机器上配置/var/lib/pgsql/data/pg_hba.conf,增加需要访问的机器权限,例如:host all postgres 192.168.1.11/24 ident
    然后重启postgres.

  • 在Ranger User Info配置下,主要是配置是否从LDAP读取用户组,此项配置可以在安装完成后再进行配置。

  • 在Ranger Audit配置下,主要对Ranger audit log的存放位置进行配置。

    • 如果集群中已经安装了Solr,可以打开Solr选项,ranger.audit.solr.urls为solr core的地址,例如:http://ochadoop06.novalocal:8983/solr/ranger_audits
      ranger.audit.solr.username 使用默认,ranger.audit.solr.password输入创建密码。

    • 打开HDFS配置,Ranger audit log可以自动保存在HDFS中以便长期保存。Destination HDFS Directory为HDFS保存的地址,例如:hdfs://ochadoop06.novalocal:8020/ranger/audit

    • 打开DB配置,把audit log保存在DB中.

3. Ranger配置

Ranger配置LDAP

Ranger用来获取用户和组的模块叫做User group sync,可以配置获取Unix,LDAP或者AD的用户和组。

  • Ranger User Info配置

    打开Ambari Ranger配置页面里的Ranger User Info选项。

    • Enable User Sync 置为 Yes
    • Sync Source 选择 LDAP/AD

    打开Cmmon Configs

    • LDAP/AD URL,输入LDAP URL。例如:ldap://192.168.1.15:389
    • Bind Anonymous 置为 No
    • Bind User,输入LDAP的管理员用户。例如:cn=root,dc=asiainfo,dc=com
    • Bind User Password,输入上面LDAP的管理员密码。

    打开User Configs

    • Username Attribute,输入cn
    • User Object Class,这个根据LDAP配置决定,一般可以配为person,user,或者posixAccount。
    • User Search Base,输入ou=People,dc=asiainfo,dc=com
    • User Search Filter,输入cn=*
    • User Search Scope,输入sub
    • User Group Name Attribute,输入memberof。这个根据LDAP配置决定,一般需要LDAP支持memberof属性。
    • Group User Map Sync,置为Yes。

    打开Group Configs

    • Enable Group Sync,置为Yes。
    • Group Member Attribute,输入 memberUid。
    • Group Name Attribute,输入 cn。
    • Group Object Class,输入posixGroup。这个根据LDAP配置决定,需要查看LDAP的group object class。一般为group或者posixGroup。
    • Group Search Base,输入ou=Group,dc=asiainfo,dc=com
    • Group Search Filter,输入cn=*
  • Advanced配置

    Ranger Settings

    • Authentication method,选择LDAP

    LDAP Settings

    • ranger.ldap.base.dn,设为LDAP的dn,例如:dc=asiainfo,dc=com
    • ranger.ldap.group.roleattribute,设为cn
    • ranger.ldap.user.dnpattern,设为uid={0},ou=People,dc=asiainfo,dc=com,其中ou=People,dc=asiainfo,dc=com为LDAP 的用户类别。
  • 根据上述配置好后,使用Ambari重启Ranger,打开Ranger界面。在Settings下的的Users/Groups可以查看到已经同步到的LDAP用户和用户组。如果用户和用户组没有同步到,应该是配置的有问题,可以通过Ranger提供的LDAP检查工具进行检查。

    • 进入工具目录,/usr/hdp/current/ranger-usersync/ldaptool
    • 配置conf/input.properties,其中的参数根据Ambari上配置的Ranger LDAP配置。
    • 执行./run.sh -r groups -i conf/input.properties 获取用户组信息,-r users返回用户信息,-r all 返回用户和用户组信息。返回的结果在output/ ldapConfigCheck.log中。

Ranger配置Audit log

  • Ranger Audit配置
    打开Ambari Ranger Configs下的Ranger Audit,

    • Audit to DB,置为Yes。设置Data base 密码。这样的目的是使Ranger将log存放在DB中。
  • ranger.audit.source.type

    打开Advanced下的Advanced ranger-admin-site,将ranger.audit.source.type设为db。这样的目的是Ranger Admin从DB读取audit log。

Enable Ranger Plug-in

进入Ranger Plugin配置页面,打开需要使用Ranger进行安全控制的组件。例如hdfs,yarn,hive。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 203,324评论 5 476
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,303评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,192评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,555评论 1 273
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,569评论 5 365
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,566评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,927评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,583评论 0 257
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,827评论 1 297
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,590评论 2 320
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,669评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,365评论 4 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,941评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,928评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,159评论 1 259
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,880评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,399评论 2 342

推荐阅读更多精彩内容