CDH5.12的新功能

CDH5.12震撼发布,强势集成Hue 4,打包了很多激动人心的新功能,你能想象现在可以在Hue中直接使用Cloudera Navigator和Navigator Optimizer吗?!

Apache Hive/Hive-on-Spark

1.Hive on MapReduce2/Spark同时支持Microsoft Azure Data Lake Store (ADLS)。你现在可以用Hive on MapReduce2 and Hive-on-Spark读写存储在ADLS上的数据。具体请参考:Configuring ADLS Connectivity

2.Cloudera Manager现在集成了Hive的schematool,你可以使用它来更新或验证Hive metastore里的schema信息。具体请参考:Using the Hive Schema Tool

3.HIVE-1575:通过get_json_object函数支持root level的JSON arrays,比如:

SELECT get_json_object('[1,2,3]', '$[0]')...

Hue

Hue 4终于发布了,并且打包了很多激动人心的功能。

Hue 4新的布局:

1.Apps被整合到蓝色按钮下 - 将您喜爱的设置为默认首选项(见上图的蓝色按钮“Query”)

2.顶部的搜索栏可以让你搜索已保存的查询和其他数据(Cloudera Manager顶端也有一个类似搜索栏,全局搜索框)

3.左右的辅助面板可以让你搜索和过滤schema objects

4.光标所在的位置决定要运行多个查询中的哪一个

5.新的Pig editor, Job Designer, 和Job Browser

6.从用户下拉菜单列表中访问旧的Hue3,或者中URL中删除“Hue”

默认添加Load Balancer

如果安装新的CDH/Hue,会自动安装一个Load Balancer来保证最优性能 - 它可以降低Hue服务器的负载高达90%!在旧版本中,用户需要添加一个Load Balancer角色,并且手动启用它。参考Cloudera的博文:Automatic HA

测试LDAP配置

在安装过程中验证你的LDAP配置,这个新功能你可以在Cloudera Manager的Hue > Actions > Test LDAP Configuration中使用。参考:Authenticate Hue with LDAP

集成Navigator Optimizer(第一阶段)

通过Hue集成Navigator Optimizer,经常使用的表,字段,关联条件,过滤条件都可以被自动填充。有风险的语句,比如在分区表上缺少过滤条件,将会触发告警。

默认启用Navigator Search & Tag

通过Hue集成Navigator,你可以搜索元数据或者给元数据打标签。只要你安装了Cloudera Navigator,这个功能默认将会开启。参考: How to Enable and Use Navigator in Hue

其他酷炫的特性:

1.你可以从文件创建分区表。

2.Impala的metadata将会被自动refresh。

3.提升SQL语句自动填充的功能。

4.SSL的远程 Load balancer。

5.查询历史记录分页。

Apache Impala

以下是本次更新的Impala主要的新特性:

1.Impala现在可以读写存储在Microsoft Azure Data Lake Store (ADLS)中的数据。

注意:目前Impala的ADLS支持还在初级阶段,测试不够充分。并不建议用户直接将Impala on ADLS上生产。

2.新的内置函数

    1)一个新的字符串函数,replace(),在简单字符串替换场景比以前的regexp_replace()更高效。访问 Impala String Functions查看细节。

    2)一个新的条件函数,nvl2(),它比nvl()更灵活。它允许NOT NULL参数会返回一个值,NULL参数则返回另外一个值。访问Impala Conditional Functions查看细节。

3.新的语法,REFRESH FUNCTIONS db_name,让Impala识别新的自定义函数,比如通过Hive创建的UDFs。Impala扫描指定数据库的元数据以查找新的自定义函数,这比执行全局的INVALIDATE METADATA更高效也更方便。

4.Impala Daemon的启动标志,is_executoris_coordinator,你可以将少量节点用作查询的coordinators,然后将其他大量的节点作为查询executors,这样你可以更好的为大型,高负载的集群做节点分工。旧版本中,每个节点可以同时扮演这两个角色(既是executor,又是coordinator,coordinators会随机从Impala Daemon中挑选),这往往是大量并发的工作负载的瓶颈。详情请参考: Controlling which Hosts are Coordinators and Executors

5.新的查询模式选择,DEFAULT_JOIN_DISTRIBUTION_MODE,对于一些没有统计信息的表,可以更改默认的关联方式。这可以避免join查询的内存不足,而不用手动的在缺少统计信息的大表语句中添加/* +SHUFFLE */提示。

6.SORT BY语法可以在你创建Parquet文件时,使用更高效的压缩方式以及为一些特定字段的值指定更小的范围,从而允许Impala以更优化的方式跳过从Parquet文件中读取一些数据,这些数据不在WHERE的条件范围内。访问CREATE TABLE Statement查看细节。

8.Kudu提升

    1)ALTER TABLE语句可以使用ADD COLUMNS子语句为Kudu表指定更多的属性。包括[NOT] NULL, ENCODING COMPRESSION, DEFAULT, BLOCK_SIZE。访问ALTER TABLE Statement查看细节。

    2)Kudu现在支持TIMESTAMP类型。

注意:在使用这种数据类型时可以参考 Handling Date, Time, or Timestamp Data with Kudu了解关于性能和使用方便的折衷/妥协。为了高性能,你可能仍然需要继续使用BIGINT,对于date/time的值。

    3)优化通过INSERTCREATE TABLE AS SELECT语句写数据到Kudu的表。旧版本在单个操作写入大量数据时,写操作的开销可能会导致超时。

Apache HBase

1.Apache HBase现在支持ADLS存储。

2.如果不是云部署,通过更新token,HBase现在支持长期运行的Spark应用。

Apache Spark

Spark现在可以读写存储在Microsoft Azure Data Lake Store (ADLS)中的数据。访问 Accessing Data Stored in Azure Data Lake Store (ADLS) through Spark查看细节。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 203,456评论 5 477
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,370评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,337评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,583评论 1 273
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,596评论 5 365
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,572评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,936评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,595评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,850评论 1 297
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,601评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,685评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,371评论 4 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,951评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,934评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,167评论 1 259
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 43,636评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,411评论 2 342

推荐阅读更多精彩内容