hive基本操作之一

1.hive表中的基本数据类型

2,hive创建分区表

      2.1内部表

                建表语句:

                create table table_name(

                    Field1 string,

                    Field2 int,

                   Field3 bigint,

                )partitioned by (Field4 string,Field5 string)        --用来指定分区

               row format delimited fields terminated by ',';      --用来指定分隔符,本例程分隔符为“,”

      2.2外部表

           2.2.1如何建立外部表

                           关键字是:external

                           基本语句是:create external table table_name (...) ...

           2.2.2外部表的指定位置

                           1.不指定外部表的存放路径,默认Hive将在HDFS路径下的/user/hive/warehouse/文件夹下以外部表的表名创建一个文件夹。建表语句:

                           create external table table_name(

                               Field1 string,

                               Field2 int,

                               Field3 bigint,

                           )partitioned by (Field4 string,Field5 string)        --用来指定分区

                           row format delimited fields terminated by ',';      --用来指定分隔符,本例程分隔符为“,”

                           2.指定外部表存放路径,Hive不会在/user/hive/warehouse/文件夹下建立文件,hive会直接把指定路径存储在元数据中。建表语句:

                          create external table table_name(

                               Field1 string,

                               Field2 int,

                               Field3 bigint,

                          )partitioned by (Field4 string,Field5 string)        --用来指定分区

                          row format delimited fields terminated by ','       --用来指定分隔符,本例程分隔符为“,”

                          location '/fdir/cdir/sdir';                                       --指定路径

            2.2.3外部表内部表转换

                          1.内部表转换为外部表:alter table tablename set tblproperties ('EXTERNAL' = 'TRUE');

                          2.外部表转换为内部表:alter table tablename set tblproperties ('EXTERNAL' = 'FALSE');

3.表操作

      3.1字段的怎删改

          3.1.1.添加字段

                  alter table table_name add columns(aField1 int, aField1 int);

          3.1.2.删除字段

                  alter table name drop [column] column_name

           3.1.3.修改字段:改变列名/类型/位置/注释

                  alter table table_name change column_name new_name new_type [conmment col_conmment] [first|after column_name];

     3.2表的查删改

            3.2.1.查找数据

                                select* from table_name;

            3.2.2.删除数据

                                delete from table_name where Field1='xxx;

            3.2.3.修改数据

                                 update table_name set Field1='xxx'  where Field2='xxx';

             注意:若删除,修改不能操作,或操作报错,则需要在hive-site.xml中配置相关属性

            3.2.4.删除整个表

                     1.truncate:

                           truncate table table_name;

                        truncate用于删除所有的行,这个行为在hive元存储删除数据是不可逆的。保留表结构

                     2.drop:

                          drop table table_name;

                         drop用来删除hive中的表。(完全删除)

            3.2.5获得表的建表语句

                         show  create  table table_name;

            3.2.6重命名表

                        alter table table_name rename to new_table_name;

4.修改表属性

     4.1增加表的属性

                 alter table table_name  set  tblproperties  table_properties;

            用户可以使用这个语句增加表属性,其中table_properties的结构为       (property_name=property_value,property_name=property_value, ...),目前last_modified_time(最后修改时 间),last_modified_user(做最后修改的用户)是由Hive自动管理的。用户可以向列中添加自己的属性

    4.2查看表属性

                discribe  extebded  table_name;

                desc formatted tablename; --查看比较详细的表结构信息

                desc tablename;      --查看表结构信息比较简单

   4.3增加SerDE属性

          a:    alter table table_name set serde serde_class_name

                  [whit  serdeproperties serde_properties];

          b:    alter table table_name set serdeproperties serde_properties;

        上面两个命令都允许用户想SerDE对象增加用户定义的元数据。Hive为了序列化和反序列化数据,将会初始化SerDE属性,并将属性传给表的SerDE。这样用户可以为自定义的SerDe存储属性。上面serde_properties的结构为(property_name=property_value,property_name=property_value, ...)

   4.4修改表文件格式和组织

          a:        alter table table_name set fileformat file_format;

          b:        alter table table_name clustered by(col_name, col_name, ...)

                     [sort by(col_name, ...)] into num_buckets buckets;

    4.5 修改hive表中的分隔符

         alter table ods_wls_login_bak set SERDEPROPERTIES('field.delim'='|');

         alter table ods_wls_login_bak set SERDEPROPERTIES('serialization.format'='|');

5.表的分区操作

     5.1 修改分区名字

          alter table table_name partition (property_name=property_value1,...) rename to partition (property_name=new_property_value1,...);

        例如:

          alter table tmp_student partition (dt='2017_12_18',hour='12') rename to partition (dt='20171218',hour='12');

        把分区(dt=2017_12_18,hour=12)改为(dt=20171218,hour=12)

    5.2 添加分区

        alter table table_name add partition(property_name=property_value1,...) location 'path';

        添加指定分区下的具体分区数值,并把path路径下的数据关联到该分区下

6.Hive数据操作

   6.1数据导入

       6.1.1 从HDFS上导入数据

           load data inpath 'patht' into table table_name [partition(...)];

      6.1.2关联数据到指定分区(添加分区)

           alter table table_name add partition (...) location 'path';   --推荐使用

          注意:load加载数据到指定分区,会改变源路径的目录结构

                    alter关联数据到指定分区,且不移动源数据和改变源路径结构(推荐使用)

     6.1.3 从别的表中查询出相应的数据并导入到Hive表中

          insert  into  table  table_name2 [ partition (...)]  select *  from table_name1;

          insert  overwrite tabletable_name2 [partition (...)]  select *  from table_name1;

         into:是插入数据,overwrite:是覆盖数据,即先删除表中原有的数据,然后插入

      6.1.4 在创建表的时候通过从别的表中查询出相应的记录并插入到所创建的表中

          create table table_name1 as  select * from table_name2;

   6.2修改location

        alter table table_name [partition(...)] set location 'path';         --推荐使用

          注意:不只是外部表可以指定location,内部表也可以指定location。但内部表删除表时,会删除改路径的下的文件

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 203,456评论 5 477
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,370评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,337评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,583评论 1 273
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,596评论 5 365
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,572评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,936评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,595评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,850评论 1 297
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,601评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,685评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,371评论 4 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,951评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,934评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,167评论 1 259
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 43,636评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,411评论 2 342

推荐阅读更多精彩内容