240 发简信
IP属地:浙江
  • 数据研发能力模型思考

    又到新一年做ddo设定,为了公平公正对应每位同学进行考核评定,普惠数据研发团队对整个数据研发能力模型进行相应的思考,这样有利于团队同学能看清整个成长路径规划,也便于管理者对对...

  • pyspark系列--读写dataframe

    来源:https://blog.csdn.net/suzyu12345/article/details/79673473 1. 连接spark 2. 创建dataframe ...

  • kafka 学习

    来源:https://blog.csdn.net/zxl2016/article/details/80278496 一、基本概念介绍Kafka是一个分布式的、可分区的、可复制...

  • [一起学Hive]之七-向Hive表中加载数据

    在Hive中建好表之后,需要将数据加载进来,以便做后续查询分析,本文介绍向Hive表中加载数据的几种方式。 6.1 建表时候直接指定 如果你的数据已经在HDFS上存在,已经为...

  • [一起学Hive]之六-Hive的动态分区

    前面文章介绍了Hive中是支持分区的。 关系型数据库(如Oracle)中,对分区表Insert数据时候,数据库自动会根据分区字段的值,将数据插入到相应的分区中,Hive中也提...

  • [一起学Hive]之五-Hive的视图和分区

    同关系型数据库一样,Hive中也支持视图(View)和分区(Partition),但与关系型数据库中的有所区别,本文简单介绍Hive中视图和分区的示例。 在真实业务场景下,视...

  • [一起学Hive]之四-Hive的安装配置

    其实Hive的安装配置应该放在第二章来介绍,晚了些,希望对Hive初学者有用。 三、Hive的安装配置 3.1 环境需求 Hadoop Client Mysql 3.2 下载...

  • 120
    [一起学Hive]之三–Hive中的数据库(Database)和表(Table)

    在前面的文章中,介绍了可以把Hive当成一个“数据库”,它也具备传统数据库的数据单元,数据库(Database/Schema)和表(Table)。 本文介绍一下Hive中的数...

  • [一起学Hive]之二–Hive函数大全-完整版

    Hive函数大全–完整版 现在虽然有很多SQL ON Hadoop的解决方案,像Spark SQL、Impala、Presto等等,但就目前来看,在基于Hadoop的大数据分...

  • 120
    [一起学Hive]之一–Hive概述,Hive是什么

    1. Hive是什么 Hive是基于Hadoop的数据仓库解决方案。由于Hadoop本身在数据存储和计算方面有很好的可扩展性和高容错性,因此使用Hive构建的数据仓库也秉承了...

  • 一起学Hive系列文章

    转载:http://lxw1234.com/archives/2015/07/365.htm 这一系列都是转载,做个学习记录 [一起学Hive]之一–Hive概...

  • 数据异常简要分析框架

    一、数据异动根因分析的背景介绍 业务考虑的最重要的问题是,业务现状怎么样,出现什么问题,原因是什么,可能的解决方案是什么?而回答这些的是数据分析的思维。 数据异动...