240 发简信
IP属地:海南
  • 政府会取缔比特币吗

    “我想我们必须看清事物的本质 真实的本源 不带任何假象” 从比特币发明之日起就有人宣称,比特币在未来必将遭到各国政府的打压,并宣布为非法货币。其依据是,比特币的进一步发展将会...

  • SparkSQL读取Hive数据插入Redis

    (1)背景目前使用Python读取Hive表,解析转换之后并发插入Redis,使用fetchone方法读取速度较慢,Python转换处理的速度也较慢。所以需要优化插入Redi...

  • javax.jdo.JDOFatalUserException: Class org.datanucleus.api.jdo.JDOPersistenceManagerFactory was not found

    javax.jdo.JDOFatalUserException: Class org.datanucleus.api.jdo.JDOPersistenceManagerFac...

  • 120
    Spark Yarn-cluster与Yarn-client

    在Spark中,有Yarn-Client和Yarn-Cluster两种模式可以运行在Yarn上,通常Yarn-cluster适用于生产环境,而Yarn-Cluster更适用于...

  • Caused by: java.nio.channels.ClosedChannelException

    多个分区表报错:Caused by: java.nio.channels.ClosedChannelExceptionat org.apache.hadoop.hdfs.DF...

  • Unable to close OrcFileMergeOperator

    报错:Caused by: java.io.IOException: org.apache.hadoop.hive.ql.metadata.HiveException: Un...

  • Hive插入多个分区时OOM故障解决记录

    一、故障情景 基于Hive的数据仓库中需要做一张累积快照表,记录了客户发生各个行为的具体日期,比如激活日期、注册日期、申请日期、创建订单日期等等。 这张表需要以激活日期作为分...

  • 数据仓库中如何做增量处理

    为什么做增量数据量大,只需要增量最新被更改的数据。 如何做增量(1)insert into比如行为数据,发生一条记录就插入一条,数据不会被update。严格T+1,初始化时候...

  • 在数据仓库中如何做分桶

    为什么分桶 (1)获得更高的查询处理效率。桶为表加上了额外的结构,Hive在处理有些查询时能利用这个结构。具体而言,连接两个在(包含连接列的)相同列上划分了桶的表,可以使用 ...

  • 在数据仓库中如何做分区表

    为什么做分区 分区表将数据组织成分区,主要可以提高数据的查询速度。 如果把一年或者一个月的日志文件存放在一个表下,那么数据量会非常的大,当查询这个表中某一天的日志文件的时候,...