Hive on Mapreduce Hive的原理大家可以参考这篇大数据时代的技术hive：hive介绍，实际的一些操作可以看这篇笔记：新手的H...
投稿
收录了17篇文章 · 3人关注
-
总结：Hive，Hive on Spark和SparkSQL区别
-
再议数据仓库之拉链算法
拉链算法是目前数据仓库领域比较XX的算法之一..通用非常广.记录数据量很大且为全量实体记录历史的操作。 例如，某某移动通信公司客户资料，以河北为...
-
crontab定期执行命令以及案例详解
一，什么是crond，crontab linux下面定期分为二部分，一部分是后台程序crond，一部分是crontab往crond输入指令的接口...
-
Kettle:使用触发器和快照表进行增量数据同步
本文介绍了使用快照表和触发器进行增量数据同步。主库为Oracle 11g数据库，针对需要同步的表建立增量数据临时表以及触发器并通过kettle定...
-
使用Kettle实现数据实时增量同步--时间戳增量回滚同步
使用Kettle实现数据实时增量同步 0. 前言 本文介绍了使用Kettle对一张业务表数据（500万条数据以上）进行实时（10秒）同步，采用了...
-
使用Kettle工具进行增量数据同步增量同步的方式有很多种，我使用的是: 快照表 + 触发器需求： 当主库库表发生增删改时，从库库表与主库库表数据保持一致。 环境：1、Mysql2...
-
ETL-Kettle学习笔记（入门，简介，简单操作）Kettle:简介 ETL:简介 ETL（Extract-Transform-Load的缩写，即数据抽取、转换、装载的过程），对于企业或行业应用...
-
hive中拉链表
在有些情况下，为了保持历史的一些状态，需要用拉链表来做，这样做目的在可以保留所有状态的情况下可以节省空间。 拉链表适用于以下几种情况吧 数据量有...
-
kettle日志记录
环境描述： 现在一个项目有很多个作业，需要知道每次跑批后哪些ktr跑成功，哪些失败了 问题解决： 下面是一个具体的操作流程 首先建立数据库表 数...
-
Kettle中各个版本比较大的变化
Kettle(现在已经更名为PDI，Pentaho Data Integration)中各个版本比较大的变化 版本 新增功能kettle 8.1...
{var%20f='http://v.t.sina.com.cn/share/share.php?appkey=1881139527',u=z||d.location,p=['&url=',e(u),'&title=',e(t||d.title),'&source=',e(r),'&sourceUrl=',e(l),'&content=',c||'gb2312','&pic=',e(p||'')].join('');function%20a(){if(!window.open([f,p].join(''),'mb',['toolbar=0,status=0,resizable=1,width=440,height=430,left=',(s.width-440)/2,',top=',(s.height-430)/2].join('')))u.href=[f,p].join('');};if(/Firefox/.test(navigator.userAgent))setTimeout(a,0);else%20a();})(screen,document,encodeURIComponent,'','','https://upload.jianshu.io/collections/images/1839523/1524753162799.png', '推荐专题《ETL》（ 分享自 @简书 ）','https://jianshuapi.com/c/d8d2623f4d48?utm_campaign=maleskine&utm_content=collection&utm_medium=reader_share&utm_source=weibo','页面编码gb2312|utf-8默认gb2312'));){kind=link}