通用转换 针对通用的转换，如加密等很多表同步都使用到的，可以加入插件。可以参考com.alibaba.datax.core.transport.transformer下面的插...
发简信
IP属地：青海
-
datax字段转换
-
解决Spark SQL读数据库时不支持某些数据类型的问题
在大数据平台中，经常需要做数据的ETL，从传统关系型数据库RDBMS中抽取数据到HDFS中。之前开发数据湖新版本时使用Spark SQL来完成ETL的工作，但是遇到了 Spa...
-
一文通俗理解Spark架构、Spark部署方式、配属配置优先级、Spark处理所提交的application的流程、Spark共享变量、Spark监听，以及master、driver、worke...Spark是一种基于内存计算的计算引擎（通俗地说就是计算速度快），由于其可以将计算的中间结果存放在内存中，因此非常适合于迭代计算和交互式查询。 一、Spark的四大核心组件和...
-
偷看了同事的收藏夹，终于明白工资翻三倍的原因同事比我的工资高出三倍，一直以为他天赋好能力高，虚心请教后给我看了他的收藏夹，现在知道也不算太迟，整理出十个免费自学网站，大家不再浪费钱上培训班！ 蜜蜂剪辑视频制作教程 这是...
-
zookeeper原生API操作（创建删除查询更改）zookeeper实战
目前主流有三种方法去操作zookeeper节点，即zookeeper shell、zookeeper原生API、apache curator API（在原生基础上封装，更加友...
-
爬虫系统基础框架 & 何时使用爬虫框架？& requests库 + beautfilsoup来实现简单爬虫转载请注明出处https://www.jianshu.com/p/88f920936edc，谢谢! 一、 爬虫用途和本质： 网络爬虫顾名思义即模仿🕷️在网络上爬取数据，网络爬...
-
6个神级自学编程网站，堪称程序员的充电站，想学编程不能错过！
IT行业一直以来都是一个比较火热的行业，今天小编就为大家介绍6个超级厉害的变成自学网站！ B站 这是一个非常强大的网站，只要你在里面输入一个想学的内容，它就会将各个大网站的资...
-
虚拟机 v.s. 沙盒（区别）虚拟机和和沙盒具有很多相同的特点，因而容易混淆。在讨论虚拟机和沙盒区别之前，我们先来看下一般计算机的大致结构（在一个很高的抽象层次上）。 一般的计算机结构： 从图1-1可以看...
-
数据中台到底是什么？
阿里提出了“大中台，小前台”，其中台事业部包括搜索事业部、共享业务平台、数据技术及产品部，数据技术及产品部应是数据中台建设的核心部门。 那么，数据中台到底是什么？具体包含哪些...
