Anaconda与Python版本对应关系表 https://docs.anaconda.com/anaconda/packages/oldpkglists/[https:/...
发简信
IP属地：贵州
-
CDH集群上部署Python3环境及运行Pyspark作业 -
Flink Sink&Source
1 Kafka 1.1 Kafka Source 1.2 Kafka Sink 2 RabbitMQ 2.1 RabbitMQ Source 2.2 RabbitMQ Sin...
-
借助hive快速导数据到hbase(01)
需求：解析XML文件，写入到hbase（xml文件格式为GBK，spark读进来会乱码）痛点：普通的写入太慢太耗费时间 1.spark解决读取GBK乱码问题 object P...
-
借助hive快速导数据到hbase（02）
上一篇咱们讲了通过hive映射为hbase表导数据，这儿我么再讲一下通过hive，使用hbase原生jar生成hfile再bulkload到hbase，可以做到hive解偶 ...
-
使用Scala中的XML解析整个文件夹下的xml，并忽略dtd检测
需求：快速解析一个文件夹下的所有xml（10年的数据，大概一千万个xml）遇到的坑：xml里面有dtd，必须这个文件存在，不然会报错处理思路：重写原有的方法 语言对比：Jav...
-
Flink sink数据到带有账号密码的ES
话不多说直接上代码 /*********************************** 写数据到ElasticSearch ********************...
-
Flink结合布隆过滤器进行全局去重并结合状态管理进行全局标号
/********************************** 数据去重 **************************************/ /*...
-
花了半个月，终于把Python库全部整理出来了，非常全面库名称简介 Chardet 字符编码探测器，可以自动检测文本、网页、xml的编码。 colorama 主要用来给文本添加各种颜色，并且非常简单易用。 Prettytable ...
