1.问题原因 主要时间消耗在往MyBatis中批量插入数据。mapper configuration是用foreach循环做的,经过项目实践发现,当表的列数较多(20+...
IP属地:湖北
1.问题原因 主要时间消耗在往MyBatis中批量插入数据。mapper configuration是用foreach循环做的,经过项目实践发现,当表的列数较多(20+...
1.数仓分层概述 数据仓库分为三层,自下而上为:数据引入层(ODS,Operation Data Store)数据公共层(CDM,Common Data Model)数据应用...
1、map:将集合中每个元素乘以2 scala实现: java实现: 2、filter:过滤出集合中的偶数 scala实现: java实现: 3、flatMap:将行拆分为单...
1. Spark是什么 Spark,是一种通用的大数据计算框架,正如传统大数据技术Hadoop的MapReduce、Hive引擎,以及Storm流式实时计算引擎等。Spark...
Flink基础 flink的安装: 如果为单机环境,直接从flink官网下载最新的flink包解压即可。 下载地址:https://flink.apache.org/down...
前言,2019年底,由于我们现网的搜索是通过solr实现,年久失修,公司决定未来通过ES来重构。首先需要调研并学习下ES,为后续切换做准备,出于工作需要我就踏上了ES的学习与...
大数据开发听着挺玄乎的,其实很多公司就是写写SQL,分析分析数据,这也被称作大数据开发。对很多公司的大数据开发而言,平时工作写SQL,使用Hive做离线数据分析,使用UDF、...
2020.5.14,黑色星期四,一个30岁的程序员被裁员了!做开发7 8年了,一路从初级程序员一步一脚印,升到高级开发,公司也从初创公司到了D加轮!然后年前跳槽到了一家相对较...