和Spring Boot相关的一切，涵盖Java后端技术栈
发简信
IP属地：重庆
-
-
-
GIS
-
-
专注于OpenSource GIS开发，从事开源gis开发与架构设计。<br>1 相关专业开发者可加群445307545进行技术交流。<br>2 博客首发更改于微信公众号Spatial Data<br>3 针对公司提供技术咨询，架构设计，项目开发等合作方式。<br>联系方式：qq 674834420
-
本专题基于Geoserver+Openlayer+PostGIS的开源GIS框架为主的技术分享与空间数据应用实践。 请投稿者的文章，阐述问题产生的原因，解决的办法，与总结性概述以利于读者理解并解决自己的业务问题。请不要在文章中添加额外广告以免影响收录。
-
Hadoop的相关文章。
-
RDD及其特点 1、RDD是Spark的核心数据模型，但是个抽象类，全称为Resillient Distributed Dataset，即弹性分布式数据集。 2、RDD在抽象上来说是一种元素集合，包含了数据。它是被分区的，分为多个分区，每个分区分布在集群中的不同节点上，从而让RDD中的数据可以被并行操作。（分布式数据集） 3、RDD通常通过Hadoop上的文件，即HDFS文件或者Hive表，来进行创建；有时也可以通过应用程序中的集合来创建。 4、RDD最重要的特性就是，提供了容错性，可以自动从节点失败中恢复过来。即如果某个节点上的RDDpartition，因为节点故障，导致数据丢了，那么RDD会自动通过自己的数据来源重新计算该partition。这一切对使用者是透明的。 5、RDD的数据默认情况下存放在内存中的，但是在内存资源不足时，Spark会自动将RDD数据写入磁盘。（弹性） 创建RDD 进行Spark核心编程的第一步就是创建一个初始的RDD。该RDD，通常就代表和包含了Spark应用程序的输入源数据。然后通过Spark Core提供的transformation算子，对该RDD进行转换，来获取其他的RDD。 Spark Core提供了三种创建RDD的方式： 1.使用程序中的集合创建RDD（主要用于测试） List<Integer> numbers = Arrays.asList(1,2,3,4,5,6,7,8,9,10); JavaRDD<Integer> numbersRDD = sc.parallelize(numbers); 2.使用本地文件创建RDD（主要用于临时性处理有大量数据的文件） SparkSession spark = SparkSession.builder().master("local").appName("WordCountLocal").getOrCreate(); JavaRDD<String> lines = spark.read().textFile("D:\\Users\\Administrator\\Desktop\\spark.txt").javaRDD(); 3.使用HDFS文件创建RDD（生产环境的常用方式） SparkSession spark = SparkSession.builder().appName("WordCountCluster").getOrCreate(); JavaRDD<String> lines = spark.read().textFile("hdfs://h0:9000/spark.txt").javaRDD(); 使用HDFS文件创建RDD对比使用本地文件创建RDD，需要修改的，只有两个地方： 第一，将SparkSession对象的master("local")方法去掉 第二，我们针对的不是本地文件了，修改为hadoop hdfs上的真正的存储大数据的文件
-
常见的HBase新手问题: 1. 什么样的数据适合用HBase来存储? 2. 既然HBase也是一个数据库，能否用它将现有系统中昂贵的Oracle替换掉? 3. 存放于HBase中的数据记录，为何不直接存放于HDFS之上? 4. 能否直接使用HBase来存储文件数据? 5. Region(HBase中的数据分片)迁移后，数据是否也会被迁移? 6. 为何基于Spark/Hive分析HBase数据时性能较差?
-
-
阿里云官网内容平台！汇聚阿里云优质内容（入门、文档、案例、最佳实践、直播等）！如需转载或内容类合作，邮件yqgroup@service.aliyun.com 秒级回复！<br>
-
-
阿里云官网（<a href="https://links.jianshu.com/go?to=https%3A%2F%2Fwww.aliyun.com%2F" target="_blank">https://www.aliyun.com/</a>），每日分享最新产品技术内容、官网活动资讯！
-
-
-
公众号：宛苏
-
阿里产品大厨，公号「波悟馆」
-
腾讯产品经理，《To B产品经理入门》一书作者。公众号：xander_talk
-
轻流，定制化系统搭建平台。通过“无代码”技术重塑你的系统开发方式，如搭积木般快速、灵活地创造属于你的定制化管理系统，轻松实现多元业务场景的数字化管理
-
独立全栈设计师。Always be a student.<br>工作室微博/B站/微信公众号@设计吐司
