【之前一直都是在写GeoSpark 相关算子以及使用场景的一些简单说明,但是并没有提及到如何去安装GeoSpark。目前我个人经常用的编程语言是Scala和Python,所以针对与这两中语言的安装方法做出一些指导说明】
- Python安装
- 符合的Python版本是3.6和3.7;
- 将Pip升级到最新版;
- 执行以下安装命令:
pip install geospark
- 安装完之后,在使用过程中,你可能需要将geospark中的以下三个包放入到Pyspark目录下的jars里面,如果再次出现问题,还需要将以下三个包放入到spark目录下的jars里面。
geo_wrapper_2.11-0.3.0.jar
geospark-1.3.1.jar
geospark-sql_2.3-1.3.1.jar
- 在使用Python编写的时候,第一步先将以下代码添加上
import findspark
findspark.init()
结尾:以上就是Python 的安装方法;
......................................................................................................................................
- Scala的安装方法:
我用的是Gradle 管理工具,所以只需要在gradle文件中配置以下三个文件就行:
dependencies {
compile group: 'org.apache.spark', name: 'spark-core_2.11', version: '2.3.3'
compile group: 'org.apache.spark', name: 'spark-sql_2.11', version: '2.3.3'
compile group: 'org.apache.spark', name: 'spark-streaming_2.11', version: '2.3.2'
compile group: 'org.datasyslab', name: 'geospark', version: '1.3.1' #第一个文件
compile group: 'org.datasyslab', name: 'geospark-sql_2.3', version: '1.3.1' #第二个文件
compile group: 'org.datasyslab', name: 'geospark-viz_2.3', version: '1.3.1' #第三个文件
compile group: 'org.apache.spark', name: 'spark-unsafe_2.11', version: '2.3.3'
}
如果你们采用的Maven 管理工具,那更简单了:
groupId: org.datasyslab
artifactId: geospark
version: 1.3.2-SNAPSHOT
groupId: org.datasyslab
artifactId: geospark-sql_3.0
version: 1.3.2-SNAPSHOT
groupId: org.datasyslab
artifactId: geospark-viz_3.0
version: 1.3.2-SNAPSHOT
注意:一般来说,如果没有安装成功,在运行的时候通常会出现以下错误:
Java Package not found