macOS安装Spark时遇到的问题

由于 spark-shell 报错的问题了解到Apache spark官方不支持 Java 10 ，而系统里装的却是最新的 Java 11。折腾了半天算是把整个安装流程走通了。做个笔记mark一下。

首先对于 Java 版本的问题，在终端可以先自检系统里的 Java 版本号

$ java -version
java version "11.0.1" 2018-10-16 LTS
Java(TM) SE Runtime Environment 18.9 (build 11.0.1+13-LTS)
Java HotSpot(TM) 64-Bit Server VM 18.9 (build 11.0.1+13-LTS, mixed mode)

1. 卸载当前使用的`Java`

macOS在 System Preference 里可以找到 Java 图标，点开后会弹出 Java control panel ，但没有发现能够卸载 java的按钮。那只好找官方文档看看了：(https://www.java.com/en/download/help/mac_uninstall_java.xml)

两种办法卸载当前版本

下载官方的 Java Uninstall Tool
以管理员身份在终端执行命令：
- sudo rm -fr /Library/Internet\ Plug-Ins/JavaAppletPlugin.plugin
- sudo rm -fr /Library/PreferencePanes/JavaControlPanel.prefPane
- sudo rm -fr ~/Library/Application\ Support/Oracle/Java

但是，此时用$ java -version 查询 Java 的版本号，还是之前的版本，为什么呢？

印度小哥的视频：https://youtu.be/a-aW1pKvLsg

macOS系统下默认读取/Library/Java/JavaVirtualMachines 路径下的.jdk 文件，自动读取最高版本的 Java。我们只需要到这个路径下把正在使用的版本对应的.jdk文件。这样该版本Java 就被删除了（需要管理员身份）。

此时系统没有里没有Java，如果再次查询Java的版本号：

$ java -version
No Java runtime present, requesting install.

2. 安装`Java`

由于甲骨文公司已经将Java 8 从官网上下架，用brew 来安装 Java8 会出现"无法发现名为"java8"可用的cask"。对于这个问题有两种解决方法，首先先把Java8的包下载下来

Java 8下载地址（需要注册登录）：https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

对于brew cask的安装方法较为复杂，推荐直接用下载的包直接双击安装。

用brew安装 Java：

参考：https://github.com/Homebrew/homebrew-cask-versions/issues/7253#issuecomment-484356654

首先用Python 的SimpleHTTPServer 做一个简单的Web服务器

SimpleHTTPServer是Python 2自带的一个模块，是Python的Web服务器。它在Python 3已经合并到http.server模块中。SimpleHTTPServer在Python 3的用法与在Python 2的用法相似(python3 -m http.server 6789), 本文以Python 2为例。

使用时还要注意防火墙因素。

进入Java 安装包所在目录，在终端执行：
```
$ python -m SimpleHTTPServer 8000
```
此时可以通过localhost:8000/进行访问该目录下的文件。
运行以下命令，使brew可以根据版本号来安装包
```
$ brew tap caskroom/versions
```

在Homebrew的Taps目录下找到Caskroom，在/usr⁩/⁨local/Homebrew⁩/Library⁩/Taps⁩/caskroom⁩/homebrew-versions⁩/Casks/ 下创建java8.rb文件：

java8.rb 脚本参照：https://github.com/Homebrew/homebrew-cask-versions/commit/75334737c961a4c16e9889ef5bb67a65fa6eee4b#diff-ddb5930ea70cb853215ab5f523c0c016

cask 'java8' do
  version '8u212,b10:59066701cf1a433da9770636fbc4c9aa'
  sha256 '9bcb4265a55e2fe63b9c58ca6c5a54eb6dda303bb69510ca6eddc2f088e41b2a'
    #authparam 'XXXX'
  
  #url "https://download.oracle.com/otn/java/jdk/#{version.before_comma}-#{version.after_comma.before_colon}/#{version.after_colon}/jdk-#{version.before_comma}-macosx-x64.dmg?AuthParam=#{authparam}" 
  url "http://localhost:8000/jdk-#{version.before_comma}-macosx-x64.dmg",
      cookies: {
                 'oraclelicense' => 'accept-securebackup-cookie',
               }
  name 'Java 8 Standard Edition Development Kit'
  homepage 'https://www.oracle.com/technetwork/java/javase/overview/index.html'

  # auto_updates true: JDK does not auto-update
  depends_on macos: '>= :yosemite'

  pkg 'JDK 8 Update 212.pkg'

  postflight do
    system_command '/bin/ln',
                   args: ['-nsf', '--', "/Library/Java/JavaVirtualMachines/jdk-#{version.before_comma}.jdk/Contents/Home", '/Library/Java/Home'],
                   sudo: true
    system_command '/bin/ln',
                   args: ['-nsf', '--', "/Library/Java/JavaVirtualMachines/jdk-#{version.before_comma}.jdk/Contents/MacOS", '/Library/Java/MacOS'],
                   sudo: true
    system_command '/bin/mkdir',
                   args: ['-p', '--', "/Library/Java/JavaVirtualMachines/jdk-#{version.before_comma}.jdk/Contents/Home/bundle/Libraries"],
                   sudo: true
    system_command '/bin/ln',
                   args: ['-nsf', '--', "/Library/Java/JavaVirtualMachines/jdk-#{version.before_comma}.jdk/Contents/Home/lib/server/libjvm.dylib", "/Library/Java/JavaVirtualMachines/jdk-#{version.before_comma}.jdk/Contents/Home/bundle/Libraries/libserver.dylib"],
                   sudo: true
  end

  uninstall pkgutil: "com.oracle.jdk#{version.before_comma}",
            delete:  [
                       "/Library/Java/JavaVirtualMachines/jdk-#{version.before_comma}.jdk/Contents",
                       '/Library/Java/Home',
                       '/Library/Java/MacOS',
                     ],
            rmdir:   "/Library/Java/JavaVirtualMachines/jdk-#{version.before_comma}.jdk"

  caveats do
    license 'https://www.oracle.com/technetwork/java/javase/terms/license/javase-license.html'
  end
end

需要改动的地方是sha256，文件用sha256来验证文件源。可以用oppenssl工具进行验证，最后将得到的sha256码复制到对应的地方：

$ openssl dgst -sha256 PathToPack
  sha256 '9bcb4265a55e2fe63b9c58ca6c5a54eb6dda303bb69510ca6eddc2f088e41b2a'

version部分对应着下载安装包的地址，例如下载地址为https://download.oracle.com/otn/java/jdk/8u212-b10/59066701cf1a433da9770636fbc4c9aa/jdk-8u212-macosx-x64.dmg?AuthParam=XXXX，那么版本号就是8u212，后面的数字对应着修改就行，得到：

version '8u212,b10:59066701cf1a433da9770636fbc4c9aa'

注意到下载地址里有AuthParam的字段，这里是和账户相关联的。

authparam 'XXXX'

所以url部分也要改为

url "https://download.oracle.com/otn/java/jdk/#{version.before_comma}-#{version.after_comma.before_colon}/#{version.after_colon}/jdk-#{version.before_comma}-macosx-x64.dmg?AuthParam=#{authparam}"

以上是利用安装包下载地址的配置方法。在本例中我们已经下载好了安装包，也用Python做了一个简单的Web服务器，所以除了url要改为：

url "http://localhost:8000/jdk-#{version.before_comma}-macosx-x64.dmg"

保存，准备安装。

运行以下命令执行安装：
```
$ brew cask install java8
```

安装spark

先把scala装上：

$ brew install scala

再装apache-spark ：

$ brew install apache-spark

最后在工作目录下的 bash 配置文件 .bash_profile 中添加 spark 目录

export SPARK_HOME=/usr/local/Cellar/apache-spark/2.0.1/libexec

最后推荐一篇简易安装说明，如果早点看到这篇文章也不用那么折腾了……

How to Install PySpark and Apache Spark on MacOS： https://sharing.luminis.eu/blog/how-to-install-pyspark-and-apache-spark-on-macos/

macOS安装Spark时遇到的问题

1. 卸载当前使用的Java

2. 安装Java

安装spark

1. 卸载当前使用的`Java`

2. 安装`Java`