直奔主题:
其实这个错误就是编译的程序的scala版本和提交时的版本不一致导致的.
我是在idea上写的scala程序 用的是2.11.8, 但是在提交spark时 忽然发现spark用的是2.10.5
所以
解决办法:
就是在idea上重新下个和spark集群上相同的版本就行了 .
但是我在集群上配置的明明就是2.11.8 包括 spark-env.sh里的配置也是
原因:
spark1.6.1(当前版本)还不支持2.11.x , 其中很多的插件还不兼容
spark就默认是用了 bin/下自带的scala版本
先删除再添加一下就可以了