大佬您好,我按照您的方法生成动态类,而且在类字符串之前添加了import 工具类的相关字符串,这种方法生成的动态类能在spark本地模式下正常运行,但在集群模式下却无法识别这部分工具类,请问能有什么办法解决嘛?这一点对我很重要,求求大佬指点下方向,感激不尽。🙏🙏🙏
Scala - 反射动态创建方法有时候我们想定义一个字符串的方法,然后通过scala的动态创建class,然后反射调用方法,在很多情景下是在学有用的,比较动态自定义spark的mapParations,当然...
大佬您好,我按照您的方法生成动态类,而且在类字符串之前添加了import 工具类的相关字符串,这种方法生成的动态类能在spark本地模式下正常运行,但在集群模式下却无法识别这部分工具类,请问能有什么办法解决嘛?这一点对我很重要,求求大佬指点下方向,感激不尽。🙏🙏🙏
Scala - 反射动态创建方法有时候我们想定义一个字符串的方法,然后通过scala的动态创建class,然后反射调用方法,在很多情景下是在学有用的,比较动态自定义spark的mapParations,当然...
@大猪大猪 大佬您好,我这边发现如果Spark任务提交至集群上运行而不是本地运行模式的话貌似没有办法识别UDF的import信息,比如我这边在动态生成类之前import了java.util.SimpleDateFormat类,这时候Spark任务在local模式下可以识别这些信息并生成动态类,但是如果是提交至集群上运行的话则识别不了,请问您遇到过这种情况吗?需要怎么解决。
Spark - 动态注册UDF昨天有位大哥问小弟一个Spark问题,他们想在不停Spark程序的情况下动态更新UDF的逻辑,他一问我这个问题的时候,本猪心里一惊,Spark**还能这么玩?我出于程序员的本...
@大猪大猪 是的,我前两天也测试过,可以通过在生成类之前添加import信息实现工具类的导入,谢谢大佬的分享,您的这篇文章对我帮助很大。
Spark - 动态注册UDF昨天有位大哥问小弟一个Spark问题,他们想在不停Spark程序的情况下动态更新UDF的逻辑,他一问我这个问题的时候,本猪心里一惊,Spark**还能这么玩?我出于程序员的本...
这种方法反射生成的动态类是否能够import其他的包呢?反射是否能够识别呢?就是说如果我写一个比较复杂的UDF,UDF需要调用其他的jar包,又是否能顺利调用呢?
Spark - 动态注册UDF昨天有位大哥问小弟一个Spark问题,他们想在不停Spark程序的情况下动态更新UDF的逻辑,他一问我这个问题的时候,本猪心里一惊,Spark**还能这么玩?我出于程序员的本...