软件系统定制开发运行spark-shell查看版本报错[init] error: error while Loading object, Missing dependency‘ object scala in

问题

运行-shell软件系统定制开发查看版本报错

[init] error: error while Loading object, Missing dependency' object scala in
  • 1

详细问题

报错信息

笔者bashrc配置(vim ~/.bashrc

笔者spark-env.sh配置(vim spark安装目录/conf/spark-env.sh)

解决方案

对于spark-env.sh配置(vim spark安装目录/conf/spark-env.sh`)
在SPARK_SBMIT_OPTS中增加

-Dscala.usejavacp=true
  • 1

原因

由于spark依赖运行,scala依赖于java, 在jvm(即java虚拟机)上运行, 对于scala2.8软件系统定制开发以后的版本, 软件系统定制开发默认不会使用java classpath,因此这里需要手动设置,让scala使用java。

总结

笔者根据报错提示与老师指导,在 bashrc下增加如下配置,

再次运行spark-shell查看版本依旧产生上述报错
笔者检查并尝试更改spark-env.sh配置(主要检查是否存在拼写错误)
果然, 存在一处拼写错误

再次运行spark-shell查看版本貌似解决了

但是, 存在语法错误


删除i

再次报错

到此, 错误虽然没有解决, 但是似乎方向已经明确, 在加载spark-env.sh出现报错
可以对此猜想进行验证

猜想无误

具体是哪里的问题
可以一次注释一半内容, 观察是否存在错误(类似于二分的思想)
错误配置如下框(即注释该语句, 可以运行spark-shell查看版本, 否则, 运行spark-shell查看版本报错[init] error: error while Loading object, Missing dependency‘ object scala in)

对于该配置的作用, 简单而言, 进行IDEA 远程断点调试,具体而言,可以参考该博客
显然, 若是直接注释, 无法进行IDEA 远程断点调试, 要如何修改呢
笔者对于-agentlib:jdwp=transport=dt_socket,server=y,suspend=n,address=5005尝试搜索, 注意到这篇文章

结尾出对该处配置进行解析, 及笔者上文提到的解决方案, 修改后, 最终解决上述报错

参考文献


原创不易
转载请标明出处
如果对你有所帮助 别忘啦点赞支持哈

网站建设定制开发 软件系统开发定制 定制软件开发 软件开发定制 定制app开发 app开发定制 app开发定制公司 电商商城定制开发 定制小程序开发 定制开发小程序 客户管理系统开发定制 定制网站 定制开发 crm开发定制 开发公司 小程序开发定制 定制软件 收款定制开发 企业网站定制开发 定制化开发 android系统定制开发 定制小程序开发费用 定制设计 专注app软件定制开发 软件开发定制定制 知名网站建设定制 软件定制开发供应商 应用系统定制开发 软件系统定制开发 企业管理系统定制开发 系统定制开发