hadoop运行jar包处理文件一直处于Running job状态的解决方法

2022年7月28日10:17:27

参考博客:https://blog.csdn.net/dai451954706/article/details/50464036

起初一直以为是导出的jar包有问题,百度了很久也没找到解决办法,最后终于让我找到了有用的解决办法。

hadoop运行jar包处理文件一直处于Running job状态的解决方法

yarn-site.xml中添加

<property>
    <name>yarn.nodemanager.resource.memory-mb</name>
    <value>20480</value>
</property>
<property>
   <name>yarn.scheduler.minimum-allocation-mb</name>
   <value>2048</value>
</property>
<property>
    <name>yarn.nodemanager.vmem-pmem-ratio</name>
    <value>2.1</value>
</property>

我改完这个配置文件之后再次运行,发现还是处于Running job的状态,然后在mapred-site.xml中把下面几行配置删掉

 <property>
	 <name>mapreduce.framework.name</name>
	  <value>yarn</value>
 </property>

然后再次执行就成功了
hadoop运行jar包处理文件一直处于Running job状态的解决方法

  • 作者:bblueone
  • 原文链接:https://blog.csdn.net/qq_45075097/article/details/109382126
    更新时间:2022年7月28日10:17:27 ,共 543 字。