鱼C论坛

 找回密码
 立即注册
查看: 7028|回复: 11

hadoop2.10执行自带的测试程序不输出output目录

[复制链接]
发表于 2021-1-19 23:53:13 | 显示全部楼层 |阅读模式

马上注册,结交更多好友,享用更多功能^_^

您需要 登录 才可以下载或查看,没有账号?立即注册

x
执行的命令:
  1.   ./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar grep input output 'dfs[a-z.]+'
复制代码


使用的jdk8,hadoop2.0,执行测试数据时,并不会生成output目录,而是生成以下目录:

  1. hadoop@code-shop:/usr/local/hadoop$ ./bin/hdfs dfs -ls
  2. Found 2 items
  3. drwxr-xr-x   - hadoop supergroup          0 2021-01-19 23:39 grep-temp-1442452675
  4. drwxr-xr-x   - hadoop supergroup          0 2021-01-19 22:51 input
  5. hadoop@code-shop:/usr/local/hadoop$
复制代码


运行过程中的日志:貌似并未发现明显错误。

  1. hadoop@code-shop:/usr/local/hadoop$ ./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar grep input output 'dfs[a-z.]+'
  2. 21/01/19 23:43:20 INFO Configuration.deprecation: session.id is deprecated. Instead, use dfs.metrics.session-id
  3. 21/01/19 23:43:20 INFO jvm.JvmMetrics: Initializing JVM Metrics with processName=JobTracker, sessionId=
  4. 21/01/19 23:43:20 INFO input.FileInputFormat: Total input files to process : 8
  5. 21/01/19 23:43:21 INFO mapreduce.JobSubmitter: number of splits:8
  6. 21/01/19 23:43:22 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_local1446384809_0001
  7. 21/01/19 23:43:22 INFO mapreduce.Job: The url to track the job: http://localhost:8080/
  8. 21/01/19 23:43:22 INFO mapreduce.Job: Running job: job_local1446384809_0001
  9. 21/01/19 23:43:22 INFO mapred.LocalJobRunner: OutputCommitter set in config null
  10. 21/01/19 23:43:22 INFO output.FileOutputCommitter: File Output Committer Algorithm version is 1
  11. 21/01/19 23:43:22 INFO output.FileOutputCommitter: FileOutputCommitter skip cleanup _temporary folders under output directory:false, ignore cleanup failures: false
  12. 21/01/19 23:43:22 INFO mapred.LocalJobRunner: OutputCommitter is org.apache.hadoop.mapreduce.lib.output.FileOutputCommitter
  13. 21/01/19 23:43:22 INFO mapred.LocalJobRunner: Waiting for map tasks
  14. 21/01/19 23:43:22 INFO mapred.LocalJobRunner: Starting task: attempt_local1446384809_0001_m_000000_0
  15. 21/01/19 23:43:22 INFO output.FileOutputCommitter: File Output Committer Algorithm version is 1
  16. 21/01/19 23:43:22 INFO output.FileOutputCommitter: FileOutputCommitter skip cleanup _temporary folders under output directory:false, ignore cleanup failures: false
  17. 21/01/19 23:43:22 INFO mapred.Task:  Using ResourceCalculatorProcessTree : [ ]
  18. 21/01/19 23:43:22 INFO mapred.MapTask: Processing split: hdfs://localhost:9000/user/hadoop/input/hadoop-policy.xml:0+10206
  19. 21/01/19 23:43:49 INFO mapreduce.Job: Job job_local1446384809_0001 running in uber mode : false
  20. 21/01/19 23:43:49 INFO mapred.MapTask: (EQUATOR) 0 kvi 26214396(104857584)
  21. 21/01/19 23:43:49 INFO mapred.MapTask: mapreduce.task.io.sort.mb: 100
  22. 21/01/19 23:43:49 INFO mapred.MapTask: soft limit at 83886080
  23. 21/01/19 23:43:49 INFO mapreduce.Job:  map 0% reduce 0%
  24. 21/01/19 23:43:49 INFO mapred.MapTask: bufstart = 0; bufvoid = 104857600
  25. 21/01/19 23:43:49 INFO mapred.MapTask: kvstart = 26214396; length = 6553600
  26. 21/01/19 23:43:49 INFO mapred.MapTask: Map output collector class = org.apache.hadoop.mapred.MapTask$MapOutputBuffer
  27. 21/01/19 23:43:59 INFO mapred.LocalJobRunner:
  28. 21/01/19 23:43:59 INFO mapred.MapTask: Starting flush of map output
  29. 21/01/19 23:43:59 INFO mapred.MapTask: Spilling map output
  30. 21/01/19 23:43:59 INFO mapred.MapTask: bufstart = 0; bufend = 17; bufvoid = 104857600
  31. 21/01/19 23:43:59 INFO mapred.MapTask: kvstart = 26214396(104857584); kvend = 26214396(104857584); length = 1/6553600
  32. 21/01/19 23:43:59 INFO mapred.MapTask: Finished spill 0
  33. 21/01/19 23:43:59 INFO mapred.Task: Task:attempt_local1446384809_0001_m_000000_0 is done. And is in the process of committing
  34. 21/01/19 23:43:59 INFO mapred.LocalJobRunner: map
  35. 21/01/19 23:43:59 INFO mapred.Task: Task 'attempt_local1446384809_0001_m_000000_0' done.
  36. 21/01/19 23:43:59 INFO mapred.Task: Final Counters for attempt_local1446384809_0001_m_000000_0: Counters: 23
  37.         File System Counters
  38.                 FILE: Number of bytes read=304459
  39.                 FILE: Number of bytes written=803155
  40.                 FILE: Number of read operations=0
  41.                 FILE: Number of large read operations=0
  42.                 FILE: Number of write operations=0
  43.                 HDFS: Number of bytes read=10206
  44.                 HDFS: Number of bytes written=0
  45.                 HDFS: Number of read operations=5
  46.                 HDFS: Number of large read operations=0
  47.                 HDFS: Number of write operations=1
  48.         Map-Reduce Framework
  49.                 Map input records=237
  50.                 Map output records=1
  51.                 Map output bytes=17
  52.                 Map output materialized bytes=25
  53.                 Input split bytes=122
  54.                 Combine input records=1
  55.                 Combine output records=1
  56.                 Spilled Records=1
  57.                 Failed Shuffles=0
  58.                 Merged Map outputs=0
  59.                 GC time elapsed (ms)=13
  60.                 Total committed heap usage (bytes)=234881024
  61.         File Input Format Counters
  62.                 Bytes Read=10206
  63. 21/01/19 23:43:59 INFO mapred.LocalJobRunner: Finishing task: attempt_local1446384809_0001_m_000000_0
  64. 21/01/19 23:43:59 INFO mapred.LocalJobRunner: Starting task: attempt_local1446384809_0001_m_000001_0
  65. 21/01/19 23:43:59 INFO output.FileOutputCommitter: File Output Committer Algorithm version is 1
  66. 21/01/19 23:43:59 INFO output.FileOutputCommitter: FileOutputCommitter skip cleanup _temporary folders under output directory:false, ignore cleanup failures: false
  67. 21/01/19 23:43:59 INFO mapred.Task:  Using ResourceCalculatorProcessTree : [ ]
  68. 21/01/19 23:43:59 INFO mapred.MapTask: Processing split: hdfs://localhost:9000/user/hadoop/input/capacity-scheduler.xml:0+8814
  69. Killed
复制代码
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2021-1-20 14:01:35 | 显示全部楼层

回帖奖励 +2 鱼币

想知道小甲鱼最近在做啥?
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2021-2-6 08:37:03 | 显示全部楼层

回帖奖励 +2 鱼币

看不懂
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2021-3-27 15:30:29 | 显示全部楼层

回帖奖励 +2 鱼币

兄弟我在源码确实找到了产生临时目录的代码

  1. Path tempDir = new Path("grep-temp-" + Integer.toString(new Random().nextInt(2147483647)));
复制代码


而你的日志中的16行

  1. 21/01/19 23:43:22 INFO output.FileOutputCommitter: FileOutputCommitter skip cleanup _temporary folders under output directory:false, ignore cleanup failures: false
复制代码


显示跳过了清理临时目录,我觉得有可能是这个原因导致的output目录,但是我并没有找到解决方式,你可以检查一下MapReduce的配置文件是不是配置的有问题
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2021-4-1 16:57:48 | 显示全部楼层

回帖奖励 +2 鱼币

我就是来混分的
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2021-4-11 16:58:27 | 显示全部楼层

回帖奖励 +2 鱼币

看不懂啊
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2021-6-16 13:02:51 | 显示全部楼层

回帖奖励 +2 鱼币

看不懂
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2021-6-22 13:00:47 | 显示全部楼层

回帖奖励 +2 鱼币

妙啊
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2021-6-26 18:45:17 | 显示全部楼层

回帖奖励 +2 鱼币

想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复

使用道具 举报

发表于 2021-6-28 09:17:31 | 显示全部楼层

回帖奖励 +2 鱼币

感谢分享!
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2021-7-10 11:07:52 | 显示全部楼层

回帖奖励 +2 鱼币

学习一下
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

发表于 2021-7-10 11:13:04 | 显示全部楼层
学习一下
想知道小甲鱼最近在做啥?请访问 -> ilovefishc.com
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Archiver|鱼C工作室 ( 粤ICP备18085999号-1 | 粤公网安备 44051102000585号)

GMT+8, 2024-3-29 22:24

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表