前言:
随着大数据平台的不断发展,我们对hadoop使用也越来越多。同时hadoop许多命令在使用时会产生遗忘和参数选择的问题出现。本文将hadoop平台上的hdfs与yarn常用命令进行汇总解释。
一 hdfs基本语法
hadoop中hdfs命令格式分为两种,一种为hadoop fs 具体命令或者是 hdfs dfs 具体命令。两种格式都能够实现对hdfs进行操作,且实现效果是完全相同。
二 hdfs常用命令
2.1 文件的上传与下载
文件的上传与下载
命令 |
解释 |
示例 |
-moveFromLocal |
从本地剪切到HDFS文件系统 |
hadoop fs -moveFromLocal dir1 dir2 |
-copyFromLocal |
从本地拷贝(复制)到HDFS文件系统 |
hadoop fs -copyFromLocal dir1 dir2 |
-put |
从本地拷贝(复制)到HDFS文件系统 |
hadoop fs -put dir1 dir2 |
-appendToFile |
追加一个文件到已经存在的文件末尾 |
hadoop fs -appendToFile dir1 dir2 |
-copyToLocal |
从HDFS下载文件到本地系统 |
hadoop fs -copyToLocal dir1 dir2 |
-get |
从HDFS下载文件到本地系统 |
hadoop fs -get dir1 dir2 |
2.2 HDFS对文件直接操作
文件直接操作
命令 |
解释 |
示例 |
-ls |
显示目录信息 |
hadoop fs -ls dir1 |
-cat |
显示文件内容 |
hadoop fs -cat dir1 |
-chgrp,-chomd,-chown |
修改文件权限(与liunx 系统使用方式一样) |
hadoop fs -chmod 777 |
-mkdir |
创建路径 |
hadoop fs -mkdir dir1 |
-cp |
从一个位置复制文件到另一个位置 |
hadoop fs -cp dir1 dir2 |
-mv |
在HDFS目录中移动文件 |
hadoop fs -mv dir1 dir2 |
-tail |
显示一个文件的末尾 1kb的数据 |
hadoop fs -tail dir1 |
-rm |
删除文件或文件夹 |
hadoop fs -rm dir1 |
-rm -r |
递归删除目录及目录里面的内容 |
hadoop fs -rm -r dir1 |
-du |
统计文件夹的大小信息 |
hadoop fs -du dir1 |
-setrep |
设置HDFS中文件的副本数量 |
hadoop fs -setrep 10 dir1 |
二 Yarn常用命令
Yarn状态的查询,可以在对应的客户端页面进行查看,还可以通过命令操作,常用命令如下所示。
2.1 yarn application 查看任务
yarn application 查看任务命令
命令 |
解释 |
yarn application -list |
列出所有的Application |
yarn application -list -appStates 状态有(ALL、NEW、NEW_SAVING、SUBMITTED、ACCEPTED、RUNNING、FINISHED、FAILED、KILLED) |
根据Application状态进行过滤展示 |
yarn application -kill <ApplicationId> |
根据applicationid号kill掉application |
2.2 yarn logs查看日志
yarn logs查看日志
命令 |
解释 |
yarn logs -applicationId <ApplicationId> |
查看对应的application日志 |
yarn logs -applicationId <ApplicationId> -containerId <ContainerId> |
查看对应container日志 |
2.3 yarn applicationattempt查看尝试运行的任务
yarn applicationattempt查看尝试运行的任务
命令 |
解释 |
yarn applicationattempt -list <ApplicationId> |
列出所有Application尝试的列表 |
yarn applicationattempt -status <ApplicationAttemptId> |
打印ApplicationAttemp状态 |
2.4 yarn container查看容器
yarn container查看容器
命令 |
解释 |
yarn container -list <ApplicationAttemptId> |
列出所有Container |
yarn container -status <ContainerId> |
打印Container状态 |
2.5 yarn node查看节点状态
yarn node查看节点状态
命令 |
解释 |
yarn node -list -all |
列出所有节点信息 |
2.6 yarn rmadmin更新配置 yarn queue查看队列
命令 |
解释 |
yarn rmadmin -refreshQueues |
加载队列配置 |
yarn queue -status <QueueName> |
打印队列信息 |
yarn的主要使用还是在客户端页面8088对其进行直接操作。
hdfs文件系统很多命令与liunx命令的使用方式相同,可以在客户端进行操作也可以在命令行进行操作。