学无先后,达者为师

网站首页 编程语言 正文

Hadoop中hdfs与yarn命令大全

作者:杂乱无章的我 更新时间: 2022-07-30 编程语言

前言

随着大数据平台的不断发展,我们对hadoop使用也越来越多。同时hadoop许多命令在使用时会产生遗忘和参数选择的问题出现。本文将hadoop平台上的hdfs与yarn常用命令进行汇总解释。

一  hdfs基本语法

hadoop中hdfs命令格式分为两种,一种为hadoop fs 具体命令或者是 hdfs dfs 具体命令。两种格式都能够实现对hdfs进行操作,且实现效果是完全相同。

二  hdfs常用命令

2.1 文件的上传与下载

文件的上传与下载
命令 解释 示例
-moveFromLocal 从本地剪切到HDFS文件系统 hadoop fs  -moveFromLocal dir1 dir2
-copyFromLocal 从本地拷贝(复制)到HDFS文件系统 hadoop fs  -copyFromLocal dir1 dir2
-put 从本地拷贝(复制)到HDFS文件系统 hadoop fs -put dir1 dir2
-appendToFile 追加一个文件到已经存在的文件末尾 hadoop fs -appendToFile dir1 dir2
-copyToLocal

从HDFS下载文件到本地系统

hadoop fs -copyToLocal dir1 dir2
-get 从HDFS下载文件到本地系统 hadoop fs -get dir1 dir2

2.2 HDFS对文件直接操作

文件直接操作
命令 解释 示例
-ls 显示目录信息 hadoop fs -ls dir1
-cat 显示文件内容 hadoop fs -cat dir1
-chgrp,-chomd,-chown

修改文件权限(与liunx

系统使用方式一样)

hadoop fs -chmod 777
-mkdir 创建路径 hadoop fs -mkdir dir1
-cp 从一个位置复制文件到另一个位置 hadoop fs -cp dir1 dir2
-mv 在HDFS目录中移动文件 hadoop fs -mv dir1 dir2
-tail

显示一个文件的末尾

1kb的数据

hadoop fs -tail dir1
-rm 删除文件或文件夹 hadoop fs -rm dir1
-rm -r 递归删除目录及目录里面的内容 hadoop fs -rm -r dir1
-du 统计文件夹的大小信息 hadoop fs -du dir1
-setrep 设置HDFS中文件的副本数量 hadoop fs -setrep 10 dir1

二   Yarn常用命令

        Yarn状态的查询,可以在对应的客户端页面进行查看,还可以通过命令操作,常用命令如下所示。

2.1 yarn application 查看任务

yarn application 查看任务命令
命令 解释
yarn application -list 列出所有的Application

yarn application -list -appStates

状态有(ALL、NEW、NEW_SAVING、SUBMITTED、ACCEPTED、RUNNING、FINISHED、FAILED、KILLED)

根据Application状态进行过滤展示
yarn application -kill <ApplicationId> 根据applicationid号kill掉application

2.2 yarn logs查看日志

yarn logs查看日志
命令 解释
yarn logs -applicationId <ApplicationId> 查看对应的application日志

yarn logs -applicationId <ApplicationId>

-containerId <ContainerId>

查看对应container日志

2.3 yarn applicationattempt查看尝试运行的任务

yarn applicationattempt查看尝试运行的任务
命令 解释
yarn applicationattempt -list <ApplicationId> 列出所有Application尝试的列表
yarn applicationattempt -status <ApplicationAttemptId> 打印ApplicationAttemp状态

2.4  yarn container查看容器

yarn container查看容器
命令 解释
yarn container -list <ApplicationAttemptId> 列出所有Container
yarn container -status <ContainerId> 打印Container状态

2.5  yarn node查看节点状态

yarn node查看节点状态
命令 解释
yarn node -list -all 列出所有节点信息

2.6  yarn rmadmin更新配置 yarn queue查看队列

命令 解释
yarn rmadmin -refreshQueues 加载队列配置
yarn queue -status <QueueName> 打印队列信息

yarn的主要使用还是在客户端页面8088对其进行直接操作。

hdfs文件系统很多命令与liunx命令的使用方式相同,可以在客户端进行操作也可以在命令行进行操作。

原文链接:https://blog.csdn.net/m0_58258383/article/details/126044240

栏目分类
最近更新