学无先后,达者为师

网站首页 编程语言 正文

clickhouse连hadoop集群配置(带kerberos认证)

作者:huawuqing 更新时间: 2022-10-14 编程语言

一、kerberos认证配置准备

  1. 登录kerberos server 为clickhouse用户生成KDC凭证clickhouse.keytab,并把生成的keytab文件拷贝到对应clickhouse的所有节点/etc/security/keytabs/clickhouse.keytab,将文件属主或读权限授权给clickhouse用户,用于访问HDFS时认证。
  2. 在clickhouse的所有节点安装KERBEROS客户端。
  3. 把kerberos server的krb5.conf文件同步到clickhouse的所有节点/etc/krb5.conf,将文件属主或读权限授权给clickhouse用户。
  4. 将kerberos server的ip和主机名映射加到clickhouse的所有节点的hosts文件中。
  5. 如果kerberos server的防火墙是开启的,将kerberos server的tcp 88和udp 88的端口访问权限开放给clickhouse的所有节点。

二、hadoop集群连接配置准备

  1. 将hadoop集群的hdfs-site.xml同步到clickhouse的所有节点/etc/clickhouse-server/hdfs-site.xml,并将文件属主或读权限授权给clickhouse用户。
  2. 将hadoop集群所有节点的ip和主机名映射加到clickhouse的所有节点的hosts文件中。
  3. 如果hadoop集群所有节点的防火墙是开启的,将所有namenode节点的8020端口和所有datanode节点的1019端口访问权限开放给clickhouse的所有节点。

三、修改clickhouse配置

修改clickhouse所有节点config.xml配置,增加KERBEROS及HDFS支持。

vi /etc/clickhouse-server/config.xml:

   <!-- Global configuration options for HDFS engine type -->

    <hdfs>

      <hadoop_kerberos_keytab>/etc/security/keytabs/clickhouse.keytab</hadoop_kerberos_keytab>

      <hadoop_kerberos_principal>clickhouse@EXAMPLE.CN</hadoop_kerberos_principal>

      <hadoop_security_authentication>kerberos</hadoop_security_authentication>

      <libhdfs3_conf>/etc/clickhouse-server/hdfs-site.xml</libhdfs3_conf>

    </hdfs>

四、重启clickhouse 所有节点的clickhouse server服务

systemctl restart clickhouse-server

原文链接:https://blog.csdn.net/huawuqing/article/details/127287081

栏目分类
最近更新