一、ClickHouse安装方式：

  • 源码编译安装
  • Docker安装
  • RPM包安装

为了方便使用，一般采用RPM包方式安装，其他两种方式这里不做说明。

二、下载安装包

官方没有提供rpm包，但是Altinity第三方公司提供了。

地址：https://packagecloud.io/altinity/clickhouse

三、配置文件

安装好rmp包后，默认配置文件在/etc/clickhouse-server/目录下，主要涉及以下3种配置文件，也可以自定义配置文件位置，如果修改了目录记得连带修改启动脚本。

默认启动脚本，注意，这个名字虽然叫server，其实是个shell脚本vi /etc/init.d/clickhouse-server

12  CLICKHOUSE_USER=clickhouse

13  CLICKHOUSE_GROUP=${CLICKHOUSE_USER}

14  SHELL=/bin/bash

15  PROGRAM=clickhouse-server

16  GENERIC_PROGRAM=clickhouse

17  EXTRACT_FROM_CONFIG=${GENERIC_PROGRAM}-extract-from-config

18  SYSCONFDIR=/data/clickhouse

19  CLICKHOUSE_LOGDIR=/data/clickhouse/logs

20  CLICKHOUSE_LOGDIR_USER=root

21  CLICKHOUSE_DATADIR_OLD=/data/clickhouse

22  LOCALSTATEDIR=/data/clickhouse/lock

23  BINDIR=/usr/bin

24  CLICKHOUSE_CRONFILE=/etc/cron.d/clickhouse-server

25  CLICKHOUSE_CONFIG=$SYSCONFDIR/config.xml

26  LOCKFILE=$LOCALSTATEDIR/$PROGRAM

27  RETVAL=0

29  CLICKHOUSE_PIDDIR=/var/run/$PROGRAM

30  CLICKHOUSE_PIDFILE="$CLICKHOUSE_PIDDIR/$PROGRAM
  • config.xml 全局信息配置文件
<?xml version=""1.0""?>

    <yandex>

    <!--日志-->

    <logger>

    <level>error</level>

    <log>/data/clickhouse/logs/clickhouse.log</log>

    <errorlog>/data/clickhouse/logs/error.log</errorlog>

    <size>500M</size>

    <count>5</count>

    </logger>

    <!--本地节点信息-->

    <http_port>8123</http_port>

    <tcp_port>9000</tcp_port>

    <interserver_http_port>9009</interserver_http_port>

    <interserver_http_host>本机IP</interserver_http_host>  <!--本机域名或IP-->

    <!--本地配置-->

    <listen_host>0.0.0.0</listen_host>

    <max_connections>4096</max_connections>

    <receive_timeout>800</receive_timeout>

    <send_timeout>800</send_timeout>

    <keep_alive_timeout>300</keep_alive_timeout>

    <max_concurrent_queries>1000</max_concurrent_queries>

     <uncompressed_cache_size>8589934592</uncompressed_cache_size>

    <mark_cache_size>5368709120</mark_cache_size>

    <path>/data/clickhouse/</path>

    <tmp_path>/data/clickhouse/tmp/</tmp_path>

    <users_config>users.xml</users_config>

    <default_profile>default</default_profile>

    <log_queries>1</log_queries>

    <default_database>default</default_database>

    <!--集群相关配置-->

    <remote_servers incl=""clickhouse_remote_servers""  />

    <zookeeper incl=""zookeeper-servers""  optional=""true""   />

    <macros incl=""macros""  optional=""true"" />

    <builtin_dictionaries_reload_interval>3600</builtin_dictionaries_reload_interval>

    <max_session_timeout>3600</max_session_timeout>

    <default_session_timeout>300</default_session_timeout>

    <max_table_size_to_drop>0</max_table_size_to_drop>

    <merge_tree>

    <parts_to_delay_insert>300</parts_to_delay_insert>

    <parts_to_throw_insert>600</parts_to_throw_insert>

    <max_delay_to_insert>2</max_delay_to_insert>

    </merge_tree>

    <max_table_size_to_drop>0</max_table_size_to_drop>

     <max_partition_size_to_drop>0</max_partition_size_to_drop>

    <distributed_ddl>

    <!-- Path in ZooKeeper to queue with DDL queries -->

    <path>/clickhouse/task_queue/ddl</path>

    </distributed_ddl>

     <include_from>/etc/clickhouse-server/metrika.xml</include_from>

    </yandex>
  • users.xml 用户信息配置文件
<?xml version="1.0"?>

    <yandex>

    <profiles>

    <default>

    <max_memory_usage>10000000000</max_memory_usage>

    <use_uncompressed_cache>0</use_uncompressed_cache>

    <load_balancing>random</load_balancing>

    </default>

    <readonly>

    <max_memory_usage>10000000000</max_memory_usage>

    <use_uncompressed_cache>0</use_uncompressed_cache>

    <load_balancing>random</load_balancing>

    <readonly>1</readonly>

    </readonly>

    </profiles>

    <quotas>

    <!-- Name of quota. -->

    <default>

    <interval>

    <queries>0</queries>

    <errors>0</errors>

    <result_rows>0</result_rows>

    <read_rows>0</read_rows>

    <execution_time>0</execution_time>

    </interval>

    </default>

    </quotas>

    <users>

    <default>

    <!-- PASSWORD=$(base64 < /dev/urandom | head -c8); echo  "$PASSWORD"; echo -n  "$PASSWORD" | sha256sum | tr -d '-'   -->

    <!-- password UHXQQmhb -->

     <password_sha256_hex>65b84b497ef843f7c9629251a64e307caecbf7327975af4d18f83261239e1460</password_sha256_hex>

    <networks>

    <ip>::/0</ip>

    </networks>

    <profile>default</profile>

    <quota>default</quota>

    </default>

    <ck>

    <password_sha256_hex>65b84b497ef843f7c9629251a64e307caecbf7327975af4d18f83261239e1460</password_sha256_hex>

    <networks>

    <ip>::/0</ip>

    </networks>

    <profile>readonly</profile>

    <quota>default</quota>

    </ck>

    </users>

    </yandex>
  • metrika.xml 集群信息配置文件
<yandex>

    <!--ck集群节点-->

    <clickhouse_remote_servers>

    <clickhouse_cluster_name>

    <!--分片1-->

    <shard>

    <internal_replication>true</internal_replication>

    <replica>

    <host>192.68.1.1</host>

    <port>9000</port>

    <user>default</user>

    <password>password</password>

    </replica>

    <!--复制集1-->

    <replica>

    <host>192.68.1.2</host>

    <port>9000</port>

    <user>default</user>

    <password>password</password>

    </replica>

    </shard>

    <!--分片2-->

    <shard>

    <internal_replication>true</internal_replication>

    <replica>

    <host>192.68.1.3</host>

    <port>9000</port>

    <user>default</user>

    <password>password</password>

    </replica>

    <!--复制集2-->

    <replica>

    <host>192.68.1.4</host>

    <port>9000</port>

    <user>default</user>

    <password>password</password>

    </replica>

    </shard>

    </clickhouse_cluster_name>

    </clickhouse_remote_servers>

    <!--zookeeper相关配置-->

    <zookeeper-servers>

    <node index=""""1"""">

    <host>192.68.1.5</host>

    <port>2181</port>

    </node>

    <node index=""""2"""">

    <host>192.68.1.6</host>

    <port>2181</port>

    </node>

    <node index=""""3"""">

    <host>192.68.1.7</host>

    <port>2181</port>

    </node>

    </zookeeper-servers>

    <macros>

    <layer>01</layer>

    <shard>01</shard> <!--分片号-->

    <replica>192.68.1.1</replica> <!--当前节点IP-->

    </macros>

    <networks>

    <ip>::/0</ip>

    </networks>

    <!--压缩相关配置-->

    <clickhouse_compression>

    <case>

    <min_part_size>10000000000</min_part_size>

    <min_part_size_ratio>0.01</min_part_size_ratio>

    <method>lz4</method> <!--压缩算法lz4压缩比zstd快, 更占磁盘-->

    </case>

    </clickhouse_compression>

    </yandex>

四、ClickHouse常用架构：

  • 单实例 无需过多解释，就是单机部署，安装好rpm包后，简单修改配置文件即可启动； 单实例不建议线上使用，只做功能测试； MergeTree，引擎适用于单机实例，查询性能非常高。
  • 分布式+高可用集群 ClickHouse引擎有十几个，不同引擎实现不同功能，实现分布式高可用主要通过以下两种引擎： ClickHouse分布式通过配置文件来实现，同一集群配置多个分片，每个节点，都配置同样的配置文件；而高可用需要借助zookeeper来实现，ReplicatedMergeTree里共享同一个ZK路径的表，会相互同步数据。 ReplicatedMergeTree，复制引擎，基于MergeTree，实现数据复制，即高可用； Distributed，分布式引擎，本身不存储数据，将数据分发汇总。

五、分布式高可用集群架构

以下是2个分片、2个副本集的架构，zookeeper机器可以跟ClickHouse共用，但是如果压力较大，IO消耗较多，可能会延迟，建议分开。

role

shard1

shard2

replica

192.168.1.1

192.168.1.3

replica

192.168.1.2

192.168.1.4

zookeeper集群：

index

node

1

192.168.1.5

2

192.168.1.6

3

192.168.1.7

架构如下：

六、安装zookeeper集群，至少3台

  1. 下载安装包，建议3.4.9之后的版本 http://archive.apache.org/dist/zookeeper/
  2. 解压 tar zxf /usr/local/test/clickhouse/zookeeper-3.4.13.tar.gz -C /usr/local mv /usr/local/zookeeper-3.4.13 /usr/local/zookeeper
  3. 创建目录： mkdir /data/zookeeper/data mkdir /data/zookeeper/logs
  4. 指定节点号 echo '1' > /data/zookeeper/data/myid
  5. zookeeper配置文件 /usr/local/zookeeper/conf/zoo.cfg

tickTime=2000

基本时间单位, 毫秒值

initLimit=30000

tickTime的倍数，follower和leader之间的最长心跳时间

syncLimit=10

tickTime的倍数，leader和follower之间发送消息, 请求和应答的最大时间

dataDir=/export/data/zookeeper/data

数据目录

dataLogDir=/export/data/zookeeper/logs

日志目录，如果没设定，默认和dataDir相同

clientPort=2181

监听client连接的端口号

maxClientCnxns=2000

zookeeper最大连接

maxSessionTimeout=60000000

最大的会话超时时间

autopurge.snapRetainCount=10

保留的文件数目，默认3个

autopurge.purgeInterval=1

自动清理snapshot和事务日志，清理频率，单位是小时

globalOutstandingLimit=200

等待处理的最大请求数量

preAllocSize=131072

日志文件大小Kb，切换快照生成日志

snapCount=3000000

两次事务快照之间可执行事务的次数，默认的配置值为100000

leaderServes=yes

leader是否接受client请求,默认为yes即leader可以接受client的连接，当节点数为>3时，建议关闭

server.1=192.168.1.5:2888:3888

2888 leader\follower传输信息端口，3888推举端口

server.2=192.168.1.6:2888:3888

2888 leader\follower传输信息端口，3888推举端口

server.3=192.168.1.7:2888:3888

2888 leader\follower传输信息端口，3888推举端口

6. 启动

/usr/local/zookeeper/bin/zkServer.sh [start\status\stop]

七、安装部署clickhouse

  1. 下载并安装上面rpm安装包
  2. 参考配置上面的配置文件
  3. 如果采用上面的配置文件需要创建目录 mkdir -p /data/clickhouse/tmp /data/clickhouse/logs /data/clickhouse/lock/
  4. 修改权限 chown clickhouse.clickhouse -R /data/clickhouse
  5. 启动（有两种方式） clickhouse-server --daemon --config-file=/etc/clickhouse-server/config.xml 或/etc/init.d/clickhouse-serve start
  6. 登录验证 clickhouse-client -u default --password password -h127.0.0.1

转载自：https://cloud.tencent.com/developer/article/1376125

ClickHouse 分布式高可用集群搭建（转载）的更多相关文章

  1. Hbase 完全分布式 高可用 集群搭建

    1.准备 Hadoop 版本:2.7.7 ZooKeeper 版本:3.4.14 Hbase 版本:2.0.5 四台主机: s0, s1, s2, s3 搭建目标如下: HMaster:s0,s1(备 ...

  2. Keepalived高可用集群搭建(转载linuxIDC)

    1.Keepalived简介 Keepalived是一个基于VRRP协议来实现的WEB服务高可用方案,可以利用其来避免单点故障.使用多台节点安装keepalived.其 他的节点用来提供真实的服务,同 ...

  3. Hadoop 3.1.2(HA)+Zookeeper3.4.13+Hbase1.4.9(HA)+Hive2.3.4+Spark2.4.0(HA)高可用集群搭建

    目录 目录 1.前言 1.1.什么是 Hadoop? 1.1.1.什么是 YARN? 1.2.什么是 Zookeeper? 1.3.什么是 Hbase? 1.4.什么是 Hive 1.5.什么是 Sp ...

  4. Hadoop HA高可用集群搭建（Hadoop+Zookeeper+HBase）

    声明:作者原创,转载注明出处. 作者:帅气陈吃苹果 一.服务器环境 主机名 IP 用户名 密码 安装目录 master188 192.168.29.188 hadoop hadoop /home/ha ...

  5. RabbitMQ高级指南：从配置、使用到高可用集群搭建

    本文大纲: 1. RabbitMQ简介 2. RabbitMQ安装与配置 3. C# 如何使用RabbitMQ 4. 几种Exchange模式 5. RPC 远程过程调用 6. RabbitMQ高可用 ...

  6. .Net Core2.1 秒杀项目一步步实现CI/CD(Centos7.2)系列一:k8s高可用集群搭建总结以及部署API到k8s

    前言:本系列博客又更新了,是博主研究很长时间,亲自动手实践过后的心得,k8s集群是购买了5台阿里云服务器部署的,这个集群差不多搞了一周时间,关于k8s的知识点,我也是刚入门,这方面的知识建议参考博客园 ...

  7. HDFS-HA高可用集群搭建

    HA高可用集群搭建 1.总体集群规划 在hadoop102.hadoop103和hadoop104三个节点上部署Zookeeper. hadoop102 hadoop103 hadoop104 Nam ...

  8. hadoop高可用集群搭建小结

    hadoop高可用集群搭建小结1.Zookeeper集群搭建2.格式化Zookeeper集群 (注:在Zookeeper集群建立hadoop-ha,amenode的元数据)3.开启Journalmno ...

  9. Spark高可用集群搭建

    Spark高可用集群搭建 node1    node2    node3   1.node1修改spark-env.sh,注释掉hadoop(就不用开启Hadoop集群了),添加如下语句 export ...

随机推荐

  1. go对elasticsearch的增删改查

    环境 elasticsearch 6.8 (6.x版本应该都没问题) go客户端sdk: github.com/elastic/go-elasticsearch/v6 其实自己封装api也行,反正el ...

  2. 「LibreOJ NOI Round #2」不等关系

    「LibreOJ NOI Round #2」不等关系 解题思路 令 \(F(k)\) 为恰好有 \(k\) 个大于号不满足的答案,\(G(k)\) 表示钦点了 \(k\) 个大于号不满足,剩下随便填的 ...

  3. Harbor仓库配置https访问

    注:高版本(14以上)docker执行login命令,默认使用https,且harbor必须使用域名,只是用ip访问是不行的. 假设使用的网址是:www.harbor.mobi,本机ip是192.16 ...

  4. Git使用整理

    [本文由水木桶首发于博客园,原文地址:https://www.cnblogs.com/shuimutong/p/11404664.html,未接允许,严禁转载] 背景 很久之前使用的是svn,直接在E ...

  5. SQL*Plus 与数据库的交互（SQL*Plus时什么）

    Oracle 的 SQL*Plus 是与数据库进行交互的客户端工具,在 SQL*Plus中,可以运行 SQL*Plus 命令与 SQL*Plus 语句.   SQL*Plus 时一个基于 C/S 两层 ...

  6. net webapi jwt验证授权

    参考文章:https://blog.csdn.net/liwan09/article/details/83820651

  7. Discuz!数据库操作DB类和C::t类介绍

    类定义文件 DB类: 文件\source\class\class_core.php class DB extends discuz_database {} discuz_database类定义 文件\ ...

  8. PyCharm-安装&调试

    windows安装pycharm 和python的链接: PyCharm:http://www.jetbrains.com/pycharm/ Python:https://www.python.org ...

  9. Vue.js源码中大量采用的ES6新特性介绍：模块、let、const

    1 关于ES6      ECMAScript6(以下简称ES6)是JavaScript语言的最新一代标准,发布于2015年6月,因为ECMA委员会决定从ES6起每年更新一次标准,因此ES6被改名为E ...

  10. web-mini框架的基本实现（一）

    本篇主要介绍WSGI-web-mini框架的基本实现,以及什么是WSGI协议.对于浏览器的资源请求服务端是如何处理的等相关知识: 一.浏览器资源请求 我们知道浏览器和web服务器之间是基于HTTP协议 ...