tiup 工具离线安装与简单导出数据说明

tiup 工具离线安装说明

---

mirror的创建

能上网的机器上面进行如下操作:
curl --proto '=https' --tlsv1.2 -sSf https://tiup-mirrors.pingcap.com/install.sh | sh

然后执行一下环境变量:
source /root/.bash_profile

创建一个镜像:
tiup mirror clone /data/tidb-6.5.3-aarch64 6.5.3 --os=linux --arch=arm64

注意这一步可能耗时较久, 需要使用较好的网络设备进行相关的镜像创建.

---

离线安装方法

进入/或者是迁移到不能上网的机器上面的 /data/tidb-6.5.3-aarch64 6.5.3
执行命令 ./local_install.sh
会看到有相关的信息提示:

Disable telemetry success
Successfully set mirror to /data/tidb-6.5.3-aarch64
Detected shell: bash
Shell profile:  /root/.bash_profile
Installed path: /root/.tiup/bin/tiup
===============================================
1. source /root/.bash_profile
2. Have a try:   tiup playground
===============================================

需要注意两点:
1. 环境变量的问题.
2. 安装的文件位置是在 /root/.tiup 下面.
直接执行命令需要使用 source /root/.bash_profile

---

安装对应的工具

备份恢复一般采用 br 或者是 dumpling等工具
可以执行安装, 方式也很简单. 

tiup br
tiup dumpling
就可以安装了

但是需要注意 br 和dumpling 的命令不是直接可以运行的. 需要修改环境变量

[root@localhost v6.5.3]# cd /root/.tiup/components/br/v6.5.3/
[root@localhost v6.5.3]# pwd
/root/.tiup/components/br/v6.5.3
[root@localhost v6.5.3]# cd /root/.tiup/components/dumpling/v6.5.3/
[root@localhost v6.5.3]# pwd
/root/.tiup/components/dumpling/v6.5.3

可以发现 对应文件的安装路径其实是在 /root/.tiup/组件文件夹/系统版本/具体二进制
这样的目录里面. 

可以新增一个文件设置上对应的PATH,便于进行命令处理.

cat >/etc/profile.d/tidb.sh <<EOF
export PATH=$PATH:/root/.tiup/components/dumpling/v6.5.3/:/root/.tiup/components/br/v6.5.3/
EOF
source /etc/profile.d/tidb.sh

就可以直接使用 br 或者是 dumpling的命令了.

---

进行部分列导出的方式和方法

比如导出某个表的 前一百万行的两个列的方式为:
time dumpling -u root -P 4002 --host 192.168.255.xxx -pTestxxxx --filetype csv --threads 64 	-o /data/xxxx_1m  -r 20000 -F 256MiB  --sql 'select clientid,xxx from databasexxxx.tablename limit 1000000'  --no-header

注意这个效率非常高, 如果是nvme 无其他硬件瓶颈 一百万数据 秒级就可以将数据dump出来.
结果为:
["dump data successfully, dumpling will exit now"]
real    0m3.572s
user    0m0.836s
sys     0m0.052s