Mac通过docker一键部署airflow

目录

• Airflow部署及使用
  • 1、Dockerhub查看镜像地址
  • 2、拉取docker镜像
  • 3、在宿主机创建外挂文件夹
  • 4、创建docker容器
  • 5、重新创建docker容器
    • 5.1、查看airflow容器是否正常启动
    • 5.2、启动成功才能将容器中的airflow.cfg拷贝出来修改
    • 5.3、删除容器重新创建，非删除镜像
  • 6、进入docker容器
  • 7、sqlite数据库初始化
  • 8、修改airflow的airflow.cfg配置
  • 9、mysql数据库初始化
    • 9.1、查看docker中mysql的IP地址
    • 9.2、登录mysql并创建专属的airflow数据库
    • 9.3、修改mysql的my.cnf配置
    • 9.4、初始化mysql数据库
  • 10、airflow一键初始化脚本

Airflow部署及使用

由于工作中需要使用airflow进行开发，网上搜索“mac系统在docker中搭建airflow”的文章真的很少，而且写的又不够详细。遂自己摸索搭建成功后便分享给大家使用，即有按部就班“一步一步”的操作，也有“一键初始化”脚本，大家根据自己的实际情况进行操作。

1、Dockerhub查看镜像地址

# 如果你比较懒可以使用最后的“airflow一键初始化脚本”，mac电脑通用
https://hub.docker.com/r/puckel/docker-airflow/tags?page=1&ordering=last_updated

2、拉取docker镜像

# 执行镜像下载命令
docker pull puckel/docker-airflow:latest

3、在宿主机创建外挂文件夹

# 获取当前系统的用户名，例如：jason
echo $USER 

# 执行上述命名将得到的用户名替换在 $USER 的位置
sudo mkdir -p -v /data/docker/volumes/airflow/{dags,logs} && sudo chown -R $USER /data/docker/volumes/airflow/{dags,logs}

4、创建docker容器

# 创建容器
docker run -p 8080:8080  -v /data/docker/volumes/airflow/dags:/usr/local/airflow/dags -v /data/docker/volumes/airflow/logs:/usr/local/airflow/logs --name airflow -d puckel/docker-airflow:latest

命令说明：
-d puckel/docker-airflow:latest #交互运行容器，让容器以守护态（daemonized）形式在后台运行
--name airflow #给新创建的容器命名即容器别名，如：airflow
-p 8080:8080  #端口映射，此处映射主机8080端口到容器airflow的8080端口
-v /data/docker/volumes/airflow/airflow.cfg:/usr/local/airflow/airflow.cfg   #挂载主配置文件
-v /data/docker/volumes/airflow/dags:/usr/local/airflow/dags  #挂载资源路径
-v /data/docker/volumes/airflow/logs:/usr/local/airflow/logs  #挂载日志文件

5、重新创建docker容器

此步骤主要是将容器中的airflow.cfg拷贝出来，方便airflow.cfg后续修改;

5.1、查看airflow容器是否正常启动

# 查看容器是否正常，如 running 即启动成功
docker inspect airflow | jq -r '.[].State.Status'

5.2、启动成功才能将容器中的airflow.cfg拷贝出来修改

#1、查看容器ID，例如：$container_id
docker ps -a | grep 'airflow' |awk '{print $1}' 

#2、使用docker拷贝(命令参考，可忽略)：docker cp source_path target_path
docker cp $container_id:/usr/local/airflow/airflow.cfg /data/docker/volumes/airflow 

#3、拷贝airflow.cfg到指定目录，命令集成（推荐用，一键搞定省心）
sudo docker cp $(docker ps -a | grep 'airflow' |awk '{print $1}'):/usr/local/airflow/airflow.cfg /data/docker/volumes/airflow

5.3、删除容器重新创建，非删除镜像

此步骤主要是将/usr/local/airflow/airflow.cfg外挂到宿主机中

#1、删除容器示例：docker stop $image_alias && docker rm $image_alias
docker stop airflow && docker rm airflow 

#2、重新创建docker容器
docker run -p 8080:8080 -v=/data/docker/volumes/airflow/airflow.cfg:/usr/local/airflow/airflow.cfg -v=/data/docker/volumes/airflow/dags:/usr/local/airflow/dags -v=/data/docker/volumes/airflow/logs:/usr/local/airflow/logs --name airflow -d puckel/docker-airflow:latest 

#3、查看容器airflow挂载到宿主机的地址
docker inspect airflow | jq -r '.[].HostConfig.Binds' 

#4、查看容器是否正常
docker ps

6、进入docker容器

docker exec -it airflow /bin/bash

-d：分离模式，在后台运行
-i：交互模式，即使没有附加也保持 STDIN 打开
-t：分配一个伪终端
/bin/bash：运行命令 bash shell

7、sqlite数据库初始化

（生产不建议使用，但可用于个人测试。生产推荐使用mysql，如果使用mysql可以跳过sqlite部分）

#1、使用默认的sqlite+SequentialExecutor启动
airflow initdb 

#2、出现错误：
airflow.exceptions.AirflowException: Could not create Fernet object: Incorrect padding 

#3、解决办法：
python -c "from cryptography.fernet import Fernet; print(Fernet.generate_key().decode())" 

#4、将第3步执行的结果替换到export中
export AIRFLOW__CORE__FERNET_KEY=第3步执行的结果

#5、重新执行初始化数据库命令
airflow initdb 

#6、启动成功后，即可正常访问
http://localhost:8080/admin/

8、修改airflow的airflow.cfg配置

提供手动修改和命令行修改的功能

#1、查看docker中mysql的IP地址，替换在如下的IP地址中
docker inspect --format='{{.NetworkSettings.IPAddress}}' mysql

#2、手动修改（使用命令行修改可跳过此步）
executor = LocalExecutor
# 示例:sql_alchemy_conn="mysql://${USER}:${PASSWORD}@${HOST}:${PORT}/${DB_INSTANCE}${DB_EXTRAS}"
sql_alchemy_conn = mysql://airflow:airflow@172.17.0.2:3306/airflow 

#3、命令行修改（使用手动修改可跳过此步）
sudo sed -i \"\" 's/executor = SequentialExecutor/executor = LocalExecutor/g' /data/docker/volumes/airflow/airflow.cfg
sudo sed -i \"\" 's/\# sql_alchemy_conn = sqlite:\/\/\/\/tmp\/airflow.db/sql_alchemy_conn = mysql:\/\/airflow:airflow\@172.17.0.2:3306\/airflow/g' /data/docker/volumes/airflow/airflow.cfg 

#4、查看修改是否成功
cat /data/docker/volumes/airflow/airflow.cfg | grep 'executor ='
cat /data/docker/volumes/airflow/airflow.cfg | grep 'sql_alchemy_conn'

9、mysql数据库初始化

部署方式：docker+airflow+mysql+LocalExecutor

9.1、查看docker中mysql的IP地址

如果你的mysql也是安装在docerk中的话，则最好操作如下命令：

# 查看docker中mysql的IP地址，主要用于mysql创建新用户授权时使用，
# 命令中的 mysql 是docker中安装数据库时的别名，请根据实际情况自行修改
docker inspect --format='{{.NetworkSettings.IPAddress}}' mysql

9.2、登录mysql并创建专属的airflow数据库

#新建名字为<airflow>的数据库
CREATE DATABASE airflow; 

#1、新建用户`airflow`，密码为`airflow`, 该用户对数据库`airflow`有完全操作权限
#2、将9.1步骤执行命令行的结果替换在 $IPAddress 的位置，也可以将IP最后一位换成%，例如：172.17.0.%
GRANT all privileges on airflow.* TO 'airflow'@'$IPAddress' IDENTIFIED BY 'airflow';
FLUSH PRIVILEGES; 

# 查看授权（常用操作指令可不执行）
select host,user from mysql.`user` where user='airflow'; 

# 删除授权（常用操作指令可不执行）
DROP USER 'airflow'@'$IPAddress';

9.3、修改mysql的my.cnf配置

# 由于airflow初始化数据库时需要用到如下参数，请自行添加
[mysqld]
explicit_defaults_for_timestamp = 1

9.4、初始化mysql数据库

# 1、进入docker容器
docker exec -it airflow /bin/bash 

# 2、先执行数据库重置命令，再执行数据库初始化命令
airflow reset
airflow initdb 

# 3、出现错误：
airflow.exceptions.AirflowException: Could not create Fernet object: Incorrect padding 

# 4、解决办法：
python -c "from cryptography.fernet import Fernet; print(Fernet.generate_key().decode())" 

# 5、将第3步执行的结果替换到export中
export AIRFLOW__CORE__FERNET_KEY=第3步执行的结果

# 6、查看环境变量是否设置成功
echo $AIRFLOW__CORE__FERNET_KEY 

# 7、重新执行初始化数据库命令
airflow initdb 

# 8、启动成功后，即可正常访问
http://localhost:8080/admin/

10、airflow一键初始化脚本

注意：执行《一键初始化脚本》时需要先配置mysql环境和创建airflow数据库用户，即如下操作；

1、先执行9.1、9.2、9.3等步骤的操作，执行完成后请检查是否正确；

2、先启动airflow容器，然后再执行9.4步骤的操作；

3、执行完成后即可访问：http://localhost:8080/admin/