prometheus使用postgresql-adapter连接postgresql
概述
Prometheus使用postgresql需要使用postgresql-adapter进行数据转换。在安装postgresql-adapter之前需要安装2个扩展:pg_prometheus
和timescaledb
官方推荐使用PostgreSQL
, pg_prometheus
,和TimescaleDB
打包在一起的容器,但对于使用已有的postgresql来说并不合适,故需要手动编译安装。
环境准备
使用os为:redhat 7.4
假设已经安装好postgresql,本次使用的postgresql版本为11.1,安装路径为:/usr/pgsql-11/bin/
。安装过程中如果遇到psql: command not found
或No package pg_config available
时执行如下命令即可:
# export PATH=$PATH:/usr/pgsql-11/bin/
安装cmake
编译pg_prometheus
和timescaledb
都会使用到cmake。
从官网下载cmake二进制版本,使用版本为3.15.1
# tar -zxvf cmake-3.15.1-Linux-x86_64.tar.gz
# mv cmake-3.15.1-Linux-x86_64 cmake-3.15.1
# mv cmake-3.15.1 /user/local/bin
# export PATH=$PATH:/usr/local/bin/cmake-3.15.1/bin/
安装clang
编译pg_prometheus
会使用到clang,且对clang版本有要求。clang的安装可参照CentOS 7 编译安装clang+llvm
下载clang源码,本次使用的clang版本为7.1.0,下载cfe-7.1.0.src.tar.xz,clang-tools-extra-7.1.0.src.tar.xz,compiler-rt-7.1.0.src.tar.xz,llvm-7.1.0.src.tar.xz并解压。安装路径为:/usr/local/clang
。执行如下步骤编译clang,时长大约1小时。
# export PATH=$PATH:/usr/local/bin/cmake-3.15.1/bin/ #已经安装好的cmake
# mv cfe-7.1.0.src clang
# mv clang/ llvm-7.1.0.src/tools/
# mv clang-tools-extra-7.1.0.src extra
# mv extra/ llvm-7.1.0.src/tools/clang/
# mv compiler-rt-7.1.0.src compiler-rt
# mv compiler-rt-7.1.0.src/projects/
# mkdir build-7.1.0
# cd build-7.1.0
# cmake -G "Unix Makefiles" -DCMAKE_INSTALL_PREFIX=/usr/local/clang -DCMAKE_BUILD_TYPE=Release -DLLVM_ENABLE_ASSERTIONS=On ../llvm-7.1.0.src
# make -j 4
# make install
安装postgresql devel
从官网下载并安装postgresql11-devel-11.2-2PGDG.rhel7.x86_64.rpm即可,该rpm包含postgresql的libraries和头文件,编译pg_prometheus时会用到。
安装pg_prometheus
安装好clang和postgresql devel之后就可以编译pg_prometheus了。
官方下载pg_prometheus源码,执行如下命令即可编译:
# make
# make install # Might require super user permissions
在make时可能会遇到如下问题:
问题1:
fatal error: 'stddef.h' file not found
原因:缺少头文件,该头文件是clang定义的,可能是因为clang安装路径的原因,将头文件拷贝过去即可
解决:cp /usr/local/clang/lib/clang/7.1.0/include/* /usr/include/
---注意不要覆盖原有的头文件
问题2:
/usr/lib64/llvm5.0/bin/llvm-lto: No such file or directory
原因:找不到llvm-lto的可执行文件,同样拷贝即可
解决:执行如下命令拷贝
mkdir -p /usr/lib64/llvm5.0
cp /usr/local/clang/bin/* /usr/lib64/llvm5.0/bin/
创建pg_prometheus扩展
- 在postgresql的postgresql.conf中添加:
shared_preload_libraries = 'pg_prometheus'
,重启psql - 使用psql创建扩展:
CREATE EXTENSION pg_prometheus;
- 创建role:
CREATE ROLE admin WITH LOGIN PASSWORD 'admin';
- 授权role admin:
GRANT ALL ON SCHEMA prometheus TO admin;
- 创建table:
SELECT create_prometheus_table('metrics');
重启psql加载pg_prometheus.so
动态库时可能会遇到如下问题
问题1:
could not load library "/usr/pgsql-11/lib/pg_prometheus.so": /usr/pgsql-11/lib/pg_prometheus.so: undefined symbol: Float8GetDatum
原因:动态库缺少外部符号
解决:Float8GetDatum定义在postgresql源码的src/backend/utils/fmgr/fmgr.c
中,内容如下,将其拷贝到pg_prometheus的src/prom.c中,重新编译pg_prometheus.so即可
Datum
Float8GetDatum(float8 X)
{
float8 *retval = (float8 *) palloc(sizeof(float8));
*retval = X;
return PointerGetDatum(retval);
}
#endif
问题2:
lock file "postmaster.pid" already exists
原因:存在pid文件
解决:在postgres的数据库目录中删除postmaster.pid即可
安装timescaledb
下载timescaledb源码,解压后执行如下命令即可
# cd build && make
# make install
创建timescaledb扩展
- pgsql的postgresql.conf添加:
shared_preload_libraries = 'pg_prometheus,timescaledb'
- 创建扩展:
CREATE EXTENSION timescaledb;
启动postgresql-adapter
使用容器启动
从dockerhub下载镜像
由于使用容器连接postgresql,故pgsql的pg_hba.conf中添加如下内容,172.17.0.2/16为容器的IP段,重启psql
host all admin 172.17.0.2/16 md5
启动命令如下,需要注意的是,由于在容器内部运行,-pg.host必须指定postgresql主机的地址,而非loopback接口
# docker run --name prometheus_postgresql_adapter -d -p 9201:9201 prometheus-postgresql-adapter:0.4 -pg.user=admin -pg.host=${psqlIP} -pg.port=5432 -pg.password=admin -pg.database=postgres -pg.prometheus-log-samples
使用可执行文件启动
下载官方源码,解压后执行如下命令编译即可。由于安装依赖很多库,建议在如阿里云海外主机上编译后拷贝下来
# go mod download
# make
此时使用本地地址连接postgresql,故pgsql的pg_hba.conf中添加如下内容,重启psql:
host all admin 127.0.0.1/32 md5
启动命令如下:
# ./prometheus-postgresql-adapter -pg.user=admin -pg.password=admin -pg.database=postgres -pg.prometheus-log-samples
配置Prometheus
Prometheus配置文件加入如下命令即可:
remote_write:
- url: "http://<adapter-address>:9201/write"
remote_read:
- url: "http://<adapter-address>:9201/read"
timescaledb的使用
timescaledb具体使用可以参见官网API,下面给出常用的方式:
SELECT * FROM timescaledb_information.hypertable; //查看hypertable的信息
SELECT * FROM timescaledb_information.hypertable WHERE table_schema='public' AND table_name='metrics_values'; //查看schema中特定表的信息
SELECT * FROM hypertable_relation_size_pretty('metrics_values'); //查看表大小
SELECT * FROM indexes_relation_size_pretty('metrics_values'); //查看表中的index大小
SELECT * FROM chunk_relation_size_pretty('metrics_values'); //查看chunk大小
SELECT drop_chunks(interval '3 months'); //手动丢弃超过3个月以上的chunk
SELECT add_drop_chunks_policy('metrics_values', INTERVAL '6 months'); //定制drop_chunks策略,自动清除超过6个月的chunk
SELECT remove_drop_chunks_policy('metrics_values'); //删除drop_chunks策略
SELECT * FROM timescaledb_information.drop_chunks_policies; //查看drop_chunks丢弃策略
SELECT * FROM timescaledb_information.policy_stats; //查看策略的详细信息
PS:直接源码编译的timescaledb的license为社区版,无法使用add_drop_chunks_policy
等功能
TIPS:
问题:
环境拓扑为2个Prometheus做高可用同时向一个postgresql进行write/read。
在对Prometheus+postgresql-adapter进行重启等操作后,发现postgresql-adapter会与Prometheus端创建大量tcp连接(含大量close_wait和establish状态的连接),由于会持续创建tcp连接,导致系统内存不足触发OOM
解决:
停止Prometheus并重新创建Prometheus容器即可。
在对postgresql-adapter重启后,最好重启Prometheus端
总结
使用postgresql-adapter难点就是要编译出2个动态库文件pg_prometheus.so
和timescaledb.so
prometheus使用postgresql-adapter连接postgresql的更多相关文章
- kali linux 系列教程之metasploit 连接postgresql可能遇见的问题
kali linux 系列教程之metasploit 连接postgresql可能遇见的问题 文/玄魂 目录 kali linux 下metasploit 连接postgresql可能遇见的问题. ...
- ASP.NET MVC 使用 Petapoco 微型ORM框架+NpgSql驱动连接 PostgreSQL数据库
前段时间在园子里看到了小蝶惊鸿 发布的有关绿色版的Linux.NET——“Jws.Mono”.由于我对.Net程序跑在Linux上非常感兴趣,自己也看了一些有关mono的资料,但是一直没有时间抽出时间 ...
- 视频教程--ASP.NET MVC 使用 Petapoco 微型ORM框架+NpgSql驱动连接 PostgreSQL数据库
说好的给园子里的朋友们录制与<ASP.NET MVC 使用 Petapoco 微型ORM框架+NpgSql驱动连接 PostgreSQL数据库> 这篇博客相对应的视频,由于一个月一来没有时 ...
- ArcGIS平台中PostgreSQL数据连接配置总结
通常用户在使用要素服务时,要求数据必须是存放在空间数据库中的.同时,需要将数据库注册到ArcGIS for Server,这样在发布服务时就不需要进行数据拷贝,从而可以节省磁盘空间及服务发布时间.以下 ...
- Entity Freamwork 6连接PostgreSql数据库
原文 Entity Freamwork 6连接PostgreSql数据库 开发环境 VS 2015 Update 1 Postgre Sql 9.4 使用过程 1.使用Nuget在项目中添加对E ...
- php连接postgresql
在ubuntu下用php连接postgresql需要下个模块php5-pgsql 连接数据库并显示一张表的内容: <?php #连接数据库 $conn = pg_connect("ho ...
- python连接postgresql数据库
python可以通过第三方模块连接postgresql. 比较有名的有psycopg2 和python3-postgresql (一)psycopg2 ubuntu下安装 sudo apt-get ...
- SSIS 连接 PostgreSQL
因为工作需要,得把psql的表放到SQL Server, 找到一个PGNP(http://www.pgoledb.com/) 的适配器,不过一看要300$就没有去尝试了. 官方倒是有ODBC的驱动. ...
- ArcGIS SDE 10.1 for Postgresql 服务连接配置
去年写了ArcGIS 10.1 如何连接Postgresql 数据库(http://blog.csdn.net/arcgis_all/article/details/8202709)当时采用的也是Ar ...
随机推荐
- 教你玩转Linux系统目录结构
Linux 内核最初只是由芬兰人林纳斯·托瓦兹(Linus Torvalds)在赫尔辛基大学上学时出于个人爱好而编写的.Linux 是一套免费使用和自由传播的类 Unix 操作系统,是一个基于 POS ...
- 简单实现Shiro单点登录(自定义Token令牌)
1. MVC Controller 映射 sso 方法. /** * 单点登录(如已经登录,则直接跳转) * @param userCode 登录用户编码 * @param token 登录令牌,令牌 ...
- Mac OS中的”任务管理器“
在开发使用过程中,经常需要通过任务管理器来查看进程的一些情况以及杀掉一些进程,Mac中也有类似于Windows的”资源管理器“. 启动台->其他 找到”活动监视器“ 活动监视器即是”任务管理器“ ...
- Odoo form视图详解
转载请注明原文地址:https://www.cnblogs.com/ygj0930/p/10826350.html 一:Header头部 header区域一般用于展示文档流转的阶段和生命周期,以及动作 ...
- K8S或docker的旁路容器注入排查
使用这种排查技术的场景在于: 1,真正线上的POD,里面的排查工具很少.wget,curl,vi,telnet,ifconfig这些命令可能都没有. 2,排查的POD,什么工具都有,但与POD隔离,无 ...
- Mybatis JdbcType与Oracle、MySql数据类型对
Mybatis JdbcType Oracle MySql JdbcType ARRAY JdbcType BIGINT BIGINT JdbcType BINARY JdbcTy ...
- JDK1.8 LocalDate 使用方式;LocalDate 封装Util,LocalDate工具类(一)
未完待续 ........ 由于SimpleDateFormat存在线程安全问题,所以在JDK1.8中使用LocalDate和LocalDateTime来进行日期的工具类使用,下边就是原创的Local ...
- 3DMax下载与安装(注册机为网上收集,仅供学习与研究,支持正版)
3DS Max 全称3D Studio Max,是Autodesk公司开发的三维动画制作和渲染软件(Autodesk AutoCAD 2012也是Autodesk公司的软件产品) 3DS Max广泛应 ...
- 安装PyInstaller失败
pip install PyInstaller 报错: 后运行: 指定安装源进行安装: pip3 install pyinstaller -i https://pypi.doubanio.com/si ...
- Asp.Net微信js分享
1.准备工作 官方文档:https://developers.weixin.qq.com/doc/offiaccount/OA_Web_Apps/JS-SDK.html#111 必须是认证过的公众号才 ...