ceph health detail
HEALTH_WARN 14 requests are blocked > 32 sec; 11 osds have slow requests
7 ops are blocked > 536871 sec
2 ops are blocked > 268435 sec
2 ops are blocked > 67108.9 sec
3 ops are blocked > 33554.4 sec
1 ops are blocked > 536871 sec on osd.0
1 ops are blocked > 536871 sec on osd.10
2 ops are blocked > 536871 sec on osd.12
2 ops are blocked > 268435 sec on osd.18
1 ops are blocked > 536871 sec on osd.31
1 ops are blocked > 536871 sec on osd.38
1 ops are blocked > 67108.9 sec on osd.38
1 ops are blocked > 33554.4 sec on osd.48
1 ops are blocked > 67108.9 sec on osd.52
1 ops are blocked > 536871 sec on osd.63
1 ops are blocked > 33554.4 sec on osd.64
1 ops are blocked > 33554.4 sec on osd.69
11 osds have slow requests

此时注意看osd日志:

2019-04-26 13:28:44.132802 7f0d86e78700 -1 osd.24 4387 heartbeat_check: no reply from 0x7f0dcc3a5d10 osd.47 since back 2019-04-26 13:28:23.809860 front 2019-04-26 13:28:23.809860 (cutoff 2019-04-26 13:28:24.132797)
2019-04-26 13:28:44.395692 7f0da1b57700 -1 osd.24 4387 heartbeat_check: no reply from 0x7f0dcc3a5d10 osd.47 since back 2019-04-26 13:28:23.809860 front 2019-04-26 13:28:23.809860 (cutoff 2019-04-26 13:28:24.395682)
2019-04-26 13:28:44.635843 7f0d86e78700 -1 osd.24 4387 heartbeat_check: no reply from 0x7f0dcc3a5d10 osd.47 since back 2019-04-26 13:28:23.809860 front 2019-04-26 13:28:23.809860 (cutoff 2019-04-26 13:28:24.635838)
2019-04-26 13:28:45.139035 7f0d86e78700 -1 osd.24 4387 heartbeat_check: no reply from 0x7f0dcc3a5d10 osd.47 since back 2019-04-26 13:28:23.809860 front 2019-04-26 13:28:23.809860 (cutoff 2019-04-26 13:28:25.139031)
2019-04-26 13:28:45.395860 7f0da1b57700 -1 osd.24 4387 heartbeat_check: no reply from 0x7f0dcc3a5d10 osd.47 since back 2019-04-26 13:28:23.809860 front 2019-04-26 13:28:23.809860 (cutoff 2019-04-26 13:28:25.395849)
2019-04-26 13:28:45.641855 7f0d86e78700 -1 osd.24 4387 heartbeat_check: no reply from 0x7f0dcc3a5d10 osd.47 since back 2019-04-26 13:28:23.809860 front 2019-04-26 13:28:23.809860 (cutoff 2019-04-26 13:28:25.641850)

说明OSD47网络有问题：

可以先尝试重启服务

systemctl restart ceph-osd@*.service

如果不行重启机器

[root@controller01 ~]# ceph -s
cluster 30329309-3bff-470b-981f-5be63facde20
health HEALTH_OK
monmap e1: 3 mons at {node4=10.64.43.4:6789/0,node5=10.64.43.5:6789/0,node6=10.64.43.6:6789/0}
election epoch 5612, quorum 0,1,2 node4,node5,node6
fsmap e79: 1/1/1 up {0=node6=up:active}, 2 up:standby
osdmap e4529: 72 osds: 72 up, 72 in
flags sortbitwise,require_jewel_osds
pgmap v66545373: 3090 pgs, 5 pools, 3893 GB data, 948 kobjects
11578 GB used, 250 TB / 261 TB avail
3090 active+clean
client io 0 B/s rd, 9168 B/s wr, 1 op/s rd, 2 op/s wr

osds have slow requests的更多相关文章

  1. 1 slow requests are blocked > 32 sec解决方法

    [root@node1 ~]# ceph -s cluster: id: b8b4aa68-d825-43e9-a60a-781c92fec20e health: HEALTH_WARN Reduce ...

  2. ceph运维命令合集

    一.集群 1.启动一个ceph进程 启动mon进程 [root@ceph-adm ~]#203.109 service ceph start mon.ceph-mon1 启动msd进程 [root@c ...

  3. ceph mimic版本 部署安装

    ceph 寻址过程 1. file --- object映射, 把file分割成N个相同的对象 2. object - PG 映射, 利用静态hash得到objectID的伪随机值,在 "位 ...

  4. MDS 多活配置

    CephFS 介绍及使用经验分享 阅读 1179 收藏 2 2019-01-14 原文链接:www.jianshu.com WebRTC SFU中发送数据包的丢失反馈juejin.im 目录 Ceph ...

  5. cephfs测试中出现的问题

    最近重新对cephfs进行性能测试. 测试步骤: (1) 选取一个特地版本的操作系统内核,挂载20000个客户端; (2) 用iozone中的fileop工具,在每隔挂载点上都跑一个fileop进程; ...

  6. mds0: Many clients (191) failing to respond to cache pressure

    目录 背景 后续的努力 临时的解决办法 cephfs时我们产品依赖的主要分布式操作系统,但似乎很不给面子,压力测试的时候经常出问题. 背景 集群环境出现的问题: mds0: Many clients ...

  7. Ceph 存储集群7-故障排除

    Ceph 仍在积极开发中,所以你可能碰到一些问题,需要评估 Ceph 配置文件.并修改日志和调试选项来纠正它. 一.日志记录和调试 般来说,你应该在运行时增加调试选项来调试问题:也可以把调试选项添加到 ...

  8. ceph对象存储场景

    安装ceph-radosgw [root@ceph-node1 ~]# cd /etc/ceph # 这里要注意ceph的源,要和之前安装的ceph集群同一个版本 [root@ceph-node1 c ...

  9. CentOS 7.1编译安装PHP7

    原文: https://typecodes.com/web/centos7compilephp7.html?utm_source=tuicool&utm_medium=referral 1 创 ...

随机推荐

  1. cartographer 安装问题

    安装主要参考hitcm教程: http://www.cnblogs.com/hitcm/p/5939507.html 这里只说安装过程中遇到的问题, ceres-solver 与 eigen3 版本不 ...

  2. xargs -i和-I的区别【转】

    xargs与find经常结合来进行文件操作,平时删日志的时候只是习惯的去删除,比如  # find . -type f -name "*.log" | xargs rm -rf * ...

  3. Jenkins中配置selenium测试

    Jenkins中配置selenium测试 2015/03/23 第一步在jenkins中配置selenium服务器 第二步工程配置: 第三步:执行构建: 第四步,查看报告:

  4. oracle 视图 参数

    创建包: create or replace package p_view_param  is   function set_param(num number) return number;   fu ...

  5. 利用excel办公软件快速拼凑sql语句

    日常工作中经常会收到excel整理好的部门或者人员等数据信息并需要批量更新或者插入到数据库中,常用的办法有导入.脚本拼凑执行等,今天我介绍直接使用excel快速拼凑sql语句的方法 1.update批 ...

  6. spring上传文件

    在使用spring上传文件的时候,使用的文件接收参数类型为 org.springframework.web.multipart.MultipartFile 如果该参数没有指定@RequestParam ...

  7. js 将图片连接转换称base64格式

    我们把图像文件的内容直接写在了HTML 文件中,这样做的好处是,节省了一个HTTP 请求.坏处呢,就是浏览器不会缓存这种图像.现在我们提供一个js: function convertImgToBase ...

  8. Ex 6_23 一个生产系统共包含n个顺序执行的阶段..._第七次作业

  9. Webpack中的css-loader 和style-loader

    传统上我们会在html文件中引入CSS代码,借助webpack style-loader和css-loader我们可以在.js文件中引入css文件并让样式生效. style-loader和css-lo ...

  10. navicat连接sqlserver数据库提示：未发现数据源名称并且未指定默认驱动程序

    原因是navicat没有安装sqlserver驱动,就在navicat安装目录下,找到双击安装即可: