ceph health detail
HEALTH_WARN 14 requests are blocked > 32 sec; 11 osds have slow requests
7 ops are blocked > 536871 sec
2 ops are blocked > 268435 sec
2 ops are blocked > 67108.9 sec
3 ops are blocked > 33554.4 sec
1 ops are blocked > 536871 sec on osd.0
1 ops are blocked > 536871 sec on osd.10
2 ops are blocked > 536871 sec on osd.12
2 ops are blocked > 268435 sec on osd.18
1 ops are blocked > 536871 sec on osd.31
1 ops are blocked > 536871 sec on osd.38
1 ops are blocked > 67108.9 sec on osd.38
1 ops are blocked > 33554.4 sec on osd.48
1 ops are blocked > 67108.9 sec on osd.52
1 ops are blocked > 536871 sec on osd.63
1 ops are blocked > 33554.4 sec on osd.64
1 ops are blocked > 33554.4 sec on osd.69
11 osds have slow requests

此时注意看osd日志:

2019-04-26 13:28:44.132802 7f0d86e78700 -1 osd.24 4387 heartbeat_check: no reply from 0x7f0dcc3a5d10 osd.47 since back 2019-04-26 13:28:23.809860 front 2019-04-26 13:28:23.809860 (cutoff 2019-04-26 13:28:24.132797)
2019-04-26 13:28:44.395692 7f0da1b57700 -1 osd.24 4387 heartbeat_check: no reply from 0x7f0dcc3a5d10 osd.47 since back 2019-04-26 13:28:23.809860 front 2019-04-26 13:28:23.809860 (cutoff 2019-04-26 13:28:24.395682)
2019-04-26 13:28:44.635843 7f0d86e78700 -1 osd.24 4387 heartbeat_check: no reply from 0x7f0dcc3a5d10 osd.47 since back 2019-04-26 13:28:23.809860 front 2019-04-26 13:28:23.809860 (cutoff 2019-04-26 13:28:24.635838)
2019-04-26 13:28:45.139035 7f0d86e78700 -1 osd.24 4387 heartbeat_check: no reply from 0x7f0dcc3a5d10 osd.47 since back 2019-04-26 13:28:23.809860 front 2019-04-26 13:28:23.809860 (cutoff 2019-04-26 13:28:25.139031)
2019-04-26 13:28:45.395860 7f0da1b57700 -1 osd.24 4387 heartbeat_check: no reply from 0x7f0dcc3a5d10 osd.47 since back 2019-04-26 13:28:23.809860 front 2019-04-26 13:28:23.809860 (cutoff 2019-04-26 13:28:25.395849)
2019-04-26 13:28:45.641855 7f0d86e78700 -1 osd.24 4387 heartbeat_check: no reply from 0x7f0dcc3a5d10 osd.47 since back 2019-04-26 13:28:23.809860 front 2019-04-26 13:28:23.809860 (cutoff 2019-04-26 13:28:25.641850)

说明OSD47网络有问题：

可以先尝试重启服务

systemctl restart ceph-osd@*.service

如果不行重启机器

[root@controller01 ~]# ceph -s
cluster 30329309-3bff-470b-981f-5be63facde20
health HEALTH_OK
monmap e1: 3 mons at {node4=10.64.43.4:6789/0,node5=10.64.43.5:6789/0,node6=10.64.43.6:6789/0}
election epoch 5612, quorum 0,1,2 node4,node5,node6
fsmap e79: 1/1/1 up {0=node6=up:active}, 2 up:standby
osdmap e4529: 72 osds: 72 up, 72 in
flags sortbitwise,require_jewel_osds
pgmap v66545373: 3090 pgs, 5 pools, 3893 GB data, 948 kobjects
11578 GB used, 250 TB / 261 TB avail
3090 active+clean
client io 0 B/s rd, 9168 B/s wr, 1 op/s rd, 2 op/s wr

osds have slow requests的更多相关文章

  1. 1 slow requests are blocked > 32 sec解决方法

    [root@node1 ~]# ceph -s cluster: id: b8b4aa68-d825-43e9-a60a-781c92fec20e health: HEALTH_WARN Reduce ...

  2. ceph运维命令合集

    一.集群 1.启动一个ceph进程 启动mon进程 [root@ceph-adm ~]#203.109 service ceph start mon.ceph-mon1 启动msd进程 [root@c ...

  3. ceph mimic版本 部署安装

    ceph 寻址过程 1. file --- object映射, 把file分割成N个相同的对象 2. object - PG 映射, 利用静态hash得到objectID的伪随机值,在 "位 ...

  4. MDS 多活配置

    CephFS 介绍及使用经验分享 阅读 1179 收藏 2 2019-01-14 原文链接:www.jianshu.com WebRTC SFU中发送数据包的丢失反馈juejin.im 目录 Ceph ...

  5. cephfs测试中出现的问题

    最近重新对cephfs进行性能测试. 测试步骤: (1) 选取一个特地版本的操作系统内核,挂载20000个客户端; (2) 用iozone中的fileop工具,在每隔挂载点上都跑一个fileop进程; ...

  6. mds0: Many clients (191) failing to respond to cache pressure

    目录 背景 后续的努力 临时的解决办法 cephfs时我们产品依赖的主要分布式操作系统,但似乎很不给面子,压力测试的时候经常出问题. 背景 集群环境出现的问题: mds0: Many clients ...

  7. Ceph 存储集群7-故障排除

    Ceph 仍在积极开发中,所以你可能碰到一些问题,需要评估 Ceph 配置文件.并修改日志和调试选项来纠正它. 一.日志记录和调试 般来说,你应该在运行时增加调试选项来调试问题:也可以把调试选项添加到 ...

  8. ceph对象存储场景

    安装ceph-radosgw [root@ceph-node1 ~]# cd /etc/ceph # 这里要注意ceph的源,要和之前安装的ceph集群同一个版本 [root@ceph-node1 c ...

  9. CentOS 7.1编译安装PHP7

    原文: https://typecodes.com/web/centos7compilephp7.html?utm_source=tuicool&utm_medium=referral 1 创 ...

随机推荐

  1. plist反序列化

    // //  ViewController.m //  03-plist文件的一个反序列化 // //  Created by jerry on 15/9/28. //  Copyright (c) ...

  2. python3数字、日期和时间

    1.对数值进行取整 #使用内建的round(value,ndigits)函数来取整,ndigits指定保留的位数,在取整时会取值在偶数上,如1.25取一位会取整1.2,1.26会取整1.3 In [1 ...

  3. win10-Anaconda2-Theano-cuda7.5-VS2013

    两天的辗转反侧,终于灵光一现找到了错误. 首先,我在win10下配置好了gpu和cudnn版本的caffe.但是因为win平台的限制,caffe用的不够舒服.因为之前用过一阵子theano,虽然很慢, ...

  4. python中对列表的所有操作方法

    列表: names = ['a','b','c','d'] 1.追加:names.append() >>> names.append('e') >>> names ...

  5. (并发编程)进程 (multiprocessing--Process实现进程并发）

    ['创建进程2方式种', '进程对象属性:join方法,守护进程obj.daemon=True,obj.pid, obj.name, obj.terminate(),obj.is_alive()等 ' ...

  6. linux系统编译安装软件的通用步骤

    编译安装的步骤: 1.下载源代码,并解压     tar -xf package-version.tar.{gz|bz2|xz} 注意:展开后的目录通常为package-version 2.切换至源码 ...

  7. ArrayList源码分析笔记（jdk1.8）

    1.特点: ArrayList 是一个动态数组,它是线程不安全的,允许元素为null 可重复,插入有序 读写快,增删慢 扩容:默认容量 10,默认扩容1.5倍 建议指定容量大小,减少扩容带来的性能消耗 ...

  8. ocos2d-x 3.0坐标系详解--透彻篇 ---- convertToWorldSpace：把基于当前节点的本地坐标系下的坐标转换到世界坐标系中。

    convertToWorldSpace:把基于当前节点的本地坐标系下的坐标转换到世界坐标系中.重点说明:基于...   不一定要是真实的,  convertToWorldSpace 的结果也只是一个新 ...

  9. LeetCode（50）：Pow(x, n)

    Medium! 题目描述: 实现 pow(x, n) ,即计算 x 的 n 次幂函数. 示例 1: 输入: 2.00000, 10 输出: 1024.00000 示例 2: 输入: 2.10000, ...

  10. 演示Thread.sleep(100)和Thread.currentThread().isInterrupted()+@Deprecated:将方法标注为废弃的方法

    package charpter08; public class TestInterrupt01 { public static void main(String[] args) { Processo ...