[转帖]Region is unavailable的排查总结

https://tidb.net/blog/07c99ed0#4%C2%A0%20%E4%B8%80%E4%BA%9B%E5%BB%BA%E8%AE%AE

1 region访问基本流程

tidb在访问key数据时需要获取key所在region的分布信息，在tidb 侧有一个region cache存储region信息，包含region key范围、leader+peer信息、store_id等，每次访问key时先从region cache内查找是否有相应region信息如果没有则从pd读取并放到region cache内。

由于pd或tikv不会主动将最新的region信息告知给tidb，当region发生变化时，比如leader切换、region分裂或合并，或者tikv节点无法访问等，tidb侧的region cache信息可能会过期，此时根据region cache信息访问tikv时由于region的变化tikv会返回一些错误信息，比如not leader、RegionNotFound 、EpochNotMatch 等。tidb会进行backoff,根据tikv返回的错误信息里的内容或从pd更新region信息，尝试使用新的信息访问region。

2 region is unavailable常见原因

region is unavailable 就是tidb 在backoff时由于各种问题导致超过了阈值时间(20秒)而返回的错误。常见的原因有：

1、最大副本数的半数以上tikv或tiflash不可用或同时发生重启，导致raftgroup多副本失败。需要注意的tidb集群允许问题tikv的数量是以副本数的多数可用为准，与运行tikv的主机数量没关系。

2、在backoff时间内没有leader可访问：

(1) Tikv很忙Region 在backoff时间内没有选举出leader；

(2) region已经有问题无法选出leader；

(3) Region split时间过长。

3、 Region split/merge在Follower apply慢的情况下，发生Leader切换后未能在backoff时间内同步到split/merge操作。

4、其他情况：比如版本升级过程不完全、bug等。如：https://docs.pingcap.com/zh/tidb/stable/release-5.3.3

3 排查总结

1、确认问题是偶尔出现还是每次必现。

2、检查是否有多个tikv 或tiflash异常的情况。

tiup cluster display xxx 或查询Information_schema.tikv_store_status

3、检查tikv/tiflash的版本是否一致，状态是否与tiup一致，已缩容节点是否仍可见。

查询Information_schema.tikv_store_status 或 pd-ctl store

4、检查副本数设置max-replicas是否>=3。

pd-ctl config show

5、检查查询的表或使用的索引region是否正常。

explain SQL 检查报错表的执行计划使用索引还是表、走的tikv还是tiflash。

show table xxx regions .

pd-ctl region region_id

正常情况region中peer数应该>=max-replica数量，且其中一个为leader

6、直接查找不正常的region。

(1) 没有leader的region

pd-ctl region --jq='.regions[]|select(has("leader")|not)|{id: .id,peer_stores: [.peers[].store_id]}'

(2) region数小于一定数量的region

pd-ctl region --jq='.regions[] | {id: .id, peer_stores: [.peers[].store_id] | select(length==1) } '

(3) 检查bad region

./tikv-ctl --data-dir /data1/tidb-data/tikv-20160 bad-regions

5.x版本：./tikv-ctl --db /data1/tidb-data/tikv-20160/db bad-regions

7、检查tikv是否出现重启。

监控： TiKV detail -> cluster -> uptime或看memory趋势

8、检查follower apply是否延迟。

监控：TiKV detail -> raft Io -> appply log duration 是否过大

TiKV detail -> raft propose -> appply wait duration 是否过大

9、检查tikv是否出现server busy 或其他错误

监控：TiKV detail -> Erros

Server busy 排查

10、检查问题region的tikv/pd日志，确认是否有异常信息。

4 一些建议

1、在同一主机部署同一集群的多个tikv实例时一定要将所有tikv设置相同的label，否则会导致同一主机有某些region的多个副本存在，宕机后会出现多副本失败。

2、升级、缩容操作要处理完整。缩容处理流程可参考：

TiKV缩容下线异常处理的三板斧：https://tidb.net/blog/ddef26a5

----------------------------------------------------------------------------------------------------------------------

参考文档：Region is unavailable