Oracle Haip无法启动问题学习

一、目标：Oracle Haip 启动报错

需求：日常运维过程中，已经遇到两次由于HAIP引发的问题，特此进行记录。

本次问题是看着大佬-李海清操作,整完了记录一下，上一次HAIP折腾了4个小时。

Oracle Haip是给Oracle 提供私网的高可用，存在多个私网网卡的情况下，会有多个HAIP，这样某个私网网卡down,并不影响整个RAC集群的通信。

二、HAIP启动失败排查思路

可能性很多，那么怎么排查定位问题。

参考

https://blog.csdn.net/m0_38048955/article/details/115345414
https://www.cnblogs.com/jyzhao/p/7686243.html

1） 心跳网卡异常

2)  多播工作机制异常

3）  防火墙等原因

4）  Oracle bug

问题时间出现在初始化安装、日常维护，这样容易找到差异点。

三、HAIP案例

3.1 网络策略导致HAIP 无法通讯

这个之前发过博客

https://www.cnblogs.com/lvcha001/p/12155042.html

小结一下：
1.安装11g R2 RAC时，节点1安装GI没问题，HAIP可以启动；
2.安装节点2GI时，HAIP启动失败；
3.通过上述情况基本可以定位为两个节点的HAIP无法通讯
4.通过ping 判断节点1->节点2 haip网络不通；
5.客户网络工程师确认无法开通HAIP

原文链接：https://blog.csdn.net/evils798/article/details/27248263

操作，为私网配置网关，重启网络服务，重新安装(建议可以尝试上述链接，指定IP的网卡路由)

    重新配置私网网关地址之后，重新安装RAC ，再次执行root.sh 报错，本次169.254 的Oracle haip地址使用的是eth1的私网网卡地址，但是发现

 节点1无法ping通节点2的haip地址。

ASM on Non-First Node (Second or Others) Fails to Start: PMON (ospid: nnnn): terminating the instance due to error 481 (Doc ID 1383737.1)

并且，grid$sqlplus / as sysasm

SQL>startup 报错如上述，还是私网HAIP不通的问题。

Case5. HAIP is up on all nodes and route info is presented but HAIP is not pingable
Symptom:
HAIP is presented on both nodes and route information is also presented, but both nodes can not ping or traceroute against the other node HAIP.

······

Solution: 

For Openstack Cloud implementation, engage system admin to create another neutron port to map link-local traffic. For other environment, 
engage SysAdmin/NetworkAdmin to review routing/network setup.

解决方案是让网络工程师调整，但是云厂商很难具体开通HAIP之间的连接。

本次选择禁用HAIP 服务，达到云环境安装目的。

3.2 AIX环境更换私网网卡后bpf device设备未更新导致Haip服务启动失败

问题表象，RAC 11.2.0.4 正常使用,增加新的私网网卡后，删除原来的私网网卡后，重启集群CRS. haip 节点1启动失败，此时节点2集群出于关闭状态，不存在网络交互的问题。
手工启动haip服务

crsctl start res ora.cluster_interconnect.haip -init

启动失败，观察日志，匹配如下MOS bug ，oracle bug建议使用root 执行命令进行刷新！刷新后，问题解决。

已知问题：Grid Infrastructure Redundant Interconnect 和 ora.cluster_interconnect.haip（文档 ID 1640865.1）
2012-04-21 12:36:43.951: [ USRTHRD][2572] {0:0:2} (null) category: -2, operation: SETIF, loc: bpfopen:21,o, OS error: 6, other: dev /dev/bpf0, ifr en2
Solution/Workaround:
It's known on AIX and Solaris that command executed via sudo etc may not have full root environment, which could cause HAIP startup failure.
The solution is to obtain and apply patch 16445624 on AIX.
The workaround is to execute root script (root.sh or rootupgrade.sh) as real root user directly.
If root script already failed, try one or all of the following:
 - reboot the node
 - execute "/usr/sbin/tcpdump -D" as root user, if the timestamp of the bpf device didn't get updated, delete the device and re-run the same "tcpdump -D" command
Before re-running root script, verify whether the following exists and the timestamp is updated
ls -ltr /dev/bpf*
cr--------   1 root     system       42,  0 Oct 03 10:32 /dev/bpf0
..

Grid Infrastructure Redundant Interconnect 和 ora.cluster_interconnect.haip（文档 ID 1210883.1）
https://blog.csdn.net/m0_38048955/article/details/115345414
对于心跳网卡异常，如果只有一块心跳网卡，那么ping其他的ip就可以进行验证了，这一点很容易排除。
对于多播的问题，可以通过Oracle提供的mcasttest.pl脚本进行检测(请参考Grid Infrastructure Startup During Patching, Install or Upgrade May Fail 
Due to Multicasting Requirement (ID 1212703.1)