oracle rac节点不能启动报“has a disk HB, but no network HB”的错误

今天同事说有一套rac 19c的环境,不能使用了,让我帮忙看看。

这套rac环境是搭建在华为云ECS上的,操作系统为CentOS 7.6。根据经验,rac不能启动,主要是2个方面的原因:一个是共享存储,一个网络。共享存储常见原因是盘掉了,或盘坏了,或多路径软件出问题等等,而网络问题常见原因是私网网卡坏了,或节点之间网络不通(注意:修改ssh端口或修改oracle和grid密码不会影响rac的正常运行)。

很不幸,这套环境的共享和网络都有问题,下面慢慢分析。

原因一:共享盘掉了

首先,看看2个节点的共享盘是不是一致的,查看后发现节点2少了一块盘,让客户把节点2的盘重新挂载一下,

然后查看,共享盘已经一致了:

1[root@oracle-rac2 ~]# ll /dev/asm*<br> 2lrwxrwxrwx 1 root root 3 Jul 30 11:09 /dev/asm-diska -> sde<br> 3lrwxrwxrwx 1 root root 3 Jul 30 11:09 /dev/asm-diskb -> sdd<br> 4lrwxrwxrwx 1 root root 3 Jul 30 11:03 /dev/asm-diskc -> sdc<br> 5lrwxrwxrwx 1 root root 3 Jul 30 11:03 /dev/asm-diskd -> sdb<br> 6lrwxrwxrwx 1 root root 3 Jul 30 10:55 /dev/asm-diske -> sda<br> 7<br> 8[root@oracle-rac1 trace]# ll /dev/asm*<br> 9lrwxrwxrwx 1 root root 3 Jul 30 11:10 /dev/asm-diska -> sde<br>10lrwxrwxrwx 1 root root 3 Jul 30 11:03 /dev/asm-diskb -> sdb<br>11lrwxrwxrwx 1 root root 3 Jul 30 10:23 /dev/asm-diskc -> sda<br>12lrwxrwxrwx 1 root root 3 Jul 30 11:10 /dev/asm-diskd -> sdd<br>13lrwxrwxrwx 1 root root 3 Jul 30 11:03 /dev/asm-diske -> sdc<br>14<br>15[root@oracle-rac2 ~]# $GRID_HOME/bin/kfod disks=asm  st=true ds=true cluster=true<br>16--------------------------------------------------------------------------------<br>17 Disk          Size Header    Path                                    Disk Group    User     Group   <br>18================================================================================<br>19   1:      81920 MB MEMBER    /dev/asm-diska                           DATA         grid     asmadmin<br>20   2:      81920 MB MEMBER    /dev/asm-diskb                           OCR          grid     asmadmin<br>21   3:      81920 MB MEMBER    /dev/asm-diskc                           DATA         grid     asmadmin<br>22   4:      81920 MB MEMBER    /dev/asm-diskd                           DATA         grid     asmadmin<br>23   5:      81920 MB MEMBER    /dev/asm-diske                           DATA         grid     asmadmin<br>24--------------------------------------------------------------------------------<br>25ORACLE_SID ORACLE_HOME                                      HOST_NAME           <br>26================================================================================<br>27<br>28[root@oracle-rac1 trace]# $GRID_HOME/bin/kfod disks=asm  st=true ds=true cluster=true<br>29--------------------------------------------------------------------------------<br>30 Disk          Size Header    Path                                    Disk Group    User     Group   <br>31================================================================================<br>32   1:      81920 MB MEMBER    /dev/asm-diska                           DATA         grid     asmadmin<br>33   2:      81920 MB MEMBER    /dev/asm-diskb                           DATA         grid     asmadmin<br>34   3:      81920 MB MEMBER    /dev/asm-diskc                           DATA         grid     asmadmin<br>35   4:      81920 MB MEMBER    /dev/asm-diskd                           OCR          grid     asmadmin<br>36   5:      81920 MB MEMBER    /dev/asm-diske                           DATA         grid     asmadmin<br>37--------------------------------------------------------------------------------<br>38ORACLE_SID ORACLE_HOME                                      HOST_NAME           <br>39================================================================================<br>