A eso de las 16:00 me llaman al celular diciendo que tenian un problema con un equipo y que el motor Informix no levantaba. Este cliente tiene un equipo Sun conectado a un Storage externo.
Bueno, a eso de las 17:30 llego y me encuentro con que habian estado haciendo pruebas con las UPS y justo se corto la fase donde estaba conectado el Disk Array pero el servidor quedo prendido. Apenas paso esto el motor marco down a 8 chunks (aprox). Al equipo ya lo habian reiniciado pero seguia sin poder levantar el motor y un filesystem que no se utilizaba, justo todos los volumenes que estaban en el Disk Array.
Despues de analizar un poco vi que Veritas no habia podido levantar unos plexes (14 en total), los dejaba en estado DISABLE RECOVER. Con este problema el motor no levantaba y mi esperanza de poder hacer un onspaces para marcar a los chunks online se fue a la mierda.
Bueno, saco la laptop y a google, primera busqueda (casi un I feel lucky) encuentro esto Abrupt power interruption causes veritas nightmare
Lo leo y la situacion es la misma, miro los comandos y noto que el hagrp no lo necesito porque no esta instalado suncluster, los diskgroups estaban importados asi que segui con vxmend. Busco una manpage y no existe. Como algo me acordaba de veritas segui los comandos, previo leer las manpages, y funciono, tuve que agregar
# vxmend -o force off [plexname]
# vxmend on [plexname]
# vxmend fix clean [plexname]
# vxvol start [volume]
De a poco empezamos a levantar todos los plexes que faltaban, como estaban espejados cuando levantaba el volumen de la copia tardaba 3 min. en sincronizar los datos. En una hora estuvieron todos los plexes levantados, booteamos el equipo y despues iniciamos el motor. Hasta este momento lo menos que me esperaba era tener que usar onspaces para levantar los chunks caidos. Pero por suerte Informix levanto sin problemas.
Related:
- The Cuddletech Veritas Cheat Sheet
- VxVM System Administrator's Guide
No hay comentarios.:
Publicar un comentario