Menu de navegação

[Sousa04Participante]

Bom dia Pessoal

Hoje quando cheguei verifiquei que umas das instâncias estava DOWN chequei o alert e encontrei as seguintes informações.

Mon Dec 13 02:03:26 2010
Thread 1 advanced to log sequence 568
Current log# 4 seq# 568 mem# 0: /sistema/oradata/dwdefesa/redo04a.log
Current log# 4 seq# 568 mem# 1: /indice/oradata/dwdefesa/redo04b.log
Mon Dec 13 02:06:50 2010
Thread 1 advanced to log sequence 569
Current log# 1 seq# 569 mem# 0: /sistema/oradata/dwdefesa/redo01a.log
Current log# 1 seq# 569 mem# 1: /indice/oradata/dwdefesa/redo01b.log
Mon Dec 13 02:09:47 2010
Thread 1 advanced to log sequence 570
Current log# 2 seq# 570 mem# 0: /sistema/oradata/dwdefesa/redo02a.log
Current log# 2 seq# 570 mem# 1: /indice/oradata/dwdefesa/redo02b.log
Mon Dec 13 02:12:10 2010
Thread 1 advanced to log sequence 571
Current log# 3 seq# 571 mem# 0: /sistema/oradata/dwdefesa/redo03a.log
Current log# 3 seq# 571 mem# 1: /indice/oradata/dwdefesa/redo03b.log
Mon Dec 13 02:14:26 2010
Thread 1 advanced to log sequence 572
Current log# 4 seq# 572 mem# 0: /sistema/oradata/dwdefesa/redo04a.log
Current log# 4 seq# 572 mem# 1: /indice/oradata/dwdefesa/redo04b.log
Mon Dec 13 02:16:22 2010
Thread 1 advanced to log sequence 573
Current log# 1 seq# 573 mem# 0: /sistema/oradata/dwdefesa/redo01a.log
Current log# 1 seq# 573 mem# 1: /indice/oradata/dwdefesa/redo01b.log
Mon Dec 13 02:18:23 2010
Thread 1 advanced to log sequence 574
Current log# 2 seq# 574 mem# 0: /sistema/oradata/dwdefesa/redo02a.log
Current log# 2 seq# 574 mem# 1: /indice/oradata/dwdefesa/redo02b.log
Mon Dec 13 02:20:30 2010
Thread 1 advanced to log sequence 575
Current log# 3 seq# 575 mem# 0: /sistema/oradata/dwdefesa/redo03a.log
Current log# 3 seq# 575 mem# 1: /indice/oradata/dwdefesa/redo03b.log
Mon Dec 13 02:22:35 2010
Thread 1 advanced to log sequence 576
Current log# 4 seq# 576 mem# 0: /sistema/oradata/dwdefesa/redo04a.log
Current log# 4 seq# 576 mem# 1: /indice/oradata/dwdefesa/redo04b.log
Mon Dec 13 02:24:47 2010
Thread 1 advanced to log sequence 577
Current log# 1 seq# 577 mem# 0: /sistema/oradata/dwdefesa/redo01a.log
Current log# 1 seq# 577 mem# 1: /indice/oradata/dwdefesa/redo01b.log
Mon Dec 13 02:27:05 2010
Thread 1 advanced to log sequence 578
Current log# 2 seq# 578 mem# 0: /sistema/oradata/dwdefesa/redo02a.log
Current log# 2 seq# 578 mem# 1: /indice/oradata/dwdefesa/redo02b.log
Mon Dec 13 02:42:03 2010
Starting background process CJQ0
Mon Dec 13 02:42:10 2010
Errors in file /u01/app/oracle/admin/dwdefesa/bdump/dwdefesa_pmon_5353.trc:
ORA-00601: cleanup lock conflict
Mon Dec 13 02:42:11 2010
Errors in file /u01/app/oracle/admin/dwdefesa/bdump/dwdefesa_pmon_5353.trc:
ORA-00450: background process ‘CJQ0’ did not start
ORA-00601: cleanup lock conflict
Mon Dec 13 02:43:25 2010
Starting background process CJQ0
Mon Dec 13 03:12:25 2010
MMNL absent for 1205 secs; Foregrounds taking over
Mon Dec 13 03:12:36 2010
Errors in file /u01/app/oracle/admin/dwdefesa/bdump/dwdefesa_pmon_5353.trc:
ORA-00474: SMON process terminated with error
Mon Dec 13 03:12:37 2010
PMON: terminating instance due to error 474
Mon Dec 13 03:12:38 2010
Instance terminated by PMON, pid = 5353

Pelo horário deve ser algum scritp que tenha dado algum pau, Mas queria ter certeza disso. Alguém pode dar alguma dica ??

Encontrei essas informações no trace

ORA-00601: cleanup lock conflict
ORA-00450: background process ‘CJQ0’ did not start
ORA-00601: cleanup lock conflict
*** 2010-12-13 02:56:00.312
Background process SMON found dead

Estou de cara pq o lock conseguil derrubar a instância queria ter certeza que é isso se alguem poder ajudar fico muito grato.

[CleitonHanzenParticipante]

Opá…

Fiz uma pesquisa rápida no metalink e aparenta ser alguma coisa de número máximo de arquivos abertos excedido.

Qual a sua plataforma e quais são os valores que estão configurados no kernel?

[]s

[jspaulonciParticipante]

Sousa04, lock não pode derrubar instância, a não que seja problema.

[vieriParticipante]

foi lock entre backgrounds e não lock entre usuários.
algum recurso de s.o ocupado pode ter sido o vilão
openfiles´esgotado é um grande indicio.

[Sousa04Participante]

Bom dia pessoal desculpem a enrrola esses dias não foram fáceis.

Obrigado Cleiton por verificar no metalink, eu não possuo acesso.

essa é a plataforma

Red Hat Enterprise Linux
Intel(R) Xeon(R) CPU 5130 @ 2.00GHz
8 GB Memória
2.6.18-194.3.1.el5

kernel.shmall = 2097152
kernel.shmmax = 2410151936
kernel.shmmni = 4096
kernel.sem = 250 32000 100 128

Sobre os parametros do kernel, eu ainda não tinha percebido que o parâmetro shmmax não estava metada da mémoria do servidor. Tenho q fazer essa alteração, será que foi por isso ??verifiquei os scripts e pelo horário o q estava rodando era uma script que faz rebuild dos índices, o estranho é q ele tbm roda em outras instâncias.

vlw!!

[CleitonHanzenParticipante]

Opá…

Poste o resultado do conteúdo dos dois arquivos abaixo:

/proc/sys/fs/file-max
/proc/sys/fs/file-nr

Pra podermos te ajudar…

[Sousa04Participante]

aqui

/proc/sys/fs/file-max
65536

/proc/sys/fs/file-nr
3060 0 65536

[CleitonHanzenParticipante]

Opá….

A principio, os parâmetros estão corretos…..Teria q dar uma acompanhada se não tem nenhum processo que está ficando “perdido” e não tá liberando os arquivos abertos….. Ou se é algum outro recurso que está sendo excedido….

O dmesg não mostrou nada quando ocorreu este erro?

[Sousa04Participante]

Dei uma vasculhada no dmesg e encontrei várias mensagens desse tipo

Buffer I/O error on device sdb, logical block 20709119
end_request: I/O error, dev sdf, sector 148893592
end_request: I/O error, dev sdg, sector 155188216
end_request: I/O error, dev sdb, sector 165672952
end_request: I/O error, dev sdf, sector 148893592
end_request: I/O error, dev sdg, sector 155188216

Mas parece ser algo relacionado ao multipath

[Sousa04Participante]

Pessoal encontrei uma informação no trace interessante do horário da queda do banco. Esse foi o exato horário que a instância caiu.

*** 2010-12-13 02:43:45.434
*** SERVICE NAME:(SYS$BACKGROUND) 2010-12-13 02:43:40.879
*** SESSION ID:(160.20) 2010-12-13 02:43:40.864
Waited for process q003 to initialize for 60 seconds
*** 2010-12-13 02:43:46.122
Dumping diagnostic information for q003:
OS pid = 18518
loadavg : 51.82 70.03 48.48
memory info: free memory = 0.00M
swap info: free = 0.00M alloc = 0.00M total = 0.00M
skgpgpstack: fgets() timed out after 60 seconds
skgpgpstack: pclose() timed out after 60 seconds
skgpgpstack: fgets() timed out after 60 seconds
skgpgpstack: pclose() timed out after 60 seconds
*** 2010-12-13 03:12:36.160

Será que foi falta de memória?? informando memória e swap zerados…
Puderem dar uma sugestão agradeço.

[Sousa04Participante]

olá pessoal realmente creio que o erro era memória

encontrei um pequeno erro nos parâmetros

NAME TYPE VALUE

---

pga_aggregate_target big integer 987G

rsrsrs
Agora é só limpar a káka!!!

vlw

[Autor]

Posts