* 질문 등록 시 다음의 내용을 꼭 기입하여 주세요.
|
|
Redhat 7.6 Enterprise |
|
|
10.1.5.7809 |
|
|
10.2.0.0001 |
|
|
JAVA |
* CUBRID 응용 오류, SQL 오류 또는 SQL 튜닝 관련된 문의는 반드시 다음의 내용을 추가해 주세요. 비밀글이나 비밀 댓글도 가능합니다.
* 저희가 상황을 이해하고, 재현이 가능해야 알 수 있는 문제들이 많습니다. 가능한 정보/정황들을 부탁합니다.
| 에러 내용 및 재현 방법 | 재현 가능한 Source와 SQL |
| 관련 테이블(인덱스, 키정보 포함) 정보 | CUBRID 홈 디렉토리 아래 log 디렉토리 압축 |
-------------- 아래에 질문 사항을 기입해 주세요. ------------------------------------------------------------------------
안녕하세요. 현재 가상화 서버 2대를 HA 구성하여 운영중에 있습니다.
현재 새벽마다 hb_thread_check_disk_failure 오류가 발생하고 있습니다.
ha_ping_hosts 옵션은 추가되어있는 상태입니다.
원인이 어떤것인지, 어떻게 해결해야할지 잘 모르겠어서 문의드립니다.
시스템 로그(/var/log/messages)에서 확인된 오류는 아래와 같습니다.
#DB01 Master 서버
May 10 01:02:39
cub_master : [CUBRID] hb_thread_check_disk_failure () at /home/jenkins/workspace/cubrid_release_10.1/src/executables/master_heartbeat.c:4471
May 10 01:06:13
kernel: INFO: task cub_admin:3978 blocked for more than 120 seconds.
kernel: "echo 0 > /proc/sys/kernel/hung_task_timeout_secs" disables this message.
kernel: cub_admin D ffff9b2831fb4200 0 3978 1 0x00000080
kernel: Call Trace:
kernel: [<ffffffff918d2ba0>] ? task_rq_unlock+0x20/0x20
kernel: [<ffffffff91f87169>] schedule+0x29/0x70
kernel: [<ffffffffc06038c5>] jbd2_log_wait_commit+0xc5/0x140 [jbd2]
kernel: [<ffffffff918c6d10>] ? wake_up_atomic_t+0x30/0x30
kernel: [<ffffffffc0604f52>] jbd2_complete_transaction+0x52/0xa0 [jbd2]
kernel: [<ffffffffc06a6bd2>] ext4_sync_file+0x292/0x320 [ext4]
kernel: [<ffffffff91a83a07>] do_fsync+0x67/0xb0
kernel: [<ffffffff91a83cf0>] SyS_fsync+0x10/0x20
kernel: [<ffffffff91f93f92>] system_call_fastpath+0x25/0x2a
#DB02 Slave 서버
May 10 01:05:31
cub_master : [CUBRID] hb_thread_check_disk_failure () at /home/jenkins/workspace/cubrid_release_10.1/src/executables/master_heartbeat.c:4471
-------- 다음날 새벽 --------
#DB01 Master 서버
May 11 01:03:09
cub_master : [CUBRID] hb_thread_check_disk_failure () at /home/jenkins/workspace/cubrid_release_10.1/src/executables/master_heartbeat.c:4471
May 11 01:06:13
kernel: INFO: task cub_admin:3978 blocked for more than 120 seconds.
kernel: "echo 0 > /proc/sys/kernel/hung_task_timeout_secs" disables this message.
kernel: cub_admin D ffffffff91f86e76 0 3978 1 0x00000080
kernel: Call Trace:
kernel: [<ffffffff91f87169>] schedule+0x29/0x70
kernel: [<ffffffffc06038c5>] jbd2_log_wait_commit+0xc5/0x140 [jbd2]
kernel: [<ffffffff918c6d10>] ? wake_up_atomic_t+0x30/0x30
kernel: [<ffffffffc0604f52>] jbd2_complete_transaction+0x52/0xa0 [jbd2]
kernel: [<ffffffffc06a6bd2>] ext4_sync_file+0x292/0x320 [ext4]
kernel: [<ffffffff91a83a07>] do_fsync+0x67/0xb0
kernel: [<ffffffff91a83cf0>] SyS_fsync+0x10/0x20
kernel: [<ffffffff91f93f92>] system_call_fastpath+0x25/0x2a
May 11 01:08:13
kernel: INFO: task cub_admin:3978 blocked for more than 120 seconds.
kernel: "echo 0 > /proc/sys/kernel/hung_task_timeout_secs" disables this message.
kernel: cub_admin D ffffffff91f86e76 0 3978 1 0x00000080
kernel: Call Trace:
kernel: [<ffffffff91f87169>] schedule+0x29/0x70
kernel: [<ffffffffc06038c5>] jbd2_log_wait_commit+0xc5/0x140 [jbd2]
kernel: [<ffffffff918c6d10>] ? wake_up_atomic_t+0x30/0x30
kernel: [<ffffffffc0604f52>] jbd2_complete_transaction+0x52/0xa0 [jbd2]
kernel: [<ffffffffc06a6bd2>] ext4_sync_file+0x292/0x320 [ext4]
kernel: [<ffffffff91a83a07>] do_fsync+0x67/0xb0
kernel: [<ffffffff91a83cf0>] SyS_fsync+0x10/0x20
kernel: [<ffffffff91f93f92>] system_call_fastpath+0x25/0x2a
#DB02 Slave 서버
오류 로그 없음.
$CUBRID/conf/cubrid.conf의 설정값 중 ha_check_disk_failure_interval의 기본값은 15초입니다.
즉, 15초동안 disk 관련 행위에 응답이 없으면, timeout이 발생하여 fail-over가 발생합니다.
우선적으로 해당 시간대에 어떤 행위에 의해 file system이 block되는지 원인을 파악해보세요.
차선잭으로는 cubrid.conf의 ha_check_disk_failure_interval 의 값을 늘려보세요. (설정값을 적용하려면 restart 하셔야 합니다.)