watchdogtimer

비 권장)네트워크 장애, 인터페이스 장애 등 여러 조건이 발생될 경우 시스템을 강제 재부팅

목적

서버의 down된 thread나 process를 감시하기 위해 별도의 watchdog 기능을 두어 작업중인 thread들이 주기적으로 watchdog process에게 자신의 상태(alive 유무?)를 보고한다. 이때 일정시간이 지났음에도 불구하고 thread가 상태 보고를 못할 시, watchdog process는 강제로 thread를 종료 시키고 이를 대신 할 thread를 재 생성 시킨다. 하지만 잦은 리셋으로 인한 서비스가 중단되는 문제가 생길 수 있으므로 주의 바란다.

기능과 옵션 ​

watchdog.conf 변수[1]

변수 이름

기본값

설명

ping

N/A

이 IP 주소에 액세스할 수 있는지 확인하기 위해서 워치독이 핑(ping)을 시도하는 주소입니다. 추가적인 ping 행을 더해서 여러 개의 IP 주소를 입력할 수 있습니다.

interface

N/A

네트워크 트래픽이 있는지 확인하기 위해 워치독이 감시하는 네트워크 인터페이스입니다. 추가적인 interface 행을 더해서 여러 개의 네트워크 인터페이스를 입력할 수 있습니다.

file

/var/log/messages

변경된 내용이 있는지 확인하기 위해 워치독이 감시할 로컬 시스템 파일입니다. 추가적인 file 행을 더해서 여러 개의 파일을 입력할 수 있습니다.

change

1407

워치독 간격이 이 숫자 이상이 되면 워치독은 파일이 변경 되었는지 확인하게 됩니다. change 행을 반드시 각 file 행 직후에 있는 행에 지정해야 하며, 이 change 행 바로 위에 있는 file 행에 적용됩니다.

max-load-1

24

1분 동안 가상 머신이 감당할 수 있는 최대 평균 부하입니다. 이 평균값이 초과되면 워치독이 실행됩니다. 이 값을 0으로 설정 시 이 기능이 비활성화됩니다.

max-load-5

18

5분 동안 가상 머신이 감당할 수 있는 최대 평균 부하입니다. 이 평균값이 초과되면 워치독이 실행됩니다. 이 값을 0으로 설정 시 이 기능이 비활성화됩니다. 기본적으로 이 변수값은 max-load-1의 4분의 3 정도 되는 값으로 설정되어 있습니다.

max-load-15

12

15분 동안 가상 머신이 감당할 수 있는 최대 평균 부하입니다. 이 평균값이 초과되면 워치독이 실행됩니다. 이 값을 0으로 설정하면 이 기능이 비활성화됩니다. 기본적으로 이 변수값은 max-load-1의 반 정도 되는 값으로 설정되어 있습니다.

min-memory

1

가상 머신에서 반드시 사용 가능하도록 남아 있어야 하는 최소한의 가상 메모리 크기입니다. 이 값은 페이지 단위로 측정됩니다. 이 값을 0으로 설정하면 이 기능이 비활성화됩니다.

repair-binary

/usr/sbin/repair

워치독이 트리거(trigger)되었을 때 로컬 시스템에서 실행될 바이너리 파일의 경로 및 파일 이름입니다. 이렇게 지정된 파일을 사용하여 워치독 카운터가 초기화되지 못하는 문제가 해결되면 워치독 작업이 트리거되지 않습니다.

test-binary

N/A

매 간격마다 워치독이 실행하려고 시도하게 되는 로켈 시스템에 있는 바이너리 파일의 경로 및 파일 이름입니다. 테스트 바이너리를 사용하면 사용자 정의 테스트를 실행하기 위한 파일을 지정할 수 있습니다.

test-timeout

N/A

사용자 정의 테스트가 실행될 수 있는 제한 시간을 초 단위로 설정할 수 있습니다. 이 값을 0으로 설정하면 사용자 정의 테스트가 무기한으로 지속됩니다.

temperature-device

N/A

watchdog 서비스가 실행 중인 시스템의 온도를 확인하는 장치의 경로 및 이름입니다.

max-temperature

120

watchdog 서비스가 실행 중인 시스템의 최대 허용 온도입니다. 이 온도에 도달하면 시스템이 중지됩니다. 단위 환산은 고려되지 않으므로, 사용하고 있는 워치독 카드와 같은 단위로 이 값을 지정해야 합니다.

admin

root

이메일 알림이 전송되는 이메일 주소입니다.

interval

10

워치독 장치 업데이트 간격을 초 단위로 설정할 수 있습니다. 워치독 장치는 최소 1분마다 업데이트를 예상하며, 1분이 넘게 업데이트가 없으면 워치독이 트리거됩니다. 이러한 1분의 시간은 워치독 장치 드라이버에 하드코딩되어 있으며 설정을 변경할 수 없습니다.

logtick

1

watchdog 서비스에 대한 상세 정보 로깅(verbose logging)이 활성화된 경우, watchdog 서비스가 정기적으로 로컬 시스템에 로그 메시지를 기록하게 됩니다. logtick 값은 메시지가 작성된 후 워치독 간격에 대한 설정을 나타냅니다.

realtime

yes

메모리에서 워치독을 잠그도록 설정할 수 있습니다. 이 값을 yes로 설정하면 워치독이 메모리에서 잠겨서 스왑-아웃할 수 없게 되며, 이 값을 no로 설정하면 워치독을 메모리에서 스왑-아웃할 수 있습니다. 워치독이 스왑-아웃된 후 워치독 카운터가 제로가 되기 전에 다시 스왑-인되지 않으면 워치독이 트리거됩니다.

priority

1

realtime 값이 yes로 설정 시 스케줄 우선 순위를 나타냅니다.

pidfile

/var/run/syslogd.pid

관련 프로세스가 아직 활성화되어 있는지 확인하기 위해 워치독이 감시하는 PID 경로 및 파일 이름입니다. 관련 프로세스가 활성화되어 있지 않으면 워치독이 트리거됩니다.

설치 및 실행방법

1.설치방법

#yum install watchdog

2,watchdog timer 설정

#vi /etc/watchdog.conf

synario#1

  1. 서버 앞단의 게이트웨이ip를 설정하고 /var/log/messages 파일에 내용을 기록

  • 1번째줄의 gateway ip 입력 후 주석제거 (: i )

  • 4번째줄의 /var/log/messages (저장은 :wq!)

2. 설정을 마치고 watchdog 실행 및 확인

#systemctl start watchdog.service (실행)

#systemctl enable watchdog.service (활성)

3. Test

  • scenario: gateway가 설정된 port를 down 시킨 후 어떻게 watchdog이 동작 하는지 확인한다.

  • 주의사항은 시스템의 Hangup이 발생할 가능성이 높다. 이 경우 조치 방법은 마지막에 공개하겠다.

1.자신의 port down시킨다.

  • #ifdown eno7(gateway와 연결된 port번호 입력)

2. 시스템이 재부팅 될 것이고(command가 입력되지 않음),uptime 시간과 /var/log/message 파일을 통해 shutdown 된 로그를 확인한다.

  • uptime

  • cat /var/log/messages

watchdog error에 대한 조치 방법

1.sysctl 명령어로 NMI watchdog 일시적으로 비활성화[2]

sudo sysctl kernel.nmi_watchdog=0
결과예시)kernel.nmi_watchdog = 0

2.single mode에서 영구적으로 sysctl.conf 파일을 통해 비활성화 [2]

sudo sh -c "echo 'kernel.nmi_watchdog=0' >> /etc/sysctl.conf"

3. 시스템 재부팅 후 kernel 부팅 될 때, edit으로 들어간다. 다음 sysroot로 변경 후 watchdog을 비활성화 시킨다.

Reference ​

[1]https://access.redhat.com/documentation/ko-kr/red_hat_virtualization/4.1/html/virtual_machine_management_guide/sect-configuring_a_watchdog

[2] https://www.pcsuggest.com/disable-nmi-watchdog-linux/

PreviouskdumpNext사용성 (Usability)

Last updated