[Windows] 윈도우즈 메시지 후킹

Hooking

Hooking이란, 운영 체제나 응용 소프트웨어 등의 각종 컴퓨터 프로그램에서 소프트웨어 구성 요소 간에 발생하는 함수 호출, 메시지, 이벤트 등을 중간에서 바꾸거나 가로채는 명령, 방법, 기술이나 행위를 말한다.

 

Message Hook

Windows 운영체제는 GUI를 제공하고, 사용자는 아이콘, 메뉴, 버튼, 창 등의 그래픽 요소를 클릭하거나 키보드를 입력하는 등의 방식으로 상호작용한다. 이를 Event Driven방식이라고 한다.

Event가 발생할 때 OS는 미리 정의된 메시지를 해당 응용 프로그램으로 통보하는데, 이러한 메시지를 중간에서 가로채어 필요한 작업을 진행하는 행위를 메시지 훅이라 일컫는다.

 

Message Hook의 동작 원리

1. 키보드 입력 이벤트가 발생하면 WM_KEYDOWN 메시지가 OS message queue에 추가된다.

2. OS는 어느 응용 프로그램에서 이벤트가 발생했는지 파악하여 OS message queue에 저장된 메시지를 꺼내어 해당 응용 프로그램의 application message queue에 추가한다.

3. 응용 프로그램은 자신의 message queue를 모니터링하고 있다가 WM_KEYDOWN 메시지가 추가된 걸 확인하고 해당 event handler를 호출한다.

이러한 상황에서 만약 위 그림과 같은 키보드 메시지 훅이 설치되었다면, OS message queue와 application message queue 사이에 설치된 훅 체인에 있는 키보드 메시지 훅들이 응용 프로그램보다 먼저 해당 메시지를 볼 수 있다. 키보드 메시지 훅 함수 내에서는 단순한 염탐의 기능뿐만 아니라 메시지 내용 자체를 변경할 수도 있고, 가로채어 아래로 내려보내지 않도록 할 수도 있다.

 

SetWindowsHookEx()

메시지 훅은 SetWindowsHookEx() API를 사용해 간단히 구현할 수 있다. SetWindowsHookEx를 이용하여 훅을 설치해 놓으면, 어떤 프로세스에서 메시지가 발생했을 때, 운영체제가 해당 dll 파일을 해당 프로세스에 강제로 인젝션하고 등록된 hook procedure를 호출한다.

SetWindowsHookEx() 함수의 정의는 아래와 같다. 

HHOOK SetWindowsHookEx {
           int idHook,
           HOOKPROC lfpfn,
           HINSTANCE hMod,
           DWORD dwThreadId
};

• idHook
  • 설치하고자 하는 훅의 타입을 지정한다.
• lpfn
  • 훅 프로시저의 주소
• hMod
  • 훅 프로시저를 가진 모듈의 핸들(주소)
• dwThreadId
  • 후킹 할 대상의 thread ID
  • 이 값이 0이면 호출하는 스레드와 같은 데스크탑 상의 모든 스레드에서 발생하는 메시지가 훅 프로시저로 전달된다.

 

HookMain.cpp

HookMain.cpp는 KeyHook.dll을 로드한 후, dll로부터 HOOKSTART와 HOOKSTOP 함수의 주소를 얻는다.

HookStart() 함수로 후킹을 시작한다. 'q'를 누르면 HookStop() 함수가 호출된다.

 

KeyHook.cpp

HookStart() 함수가 호출되면 SetWindowsHookEx() 함수에 의해 키보드 훅 체인에 KeyboardProc() 함수가 추가된다.

KeyboardProc() 함수는 키보드 입력이 발생했을 때, 현재 PID와 "notepad.exe" 문자열을 비교하여 값이 같을 경우 1을 리턴하여 KeyboardProc() 함수를 종료시킨다. 이는 메시지를 가로채서 없애는 동작과 같다.

값이 다른 경우에는 return CallNextHookEx(g_hHook, nCode, wParam, lParam); 명령을 실행하는데, 이 때 메시지는 다른 응용 프로그램 혹은 훅 체인의 또 다른 훅 함수로 전달된다. 따라서 dwThreadId 옵션을 0으로 했음에도 다른 프로세스는 키 입력을 정상적으로 받을 수 있다. 메시지를 받아서 없애거나 다음 훅으로 넘기는 게 아니라 CallNextHookEx를 통해 곧바로 응용 프로그램으로 넘긴다.

 

실습 과정 요약

1. HookMain.exe 실행
2. HookMain.exe의 main() 함수에서 LoadLibrary(KeyHook.dll) 실행됨
3. HookStart() 함수에 의해 SetWindowsHookEx() 함수가 실행됨
4. KeyboardProc() 훅 설치
5. 사용자로부터 notepad.exe에 키보드 입력 발생
6. OS는 키보드 입력이 발생한 해당 프로세스에 강제로 KeyHook.dll 인젝션
7. 그 후 notepad.exe에 키보드 입력이 다시 발생할 경우, SetWindowsHookEx() 대신 KeyboardProc() 함수가 먼저 호출됨