[dreamhack] x86 assembly

1. 서론

컴퓨터의 언어인 기계어는 0과 1로만 구성돼 있어서 이해하기 어렵기에 어셈블러의 도움을 받습니다.

 

•  어셈블러(Assembler) : 어셈블리어로 코드를 작성 ➡️ 컴퓨터가 이해할 수 있는 기계어로 코드를 치환
•  역어셈블러(Disassembler) : 기계어로 구성된 소프트웨어 ➡️ 어셈블리 코드로 번역

 

2. x86-64와 어셈블리 언어

 

2.1. 어셈블리 언어

어셈블리 언어는 기계어와 치환되는 언어이므로 기계어가 여러 종류라면, 어셈블리어도 여러 종류여야 합니다. CPU에서 사용되는 ISA는 IA-32, x86-64, ARM, MIPS 등 종류가 굉장히 다양합니다.

 

2.2. x86-64 어셈블리

문법 구조

 

동사에 해당하는 명령어(Operation Code, Opcode)와 목적어에 해당하는 피연산자(Operand)로 구성됩니다.

 

 

 

x86-64 어셈블리 명령어

명령 코드
데이터 이동(Data Transfer)	mov, lea
산술 연산(Arithmetic)	inc, dec, add, sub
논리 연산(Logical)	and, or, xor, not
비교(Comparison)	cmp, test
분기(Branch)	jmp, je, jg
스택(Stack)	push, pop
프로시져(Procedure)	call, ret, leave
시스템 콜(System call)	syscall

 

 

 

2.3. 피연산자

피연산자에는 총 3가지 종류가 올 수 있습니다.

• 상수(Immediate Value)
• 레지스터(Register)
• 메모리(Memory)

 

메모리 피연산자

메모리 피연산자는 []으로 둘러싸인 것으로 표현되며, 앞에 TYPE PTR이 추가될 수 있습니다.

• 크기 지정자(Size Directive) TYPE PTR 
  •  BYTE : 1바이트
  • WORD : 2바이트
  • DWORD : 4바이트
  • QWORD : 8바이트

 

메모리 피연산자의 예

 

QWORD PTR [0x8048000]	0x8048000의 데이터를 8바이트만큼 참조
DWORD PTR [0x8048000]	0x8048000의 데이터를 4바이트만큼 참조
WORD PTR [rax]	rax가 가르키는 주소에서 데이터를 2바이트 만큼 참조

 

 

 

자료형 WORD의 크기가 2바이트인 이유

IA-32, x86-64 아키텍처는 CPU의 WORD가 32, 64비트로 확장됐습니다. 그러므로 WORD의 자료형도 32, 64비트의 크기를 지정하는 것이 당연해 보입니다. 그러나, 기존의 프로그램들과의 호환 문제로 인해 WORD의 크기는 그대로 유지하고, DWORD(Double Word, 32bit)와 QWORD(Quad Word, 64bit)자료형을 추가로 만들었습니다.

 

 

 

3. x86-64 어셈블리 명령어

3.1. 데이터 이동 연산자(Data Transfer)

데이터 이동 명령어는 어떤 값을 레지스터나 메모리에 옮기도록 지시합니다.

• mov dst, src : src의 값을 dst에 대입
• lea dst, src : src의 유효 주소를 dst에 대입

 

3.2. 산술 연산(Arithmetic)

산술 연산 명령어는 덧셈, 뺄셈, 곱셈, 나눗셈 연산을 지시합니다.

• add dst, src : src의 값을 dst에 더함
• sub dst, src : src의 값을 dst에서 뺌
• inc op : op의 값을 1 더함
• dec op : op의 값을 1 뺌

 

3.3. 논리 연산(Logical)

• and dst, src : dst와 src가 모두 1이면 1, 아니면 0
• or dst, src : dst와 src중 한 쪽이라도 1이면 1, 아니면 0
• xor dst, src : dst와 src가 다르면 1, 같으면 0
• not op : op의 비트를 모두 반전

 

논리 연산 xor, not 예제

[Register]
rax = 0x35014541
rbx = 0xdeadbeef
[Code]
1: xor rax, rbx  ➡️ rax에 저장되는 값 : 0xebacfbae
2: xor rax, rbx ➡️rax에 저장되는 값 : 0x35014541
3: not eax ➡️ eax에 저장되는 값 : 0xcafebabe

• [Code] 2 : xor연산을 동일한 값으로 두 번 실행할 경우, 원래 값으로 돌아갑니다. 
• [Code] 3 : rax가 아닌 eax를 not하여도 괜찮은 이유는 eax가 rax의 하위 32비트를 가리키는 부분이기 때문입니다. 만약 not rax를 수행했다면 답은 0xffffffffcafebabe가 됩니다.

 

 

3.4. 비교(Comparison)

• cmp op1, op2 : op1에서 op2를 빼고 플래그를 설정, 연산의 결과는 op1에 대입하지 않습니다.
• test op1, op2 : op1과 op2에 AND 연산을 하고, 플래그를 설정, 연산의 결과는 op1에 대입하지 않습니다.

 

3.5. 분기(Branch)

rip를 이동시켜 실행 흐름을 바꿉니다.

• jmp addr : addr로 rip 이동
• je addr(jump if equl) : 직전 비교에서 두 피연산자의 값이 같을 경우 addr로 rip 이동
• jg addr(jump if greater) : 직전 비교에서 두 피연산자 중 전자의 값이 더 클 경우 addr로 rip 이동

 

3.6. 스택(Stack)

• push val : rsp를 8바이트만큼 감소시키고, 스택의 최상단에 val을 쌓습니다.
• pop reg : 스택 최상단의 값을 꺼내서 reg에 대입하고, rsp를 8바이트만큼 더합니다.

 

3.7. 프로시저(Procedure)

프로시저는 특정 기능을 수행하는 코드 조각을 말합니다. 반복되는 연산을 프로시저 호출로 대체하여 전체 코드 크기를 줄일 수 있고, 기능별로 코드 조각에 이름을 붙여 가독성을 높일 수 있습니다.

• call addr : addr에 위치한 프로시저 호출
• leave : 스택 프레임 정리
• ret : return address로 반환, 즉 호출자의 실행 흐름으로 돌아갑니다. pop rip 연산

 

프로시저의 예

 

연산 push return_address jmp addr
예제 [Register] rip = 0x400000 rsp = 0x7fffffffc400  [Stack] 0x7fffffffc3f8 | 0x0 0x7fffffffc400 | 0x0 ⬅️ rsp [Code] 0x400000 | call 0x401000  ⬅️ rip 0x400005 | mov esi, eax ... 0x401000 | push rbp	결과 [Register] rip = 0x401000 rsp = 0x7fffffffc3f8 [Stack] 0x7fffffffc3f8 | 0x400005  ⬅️ rsp 0x7fffffffc400 | 0x0 [Code] 0x400000 | call 0x401000 0x400005 | mov esi, eax ... 0x401000 | push rbp  ⬅️ rip

 

• call 0x401000 : 스택에서 rsp(스택 최상단)는 0x7fffffffc400 주소를 가리킨다. rip가 가리키는 [Code] 첫 번째 줄을 보면, 주소 0x401000을 호출해야 한다. 그러면 rip가 0x401000으로 옮겨져야 한다.
• push rbp : 스택의 최상단에 rbp를 쌓는다는 의미다. 포인터가 스택의 최상단을 가리키도록 하기 위해 rsp를 8바이트만큼 감소시킨다. 이제 rsp는 0x7fffffffc3f8를 가리킨다. rbp(스택 시작점)

 

 

 

3.8. 시스템 콜(System call)

커널 모드

운영체제가 전체 시스템을 제어하기 위해 시스템 소프트웨어에 부여하는 권한입니다. 커널 모드에서는 시스템의 모든 부분을 제어할 수 있습니다. 파일시스템, 입력/출력, 네트워크 통신, 메모리 관리 등 모든 저수준의 작업은 사용자 모르게 커널 모드에서 진행됩니다.

유저 모드

운영체제가 사용자에게 부여하는 권한입니다. 유튜브를 시청하는 것, 게임을 하고 프로그래밍을 하는 것 등은 모두 유저 모드에서 이루어집니다. 리눅스에서 루트 권한으로 사용자를 추가하고, 패키지를 내려 받는 행위 등도 마찬가지입니다

 시스템 콜(system call, syscall)은 유저 모드에서 커널 모드의 시스템 소프트웨어에게 어떤 동작을 요청하기 위해 사용됩니다. 소프트웨어 대부분은 커널의 도움이 필요합니다. 

 예를 들어, 사용자가 cat flag를 실행하면, cat은 flag라는 파일을 읽어서 사용자의 화면에 출력해 줘야 합니다. flag는 파일 시스템에 존재하는데, 유저 모드는 파일 시스템에 직접 접근할 수 없으므로 커널이 도움을 줘야 합니다. 여기서, 도움이 필요하다는 요청을 시스템 콜이라고 합니다.

 유저 모드의 소프트웨어가 필요한 도움을 요청하면, 커널이 요청한 동작을 수행하여 유저에게 결과를 반환합니다. x64아키텍처에서는 시스템콜을 위해 syscall 명령어가 있습니다.

 

• syscall : 커널에게 요청을 나타내는 함수입니다.
  • 요청 : rax
  • 인자 순서 : rdi → rsi → rdx → rcx → r8 → r9 → stack

 

x64 syscall 테이블

이하는 시스템 콜 테이블의 일부입니다. 총 갯수가 300개에 달하고, 검색하면 쉽게 찾을 수 있으므로 외울 필요는 없습니다. 

syscall	rax	arg0 (rdi)	arg1 (rsi)	arg2 (rdx)
read	0x00	unsigned int fd	char *buf	size_t count
write	0x01	unsigned int fd	const char *buf	size_t count
open	0x02	const char *filename	int flags	umode_t mode
close	0x03	unsigned int fd
mprotect	0x0a	unsigned long start	size_t len	unsigned long prot
connect	0x2a	int sockfd	struct sockaddr * addr	int addrlen
execve	0x3b	const char *filename	const char *const *argv	const char *const *envp