[dreamhack] Background: Linux Memory Layout

1. 서론

 컴퓨터는 크게 CPU와 메모리로 구성되어 있습니다. CPU는 실행할 명령어와 명령어 처리에 필요한 데이터를 메모리에서 읽고, ISA에 따라 이를 처리합니다. 그리고 연산의 결과를 다시 메모리에 적재합니다.

 

메모리 오염(Memory Corruption) 취약점

공격자가 메모리를 악의적으로 조작하면, 조작된 메모리 값에 의해 CPU도 잘못된 동작을 하게 됩니다. 시스템 해킹에는 다양한 공격 기법들이 있지만, 많은 공격 기법이 메모리 오염을 기반으로 합니다.

 

메모리 오염과 관련된 취약점

• Stack Buffer Overflow
• Off by One
• Format String Bug
• Double Free Bug
• Use After Free

 이를 이해하기 위한 배경 지식으로 리눅스 메모리 구조(Memory Layout)가 필요합니다. 프로세스 가상메모리의 각 구역이 어떤 정보를 담고 있는지 이해함으로써 프로세스 메모리의 전체 구조에 대해 파악해 볼 수 있습니다.

 

 

개요

• 코드 세그먼트
• 데이터 세그먼트
• BSS 세그먼트
• 스택 세그먼트
• 힙 세그먼트

 

 

2. 리눅스 프로세스의 메모리 구조

2.1. 세그먼트란?

• 세그먼트 : 적재되는 데이터의 용도별로 메모리의 구획을 나눈 것

 리눅스에서는 프로세스의 메모리를 세그먼트(Segment)로 구분합니다. 크게 5가지로, 코드 세그먼트, 데이터 세그먼트, BSS 세그먼트, 힙 세그먼트, 스택 세그먼트입니다.

 

세그먼트의 장점

운영체제가 메모리를 용도별로 나누면, 각 용도에 맞게 적절한 권한을 부여할 수 있다는 장점이 있습니다. 권한은 읽기, 쓰기, 실행이 있으며 CPU는 메모리에 대해 권한이 부여된 행위만 할 수 있습니다.

 

(세그먼트를 자세히 이해하려면, 운영체제의 메모리 관리기법 중 하나인 세그먼테이션 기법과 인텔 x86-64(x64)에서 관련된 하드웨어의 설계를 조금 알아야 합니다.)

 

 

 

 

 

2.2. 코드 세그먼트

•  코드 세그먼트(Code Segment) : 실행 가능한 기계 코드가 위치하는 영역
  = 텍스트 세그먼트(Text Segment)

코드 세그먼트의 권한

• 읽기 권한, 실행 권한 : 프로그램이 동작하려면 코드를 실행할 수 있어야 하므로 부여
• 쓰기 권한 : 공격자가 악의적인 코드를 삽입하기가 쉬워지므로, 쓰기 권한 제거

 

예시

아래에서 정수 31337을 반환하는 main함수가 컴파일 되면 554889e5b8697a00005dc3라는 기계 코드로 변환되는데, 이 기계 코드가 코드 세그먼트에 위치하게 됩니다.

int main() { return 31337; }

 

 

2.3. 데이터 세그먼트

• 데이터 세그먼트(Data Segment) : 컴파일 시점에 값이 정해진 전역 변수 및 전역 상수들이 위치하는 영역

 

데이터 세그먼트의 권한

• 읽기 권한 : CPU가 이 세그먼트의 데이터를 읽을 수 있어야 하므로 부여
  • 쓰기 권한 : data 세그먼트
    - 전역 변수와 같이 프로그램이 실행되면서 값이 변할 수 있는 데이터
  • 쓰기 권한 없음 : rodata(read-only data) 세그먼트
    - 전역으로 선언된 상수프로그램이 실행되면서 값이 변하면 안 되는 데이터

 

예시

아래는 데이터 세그먼트에 포함되는 여러 데이터의 유형입니다. 주의 깊게 살펴봐야 할 변수는 str_ptr입니다. str_ptr은 “ readonly”라는 문자열을 가리키고 있는데, 이 문자열은 상수 문자열로 취급되어 rodata에 위치하며, 이를 가리키는 str_ptr은 전역 변수로서 data에 위치합니다.

int data_num = 31337;                       // data
char data_rwstr[] = "writable_data";        // data
const char data_rostr[] = "readonly_data";  // rodata
char *str_ptr = "readonly";  // str_ptr은 data, 문자열은 rodata
int main() { ... }

 

 

2.4. BSS 세그먼트

• BSS 세그먼트(BSS Segment, Block Started By Symbol Segment) : 컴파일 시점에 값이 정해지지 않은 전역 변수가 위치하는 영역
  - 선언만 하고 초기화하지 않은 전역변수 등

BSS 세그먼트의 권한

• 읽기 권한, 쓰기 권한

 이 세그먼트의 메모리 영역은 프로그램이 시작될 때, 모두 0으로 값이 초기화됩니다. 이런 특성 때문에 C 코드를 작성할 때, 초기화되지 않은 전역 변수의 값은 0이 됩니다.

 

 

예시

아래 코드에서 초기화되지 않은 전역 변수인 bss_data가 BSS 세그먼트에 위치하게 됩니다.

 

int bss_data;
int main() {
  printf("%d\n", bss_data);  // 0
  return 0;
}

 

 

2.5. 스택 세그먼트

• 스택 세그먼트(Stack Segment) : 프로세스의 스택이 위치하는 영역
  - 함수의 인자나 지역 변수와 같은 임시 변수들이 실행 중에 여기에 저장됩니다.

스택 세그먼트의 권한

• 읽기 권한, 쓰기 권한 : CPU가 자유롭게 값을 읽고 쓸 수 있도록
  

 

스택 세그먼트의 특징

• 스택 세그먼트의 단위 스택 프레임(Stack Frame)
  - 함수가 호출 시 생성, 반환 시 해제

 프로세스가 얼마만큼의 스택 프레임을 사용할 지를 미리 계산하기는 어렵습니다. 그래서 운영체제는 프로세스를 시작할 때 작은 크기의 스택 세그먼트를 먼저 할당해주고, 부족해질 때마다 이를 확장해 줍니다. 스택에 대해서 ‘아래로 자란다'라는 표현을 종종 사용하는데, 이는 스택이 확장될 때, 기존 주소보다 낮은 주소로 확장되기 때문입니다.

 

 

예시

아래의 코드에서는 지역변수 choice가 스택에 저장됩니다.

void func() {
  int choice = 0;
  scanf("%d", &choice);
  if (choice)
    call_true();
  else
    call_false();
  return 0;
}

 

 

2.6. 힙 세그먼트

• 힙 세그먼트(Heap Segment) :힙 데이터가 위치하는 영역
  - C언어에서 malloc(), calloc() 등을 호출해서 할당받는 메모리

 

힙 세그먼트의 권한

• 읽기 권한, 쓰기 권한

 

힙 세그먼트의 특징

스택과 마찬가지로 실행 중에 동적으로 할당될 수 있으며, 리눅스에서는 스택 세그먼트와 반대 방향으로 자랍니다.

 

 

예시

heap_data_ptr에 malloc()으로 동적 할당한 영역의 주소를 대입하고, 이 영역에 값을 쓴다. heap_data_ptr은 지역변수이므로 스택에 위치하며, malloc으로 할당받은 힙 세그먼트의 주소를 가리킨다.

int main() {
  int *heap_data_ptr =
      malloc(sizeof(*heap_data_ptr));  // 동적 할당한 힙 영역의 주소를 가리킴
  *heap_data_ptr = 31337;              // 힙 영역에 값을 씀
  printf("%d\n", *heap_data_ptr);  // 힙 영역의 값을 사용함
  return 0;
}

 

 

💡 힙과 스택 세그먼트가 자라는 방향이 반대인 이유?

두 세그먼트가 동일한 방향으로 자라며 연속된 메모리 주소에 각각 할당된다면, 기존의 힙 세그먼트를 모두 사용하고 나서 이를 확장하는 과정에서 스택 세그먼트와 충돌하게 됩니다.

 

 

 

 

 

 

3. 요약

 

세그먼트	역할	일반적인 권한	사용 예
코드 세그먼트	실행 가능한 코드가 저장된 영역	읽기, 실행	main() 등의 함수 코드
데이터 세그먼트	초기화된 전역 변수 또는 상수가 위치하는 영역	읽기와 쓰기 또는 읽기 전용	초기화된 전역 변수, 전역 상수
BSS 세그먼트	초기화되지 않은 데이터가 위치하는 영역	읽기, 쓰기	초기화되지 않은 전역 변수
스택 세그먼트	임시 변수가 저장되는 영역	읽기, 쓰기	지역 변수, 함수의 인자 등
힙 세그먼트	실행중에 동적으로 사용되는 영역	읽기, 쓰기	malloc(), calloc() 등으로 할당 받은 메모리

 

 

4. 예제

#include <stdlib.h>
int a = 0xa;
const char b[] = "d_str";
int c;
int foo(int arg) {
  int d = 0xd;
  return 0;
}
int main()
{
  int *e = malloc(sizeof(*e));
  return 0;
}

 

1. e는 어느 세그먼트의 데이터를 가리키는가?

 malloc() 함수로 동적할당되었으로 힙 세그먼트이다.

 

2. a, b가 위치하는 세그먼트는 어디인가?

 초기화된 전역변수이므로 데이터 세그먼트에 위치한다.

 

3. "d_str"이 위치하는 세그먼트는 어디인가?

 문자열 "d_str"은 읽기 전용 데이터(rodata) 세그먼트에 저장된다.

 

4. foo가 위치하는 세그먼트는 어디인가?

 함수 코드는 코드 세그먼트에 위치한다.

 

5. d가 위치하는 세그먼트는 어디인가?

 지역변수이므로 스택에 위치한다.

 

6. c가 위치하는 세그먼트는 어디인가?

 초기화 되지 않은 전역변수이므로 BSS 세그먼트에 위치한다.