kaggle adware-detection - 1. 전처리 개발

데이터: https://www.kaggle.com/datasets/subhajournal/adware-detection

 

---

 

1. 공백 제거 / 의미없는 열 제거

 

컬럼 이름의 공백을 제거해 형태를 통일하고, 'Unnamed:_0'열을 제거한다.

 

---

 

2. 데이터 구성 분석 / 데이터셋 관련 정보 수집

 

애드웨어 데이터와 정상 데이터 간 불균형이 있지만,
실제의 데이터에서 BENIGN 클래스가 훨씬 많기에, 이를 어느정도 반영하는 것이 현실적인 예측이 된다.

---

3. object형 데이터 처리
(Flow_ID 드롭, Source_IP와 Destination _IP 변환, Timestamp 스피어만 상관계수)

 

 

샘플 데이터에서 Flow_ID 열이 제거된 것을 확인 가능하다.

 

 

URL이나 IP 주소 등 고유 값 수가 많고 수치적 의미가 없는 데이터를 인코딩하기 위해 원핫해싱이 사용되는데,
사이버 보안 탐지나 클릭스트림 분석 등 고유 IP 주소가 매우 많고, 패턴 식별이 중요한 경우에 적합하다.

본 프로젝트의 데이터셋에서는 특정 IP 주소의 분류가 중요하다고 생각하면 원핫해싱을,
IP 범위의 탐지가 중요하다고 생각하면 정수 변환을 사용하면 된다.

특정 네트워크나 IP 범위가 특정 패턴을 보일 경우(특정 IP 범위에서 활동)가 있을 수도 있고,
IP가 특정 범위에서 일관되게 실행되 기만 하는 것은 아니기에 한 가지 방식이 무조건 좋다고 해석할 수 없다.

기존 코드에서는 보편적인 방식을 고려하여 원핫해싱을 채택했으나,
두 가지 방법 모두 테스트 해본 결과, 이 데이터셋에서는 트리 모델, 기본 신경망 모델에서의 결과에 실제로 큰 차이가 없었기에
모델이 상대적으로 빠르게 실행될 수 있는 정수 변환 방식을 사용하였다.

 

Timestamp의 스피어만 상관 계수를 계산하면 0.81의 높은 상관 관계를 가진다.

따라서 변형 없이 그대로 정수 변환한다.

 

---

 

4. 특성 중요도 출력(랜덤 포레스트 모델 이용)

 

 

---

 

5. 상관계수가 0.9 이상인 중복된 열 제거

 

df_dropped에서 피어슨 상관 계수가 0.9인 열들을 제거한 df_reduced 데이터도 모델의 입력 데이터로 활용하였다.

특성이 중복되어 발생하는 다중공선성 문제를 방지하기 위해서이다.