인공신경망

✅인공신경망(ANN, Artificial Neural Network)

• 인간의 뇌 구조에 착안해 만든 학습 기법
• 수백억 개의 신경세포인 뉴런과 뉴런을 연결하는 수만 개의 시냅스로 밀접하게 연결된 인간의 뇌 구조를 흉내냄.
• 인공신경망은 뇌의 동작 방식을 모델화한 병렬 정보 처리 시스템으로, 단순 연산을 수행하는 소자들의 병렬 및 분산 처리 구조를 가짐

 

✅인공신경망의 구조

• 동그란 원이 하나의 뉴런이 되고, 이들이 연결되어 하나의 신경망을 이룸
• 입력층 노드에 데이터가 입력되면, 단계별 연산을 수행해 출력층에서 결과 값을 얻음

 

✅퍼셉트론

• 지도학습의 신경망
  • 기본식
    •  

      

       
      • X 노드들은 데이터를 입력받는 입력층 노드이고, 최종 결과값인 Y는 출력층 노드이다. 입력층 노드와 출력층 노드는 가중치(W) 값으로 연결됨
      • 이 식만으로는 최종 출력 값의 범위를 정할 수 없기 때문에 최종 출력 값을 활성화 함수(Activation Function)에 넣어 일정 범위의 값으로 조절해야 함
      • 활성화 함수 f를 구할 때는 계단 함수(Step Function)를 사용함
        • 계단 함수는 보통 -1~+1 또는 0~+1까지의 값을 출력하도록 구현됨
        • 단극성(0~1) 함수, 양극성(-1~+1) 함수
      • T는 임계치인데, 가중합된 결과와 비교해 출력값을 결정함
      • 해당 노드 입력 값들의 가중합이 임계치를 넘으면 1을 출력하고, 그렇지 않으면 0 또는 -1을 출력하는 것이 계단 함수를 이용한 활성화 함수

👉학습 방법

• 퍼셉트론 인공신경망을 학습시킨다는 것은 인공신경망 각 노드 사이의 가중치 값을 학습한다는 것과 같음
• 퍼셉트론 학습법에서 초기 가중치는 임의의 값을 가지며, 학습 신호로 주어진 목표치와 퍼셉트론의 실제 출력의 차이, 즉 오차를 반복 수정해 값을 얻음
• 퍼셉트론의 가중치 학습은 입력 값들에 대한 출력 값 오류를 최소화하는 것이 목표라고 보면 됨

☑️동작 방식의 예

퍼셉트론 신경망에서 아래의 설정을 할 때, NET 값은 다음과 같다.

• 입력벡터 :  x = [x₀,x₁] = [1, 2]
• weight : w = [w₀,w₁] = [1, 1]
• 임계치(T) : 1.5

즉, 노드의 기본 연산은 입력 값의 가중합임. 이를 활성화 함수에 넣으면 수식은 다음과 같다.

이에 따라, 입력 벡터 x = [x₀,x₁] = [1, 2]에 대한 최종 출력값은 1이 된다.

☑️더미노드

1*w₂가 임계치 값으로 작용한다.

 

다층 퍼셉트론

 등장 배경

• 퍼셉트론의 입력 값들은 선형 분리(Linearly Separable) 함수라고 볼 수 있는데, 선형분리 함수란 분리된 면이 선형 함수로 표시된다는 의미임
• 이 함수는 2개의 입력 값 중 하나의 값이 1일 때 1을 출력하는 XOR 논리게이트 문제를 해결하지 못함. 곡선을 사용하거나 2개 이상의 직선을 사용해야 문제를 해결할 수 있기 때문임
• 실제로도 퍼셉트론은 단층 하나로는 제대로 기능할 수 없음. 선형분리 함수에서 입력 값이 2개 즉, 입력 값이 2차원이면 직선이 되고, 입력 값이 3개면 평면이 되기 때문임
• 이를 일반화해서 생각하면 n차원의 입력 값을 분리하는 함수는 n-1 차원이 됨. 바로 이러한 비선형(Non-linear) 분리를 해결하기 위해 다층 퍼셉트론이 등장함

다층 퍼셉트론의 구조 및 특징

• 다층 퍼셉트론(MLP)은 입력층과 출력층 사이에 하나 이상의 은닉층(hidden layer) 을 추가하여 비선형 문제를 해결할 수 있도록 설계된 신경망 구조임
• 각 층의 뉴런은 이전 층의 모든 노드와 연결되어 있으며, 각 연결에는 고유한 가중치가 부여됨
• 은닉층의 뉴런들은 입력의 단순 가중합이 아니라, 활성화 함수를 통해 비선형 변환을 수행하여 입력 공간을 복잡한 형태로 분리할 수 있게 함
• 이렇게 함으로써 단층 퍼셉트론이 해결하지 못했던 XOR 문제 같은 비선형 패턴 인식이 가능해짐

다층 퍼셉트론의 한계와 발전 방향

• 다층 퍼셉트론은 비선형 문제 해결의 큰 돌파구였지만, 은닉층이 많아질수록 기울기 소실(vanishing gradient) 문제가 발생하고, 대규모 데이터에 대한 학습 효율이 떨어지며, 특징 추출(feature extraction) 을 스스로 수행하지 못함
• 이러한 한계를 극복하기 위해 합성곱 신경망(CNN), 순환 신경망(RNN) 등의 다양한 구조가 등장했고, 현대의 딥러닝(Deep Learning)은 이 다층 퍼셉트론을 기반으로 발전함