[#0] 지능형 시스템(신경회로망 배경지식)

---

 이 카테고리는 '지능형 시스템' 수업에서 배울 수 있었던 신경회로망 알고리즘에 대해 정리하도록 한다. 순서에 상관없이 알고리즘을 하나씩 하나씩 정리해 나갈 계획이다. 일부 알고리즘은 상세히 정리해보고, 일부 알고리즘은 간략하게만 소개하고 넘어가고자 한다. 

---

  이번 포스팅에서는 인공 신경회로망의 간략한 배경지식과 함께 신경회로망을 분류해보고 어떠한 알고리즘이 있는지 살펴보자(자세한 내용은 생략한다...)

1. 인공 뉴런(Artificial Neurons)

인공 뉴런이란, 말 그대로 실제 위와 같은 인간의 생물학적 뉴런의 특성을 모방한 것. 생물학적 뉴런의 구조를 보면,

˚ 세포체(Soma): 신경에 영양을 공급하는 뉴런의 중심부

˚ 축색돌기(Axon): 신호를 전기적으로 전달해주는 부분

˚ 수상돌기(Dendrite): 외부의 자극을 받아들여 흥분을 일으킴

˚ 신경접합(Synapse): 뉴런과 뉴런의 접속부

즉, 수상돌기로부터 받은 자극은 세포체를 지나 축색돌기를 통해 시냅스로 전달되어 다른 뉴런으로 자극이 전달된다는 사실을 인공 뉴런이 모방한 것이다. 따라서 인공 뉴런의 형태는 다음의 그림과 같다.

˚ 입력의 집합 

˚ 가중치(weight)의 집합 : 신호의 영향도, 시냅스 효율

˚ 

그리고, 위의 그림에서 활성화 함수(Activation Function)이라는 것은 뉴런의 출력값을 1 또는 0의 값으로 조정하기 위한 것으로 NET의 값이 특정 경계값(Threshold Value)값을 넘으면 1로 세팅, 넘지 못하면 0으로 세팅하기 위한 함수이다. 활성화 함수는 스쿼싱 함수(Squashing Function)이라고도 하며 S자형의 비선형곡선의 형태는 시그모이드(Sigmoid Function)이라고도 한다. 이는 다음 그림과 같다.

˚ 스쿼싱 함수 : 변수값에 상관없이 어떤 상한하한값을 못넘게 압축하는 함수

˚ 시그모이드 함수: S자 모양의 함수(Logistic, Hyperbolic Tangent)

 그렇다면 여기서 신경망에서 학습한다는 것을 바로 시냅스의 연결강도를 조정한다는 것을 의미한다. 즉, 가중치 값을 가중치 값을 변화시킴으로써 학습을 진행한다. 따라서 가중치를 어떻게 변화시킬 것인가에 따라서 다양한 신경회로망 알고리즘이 나타날 수 있는 것이다. 다음으로 학습방법에 따라 신경망을 분류해보도록 하자.

2. 학습방법에 따른 신경망 분류

2.1 지도학습(Supervised Learning)

  

  지도학습은 또 다른 말로 교사학습이라고도 한다. 이는 위의 그림으로 표현할 수 있는데, 입력 데이터는 내가 관측하여 얻는 데이터(Observation 또는 Measurement)이며 교사 데이터는 실제 내가 이미 알고 있거나 기대하는 정답 데이터(Target 또는 Desired)라 볼 수 있다. 즉, 지도학습은 신경망을 통과한 입력 데이터의 결과값이 교사 데이터와 비교평가함으로써 학습을 하는 방식이 되겠다.

예) Perceptron, ADALINE(LMS), Multilayer Perceptron, HMM, DBNN

2.2 비지도학습(Unsupervised Learning)

  비지도학습은 또 다른 말로 자율학습이라고도 한다. 위의 그림에서 알 수 있듯이 비지도학습은 교사 데이터가 존재하지 않는다. 따라서 신경망을 통과한 입력 데이터의 결과값이 자기 평가를 통해 학습을 진행한다. 

예) Neocognitron, Competitive Learning, ART

2.3 고정가중치(Fixed Weight)

  고정가중치 방법에는 학습을 통해 지속적으로 가중치값을 수정해나가는 방법이 아닌 한번의 학습을 통해 얻은 고정된 가중치를 이용하는 방식이다.

예) Hamming Net, Hopfield Net, Combinatorial Optimization

     

※ 학습 방법에 따른 분류외에도 구조에 따라 Feedforward 구조의 신경망 또는 Feedback 구조의 신경망으로 나뉠 수 있다. 

(오른쪽 Feedforward, 왼쪽 Feedback)

---

 

위의 배경지식과 함께 앞으로 포스팅할 알고리즘을 정리하면 다음 그림과 같다.

앞서 언급했듯이, 순서에 상관없이 알고리즘을 포스팅할 계획이다. 그리고 몇몇 알고리즘은 간략하게 소개만 하고 넘어가도록 하자.