ADsP(데이터 분석 준전문가) - 인공신경망 분석

인공신경망 분석

 인공신경망은 분류분석 문제를 해결하는데 높은 적중률을 보여주는 데이터마이닝 기법 중 하나입니다. 인간의 뇌를 기반으로한 추론 모델로 디지털 네트워크 모형으로 구현하게 되었습니다. 비선형 분류문제를 분류할 수 없어 한계점을 맞이하다가 다계층 퍼셉트론을 활용해 역전파 알고리즘이 개발되면서 급속히 발전하게 되었습니다.

인간의 뇌를 형상화한 인공신경망

 100억개의 뉴런과 6조 개의 시냅스의 결합체인 뇌는 현존하는 어떤 컴퓨터보다 빠르고, 복잡하고, 비선형적이며, 병렬적인 정보처리 시스템과 같습니다. 뉴런은 가중치가 있는 링크들로 연결되어 있으며, 여러 입력 신호를 받지만 출력 신호는 오직 하나만 생성된다는 특징이 있습니다. 적응성에 따라 잘못된 답에 대한 뉴런 사이의 연결언 약화되고, 올바른 답에 대한 연결이 강화되는 시스템입니다.

인공신경망의 학습

 신경망은 가중치를 계속적으로 조정하며 학습합니다. 각 뉴런은 링크로 연결되어 있고, 수치적은 가중치가 있습니다. 인공신경망은 신경망의 가중치를 초기화하고 훈련 데이터를 통해 가중치를 새로 갱신하여 신경망의 구조를 선택하고, 활용할 학습 알고리즘을 결정한 후 신경망을 훈련시킵니다.

인공신경망의 특징

구조

 - 입력 링크에서 여러개의 신호를 받아 새로운 활성화 수준을 계산하며, 출력 링ㅋ로 출력 신호를 보냅니다. 입력신호는 미가고 데이터 또는 다른 뉴런의 출력이 될 수 있고, 출력신호는 문제의 최종해가 되거나 다른 뉴런에 입력 될 수 있습니다.

뉴런의 계산

 - 뉴런인 활성화 함수를 사용해 출력을 결정합니다.. 입력신호의 가중치 합을 계산하고 임계값과 비교해 작으면 -1, 같거나 크면 +1을 출력합니다.

뉴런의 활성화 함수

 - 시그모이드 함수 : 로지스틱 회귀분석과 유사하며, 0~1의 확률값을 가집니다.

 - 소프트 맥스 함수 : 표준화지수 함수로도 볼리고, 출력값이 여러개로 주어지며 목표치가 다범주인 경우에는 각 범주에 속할 사후확률을 제공합니다.

 - Relu 함수 : 입력값이 0이하는 0, 0이상은 x값을 가지는 함수로, 최근 딥러닝 분야에 많이 활용하는 활성화 함수 입니다.

신경망 모형 구축시 고려사항

 입력변수

 - 신경망 모형은 복잡성이 높기 때문에 입력자료의 선택에 매우 민감하게 작용합니다.

 - 입력변수가 모든 범주에서 일정 빈도 이상의 값을 갖고 각 범주의 빈도가 일정할 때는 범주형 변수, 입력변수 값들의 범위가 변수간 큰 차이가 없을 때는 연속형 변수가 적합합니다.

 - 연속형 변수의 경우 그 분포가 평균을 중심으로 대칭이 아니면 좋지 않은 결과를 도출하기도 합니다.

 - 범주형 변수의 경우 가변수화하여 적용하고 가능한 모든 범주형 변수는 일치하는 범위를 갖도록 가변수화 하는 것이 좋습니다.

학습모드

 - 온라인 학습모드

  a. 각 관측값을 순차적으로 하나씩 신경망에 투입하여 가중치 추정값을 매번 바꿉니다.

  b. 일반적으로 속도가 빠른 편이고, 훈련자료에 유사값이 많은 경우는 그 차이가 더욱 두드러 지게 나타납니다.

  c. 훈련자료가 비정상성과 같이 특이한 성질을 가진 경우가 유리합니다.

  d. 국소최솟갑에서 벗어나기가 더 쉽습니다.

 - 확률적 학습 모드

  a. 온라인 학습 모드와 비슷지만 신경망에 투입되는 관측값의 순사가 랜덤합니다.

 - 배치 학습 모드

  a. 전체 훈련 자료를 동시에 신경망에 투입합니다.

과대 적합 문제

 - 신경망에서는 많은 가중치를 추정하므로 과대적합 문제가 빈번히 발생합니다.

 - 알고리즘 조기종료와 가중치 감소 기법으로 해결할 수 있습니다.

 - 모형이  적합하는 과정에서 검즈오차가 증가하면 반복을 중지하는 조기종료를 선택합니다.

 - 선형모형의 능형회귀와 유사한 가중치 감소라는 벌점화 기법을 활용합니다.