인간의 신경조직을 모델로 삼아 간단한 기능을 가지는 단위처리기(뉴런)를 서로 대규모로 연결시킨 네트워크 구조
    -여러 개의 뉴런들이 상호 연결하여 입력에 상응하는 최적의 출력값을 예측
  장점 : 좋은 예측력
  단점 : 해석의 어려움
  Other names
    - Connectionist system, Neurocomputer, Neural Network
    - 인간의 두뇌 작용을 신경세포(neuron)들간의 연결 관계로 모형화 - “연결주의(connectionism)”
    - 신경세포의 구조 및 기능을 단순화하여 수학적 모형으로 표시하고 이런 소자들을 상호 연결하여 신경망을 구성
    - 사람의 뇌의 동작을 흉내내어 만든 프로그램이나 데이터 구조 시스템
    - 동물의 뇌에서 일어나는 지능적 정보처리 과정을 단순히 모방함으로써 지능적 행태를 재현하려는 시도

  입력 : 외부의 입력을 받아들임
  출력 : 뉴런의 처리결과를 외부로 내보냄
  가중치 : 각 뉴런 간의 연결성을 표현하는 연결가중치(connection weight)
  활성(activation) 함수 : 가중 합을 입력으로 하는 비선형함수를 사용하여 결과값을 출력

  입력층 : 각 입력변수에 대응되는 노드로 구성
  노드의 수는 입력변수의 개수와 같다.
  출력층 : 목표변수에 대응되는 노드
  분류모형에서는 그룹의 수 만큼의 출력노드가 생성
  은닉층 : 입력층으로부터 전달되는 변수값들의 선형결합을 비선형함수로 처리하여 출력층 또는 다른 은닉층에 전달
  단층 신경망 (SLP, Single-layer perceptron) : 입력층과 출력층으로만 구성된 신경망 모형
  다층 신경망 (MLP, Multi-layer perceptron) : 입력층, 은닉층, 출력층으로 구성된 신경망 모형

  문제해결 : 단순한 기능을 하는 뉴런들을 상호 연결시켜 주고, 이들 사이의 연결강도를 조정하여 입.출력의 관계를
                   나타내도록 한다.

  핵심 : 주어진 문제를 풀 수 있도록 하는 뉴런들 사이의 연결강도 값을 어떻게 구할 것인가? → “학습”
            - 연결강도 조정방법

  지도학습 : 입력에 따라 원하는 출력값이 활성화되도록 가중치를 조절
                  (Hopfield 학습규칙, 델타규칙, 오류 역전파 학습규칙, …)
  자율학습 : 목표값 없이 학습 데이터만 입력, 스스로 연결강도들을 학습
                  → 미리 결정된 해가 불필요 (경쟁학습, ART 모델, …)
  고정 연결강도 : 제약이 있는 최적화 문제에 적용, 연결강도는 제약과 목적함수값을 나타낸다.

  신경망 모형 선택
  신경망 모형의 은닉층의 노드수와 활성함수 결정
  입력자료의 선택 및 적절한 변환
  연결강도의 최적화
  결과의 해석

  trial and error
    - 은닉층 수, 은닉층의 노드 수, 활성함수를 변화시켜 가면서 가장 좋은 모형을 찾는다.
    - 다른 복잡도를 갖는 여러 개의 신경망모형들의 비교가 쉽지 않다.
    - 사용자가 숙련되어 있으면, 매우 복잡한 신경망 모형을 만들 수 있다.
    - 실제 분석에서는 가장 많이 쓰이는 방법이다

  경제와 재정
    - 통화 가치 예측, 가격 예측, 신용 평가, 주가 예측, 대출 승인

  의학
    - 암 세포 자동 인식, 병원 비용 절감, 기능 회복 예측, 심장 마비 분류

  스포츠
    - 경마, 자동차 경주 등의 우승 예측

  과학
    - 태양 섬광 예측, 단백질 순서열 패턴 인식, 모기 식별, 날씨 예측, 자동 제어 기관

  제조
    - 용접 품질 판단, 플라스틱 품질 테스트, 용지 품질 예측, 품질 제어, 비파괴 콘크리트 검사, 공정 관리, 철강 제조

  패턴 인식
    - 광학 문자 인식 (그림에서 문자로 변환), 음성 인식, 화학적 이미지 인식, 문서 정보 인식

  범용 근사자 (universal approximator)
    - 어떠한 분류함수도 근사적으로 표현할 수 있는 모형
    - 은닉층이 하나인 MLP는 범용 근사자임이 알려져 있다.

  최적화와 비수렴성
    - 신경망 모형의 최적화는 역전파 알고리즘을 사용하는데, 이 역전파 알고리즘이 제공하는 모형이
      최적이 아닌 경우가 많이 발생한다.
    - 역전파 알고리즘의 초기값에 따라, 최종 모형이 달라진다.
    - 실제 분석에서는, 초기값을 바꾸어 가며 여러 개의 신경망 모형을 만든 후 그 중 최적 모형을 선택한다.

  해석의 어려움
    - 입력변수와 출력변수와의 관계를 파악하는 것이 거의 불가능하다. 즉, 결과의 해석이 어렵다.
    - 선형모형이나 의사결정나무에 비해 예측력은 뛰어나다.
    - 실제 분석에서는 신경망과 의사결정나무를 같이 사용하는 방법도 고려할 수 있다.

  과적합
    - 신경망 모형에서 적절한 크기의 모형을 선택하기란 그리 쉽지 않다.
      앞의 4가지 방법 중 가장 많이 쓰이는 방법이 trial and error 방법이다. 따라서,
      비숙련자가 사용하기가 어렵고, 많은 경우 과적합의 위험이 있다.

  다양한 문제에 적용 가능 : 인식, 분류, 예측, 시각화, 제어
  우수한 일반화 성능
  잡음 처리 능력 우수
  범주 및 연속형 변수 처리 가능
  다양한 S/W 패키지 사용 가능
  복잡한 문제에서도 쓸만한 결과를 도출

  모든 입력값과 출력값의 디지털화 필요
  신경망의 학습 결과를 설명하는 것이 어려움
  입력 변수의 수에 비례하여 필요한 자료의 수 증가
  지역적 해에 수렴하는 학습 경향