[딥러닝의 통계적 이해] 딥러닝이란?

코드보다는 이해 중심의 수업이라고 한다. 좋다 좋아~~~

딥러닝 == 층이 많은 신경망 모형

여러 종류의 신경망이 있다~~~

 

인공지능의 시대

인공지능 Artificial Intelligence : 인간의 지능을 컴퓨터로 구현

-> 추론탐색(체스) - 지식(개념)의 연결(퀴즈쇼) - 머신러닝, 딥러닝(알파고) ~ 순으로 발전!

 

Deep Blue(1997) IBM 체스 Program

IBM Watson(2011) Jeopardy! (위키피티아로 학습, 지식 네트워크, 질문 자체의 이해보다 연결 구조로 기능)

AlphaGo(2016) 딥마인드

 

머신러닝

인공지능 

1. 기호적 방법

2. 통계적 방법(데이터 기반)

    2-1. 머신러닝

        2-1-1. 신경망

            2-1-1-1. 딥러닝

 

컴퓨터

• 규칙과 데이터 ~프로그래밍~> 해답

 

머신러닝(기계학습) : 컴퓨터가 데이터 기반으로 스스로 학습해서 규칙을 찾아내 과제 수행

• 데이터와 해답 ~머신러닝~> 규칙
• 과제 : 분류, 예측
• 데이터 : input data, output data(label)
• 모형 : 확률모형(오차 포함)과 알고리즘 모형
• 손실함수 : 머신러닝의 성과함수 (얼마나 잘맞췄는가?)
  • 최적화 알고리즘 : 최소제곱법, 최대가능추정법, 경사하강법 - 를 최소로 하면 됨
• 학습 : 손실함수 최소가 되게 데이터 기반으로 최적화 알고리즘을 통해 머신러닝 돌림

 

머신러닝의 학습방법 - 인간 지능 대부분은 비지도 학습임

• 지도 학습 supervised learning : 답이 있다, 예측하는 거
• 비지도 학습 unsupervised learning : 답이 없음, 군집화함 (n팀 ... )
• 강화 학습 reinforcement learning : 보상액 최대가 되게 학습

---

신경망

첨에는 뇌랑 비슷하게 만들었고 이제는 뇌와 비슷하게 보다는 그냥 발전해감

인간의 뇌 : 시냅수로 연결됨, 시냅수 세포 단위 - 뉴런

뉴런의 구조

를 모방하여 인공신경망을 만들었다.

 

인공신경망

1943년 신경세포발화모형

여러 시냅스 -가중치-> 수상돌기에서 받아서 세포체에서 결합 -활성화 함수-> 시냅스

입력층 ~가~중치~은닉층 n개~~~> 출력층

 

뉴런구조

1. 입력층 input layer : 정보가 입력됨

2. 출력층 output layer : 예측, 분류함

3. 은닉층 hidden layer : input, output 사이에 있음

 

네트워크 : 층 내 뉴런 서로 연결 x, 아래 위층(앞 뒤로)과 연결됨

가중치 : 네트워크 연결 강도

 

딥러닝 모형 : 은닉층의 수가 많은 신경망

 

신경망 종류

1. 퍼셉트론 (입력층과 출력층만 있음)

2. 다층 신경망 MLP (여러 은닉층도 있음)

3. 합성곱 신경망 CNN (이미지 인식)

4. 순환 신경망 RNN, LSTM (sequence data)

5. 오코인코더 Autoencoder 모형 (입 출력이 같음)

6. 생성적 적대 신경망 GAN (얼굴 음악 창작)

 

신경망의 작성 과정

모신러닝 모형과 동일

x1, x2 (input) ->

f(x) - 가중치 이용한 함수 ->

y_hat (예측값) y (실제값) ->

손실함수 -> 손실함수 값 줄이도록(최적화) 가중치 갱신

-> y_hat y 손실함수 값 계산 ....

 

데이터 -> feature 특징 추출 -> 머신러닝 -> 결과

데이터 -> 딥러닝 - 종단 학습(데이터 패턴을 계층적 네트워크로 설계된 신경망) -> 결과 

---

딥러닝 시대의 도래

딥러닝의 역사

1957년 퍼셉트론(기호 주의) 등장

1969년 XOR 문제 해결

2012년 AlexNet으로 딥러닝의 시대 개막

 

딥러닝 발전 배경

• 빅데이터 출현
• GPU, CPU, Cloud, memory 발전
• 새로운 알고리즘 도입 : ReLU, 배치 정규화, 초기 가중치 변화

 

딥러닝 프레임워크

Tensorflow, Keras, PyTorch, Caffe, Theano, MXNET, Gluon 등

GPU 포함된 PC, Cloud, Colaboratory 이용 가능