여정의 기록

오차역전파법 경사하강법에서 연쇄 미분을 통해 손실함수의 경사를 효율적으로 구하여 신경망의 가중치를 갱신하는 것=Training 연산은 순방향과 역방향으로 구분 다층신경망 = 합성함수로 표현 가능 계산 그래프를 어떻게 효율적으로 할 것인가? 순방향 연산 : input -> 신경망모형 -> output(predict) 와 실제값을 비교하여 역방향 연산하게 됨 output은 가중합과 비선형 연산(활성화 함수-sigmoid, relu...)함 역방향 연산 : 손실함수 값을 줄이도록 가중치 갱신 - 가중치 수만큼 미분을 해야함. 미분을 저장해둔 것을 연산시 이용하는 것이 오차역전파법이다. 계산 그래프가 유용하다. 합성함수의 미분 살펴보기 예제1 ) z = f(t) 이고, t = g(x, y) 일 때, z를 x에 ..

다층신경망 입력층에서 은닉층을 통과할 때마다 데이터는 가중합과 활성화 함수가 적용 손실함수 최소인 가중치를 구해서 신경망을 작성 합성함수로 표현 - 함수의 합성 반복 -> 신경망의 목적 함수의 표현력이 좋아짐(은닉층이 깊어지는게 중요) 순방향신경망 FNN 같은 층 내가 아닌 앞의 층으로만 연결 활성화 함수 시냅구 구현 함수 일정 임계값이 넘었을 때 시냅스가 정보 전달하는 것을 이용 : 활성화 함수의 값이 일정값이 넘는 방식 개발 종류 항등함수(1을 넣으면 1이 나옴) 시그모이드함수(0 혹은 1로 수렴) tanh함수(-1 ~ 1, 0에서 기울기가 크게 움직임) ReLU함수(0 ~ 무한대, 0보다 작을땐 0, 클땐 항등함수) (그래프 참고) 활성화 함수의 미분 항등함수(a(x)=x)의 미분값 : 1 시그모이..

오늘 배우는 목록 ~~ 퍼셉트론과 아달린, 선형 회귀모형, 로지스틱 회귀모형, 경사하강법 ~~ 이걸 한 강의만에~~? 통계학 데이터(경험)을 통해 배우는 과학 통계적 추론 : 적은 데이터로 모집단 일반화 답이 있는 데이터가 많아지고 컴퓨팅 능력 향상 -> 알고리즘 기반 머신러닝 통계학 딥러닝, 머신러닝 모수 parameter 가중치 weights 추정 estimation , 적합 fitting 학습 learning 회귀 , 분류 지도학습 군집화, 분포 추정 비지도학습 독립 변수 , 설명 변수 특징 종속 변수 , 반응 변수 레이블 통계모형 : X 면 Y 다 라는 인과구조를 찾는 것이 목적, Y=a + bX + error 에서 a, b 를 알아내는 것 딥러닝 모형 : 블랙박스 -> 결과 예측 목적 전통적 통..

코드보다는 이해 중심의 수업이라고 한다. 좋다 좋아~~~ 딥러닝 == 층이 많은 신경망 모형 여러 종류의 신경망이 있다~~~ 인공지능의 시대 인공지능 Artificial Intelligence : 인간의 지능을 컴퓨터로 구현 -> 추론탐색(체스) - 지식(개념)의 연결(퀴즈쇼) - 머신러닝, 딥러닝(알파고) ~ 순으로 발전! Deep Blue(1997) IBM 체스 Program IBM Watson(2011) Jeopardy! (위키피티아로 학습, 지식 네트워크, 질문 자체의 이해보다 연결 구조로 기능) AlphaGo(2016) 딥마인드 머신러닝 인공지능 1. 기호적 방법 2. 통계적 방법(데이터 기반) 2-1. 머신러닝 2-1-1. 신경망 2-1-1-1. 딥러닝 컴퓨터 규칙과 데이터 ~프로그래밍~> 해..