합성곱 딥러닝 모델들

합성곱 신경망에서 풀링층을 제외한 모든 층의 가중치들은 손실함수를 최소화하는 오차역전파법으로 구한다.

학습 후 필터값이 변화하는데 이를 통해 필터는 특색을 가지게 된다. (이미지의 어떤 부분을 강조하게 되는지)

 

풀링층

순전파 : max pooling을 통해 4*4 데이터가 2*2가 되는 것, down sampling

역전파 : 최댓값의 위치는 1, 선택되지 않은 곳은 0, up sampling

 

AlexNet

• 병렬 컴퓨팅을 위해 2개의 구조로 나눔 , GPU 이용한 병렬 계산
• 입력 데이터 크기 227*227*3의 컬러이미지 -> 출력층 1000개의 이미지
• 합성곱층 가중치 수는 전체의 6%, 완전연결층 가중치 수는 전체 94%
• ReLU 함수 사용해봄.
• 데이터 증강
• 드롭아웃 50% - 과대적합 방지 위해 완전 연결층에서
• 모멘텀 확률적 경사 하강법 이용
• L2 정칙화
• 특성 맵을 키우다가 줄임

ZFNet

• 2013년 이미지넷 경진대회에서 우승한 딥러닝 모형
• 신경망 구조는 AlexNet과 동일
• 합성곱 필터 개수를 AlexNet 보다 2배 늘림

VGGNet

• 옥스퍼드 대 딥러닝 모형
• 단순한 구조 - 프로그램 구현 용이 
• VGG16, VGG19 등
• 가중치의 수가 너~~~무 많아 계산량이 많다
• 층을 깊게 쌓는 것이 층별 뉴런의 수를 늘려서 넓게 하는 것보다 효율적인 것을 보임
  ( 3*3*3 과 7*7 비교 )

VGG16 구조

• 3*3 합성곱 필터 + 3*3 최대 풀링을 연속 적용
• ReLU 활성화 함수
• 합성곱 필터 수 블록별로 64, 128, 512 
• 가중치 - AlexNet 의 2배
• 75%가 마지막 합성곱층을 완전연결층에 연결하는 데서 발생

GoogLeNet

• 22층의 합성곱 신경망임에도
• 가중치 6백만개 - 간편!
• 분류시 완전연결망 이용안함
• Inception 인셉션 모듈 이용
• 인셉션 모듈 : 합성곱 필터로 구성된 작은 신경망, 신경망 안의 신경망 안의 신경망 ...
  크기가 작은 합성곱 필터 - 이미지의 세밀한 부분 , 크기가 큰 합성곱 필터 - 이미지를 살핌
  여러 합성곱 필터를 사용하여 이미지를 보게 된다
  계산량이 줄여준다.
• 이전층 - 1*1 합성곱 , 3*3 합성곱 ... - 필터 결합 => 이것을 인셉션 모듈을 이용해 간편하게 만든다 - 병렬처리
• 마지막 출력층 : 평균풀링 - 계산량을 줄임 (완전연결층 아님)

ResNet

• K. He 히 등은 152개 층의 ResNet을 제안
• 2015년 이미지넷 경진대회 3.6%로 우승 , 인간은 5%였음
• 잔차 학습을 함
• 스킵 연결로 층을 깊이 쌓으면서 성능이 좋아짐
• 잔차학습 : G(F(x)) 가 아닌 G(F(x) + x) 인 스킵 연결을 진행
• 3*3 합성곱 필터 이용
• 완전연결망 안씀
• 배치정규화 사용
• 드롭아웃 안씀
• stride = 2
• 최대풀링 안씀
• 스킵 연결은 2개의 합성곱 층마다 진행