합성곱 신경망이란 그리고 합성곱 연산 과정들에 대해서

아날로그 데이터를 일정 간격으로 샘플링하여 측정한다. 아날로그 데이터는 무한한 범위이고 디지털 데이터는 비트로 표현하게 된다. 

이미지는 어떻게 표현하는가?

• 2차원 함수 형태의 행렬로 표한하게 된다.
• 흑백 이미지 : 1개의 행렬 
  8 * 8 의 흑백이미지의 경우 : 4비트 색상의 행렬로 표현한다
  0 : 검정색, 16 : 흰색
• 컬러 이미지 : Red, Green, Blue (RGB) 3개 행렬로 표현

컴퓨터 비전

• 컴퓨터 저장 이미지 또는 동영상으로부터 유용한 정보 추출, 분석, 이해
• 이미지 분류, 객체 탐색과 검출, 객체 분할(영역을 쪼개주는 것), 얼굴인식, 이미지 합성 등

 

이미지 인식과 신경망

완전연결 신경망 : 이미지 작업이 어렵다. 과대적합 문제. 입력층에 수천만 개의 변수를 입력해야함. 모든 뉴런들을 연결해야 함

1959년 허블과 비셀의 고양이 실험

• 시각 뉴런들이 뉴런마다 하는 일이 다르다는 것을 발견
• 상위 뉴런이 더 추상적인 것 파악 (계층적 특성) -> 합성곱 신경망을 생각해냄
• 근처의 뉴런들만 이동 연산 - 완전연결 신경망보다 희소한 연결을 함

1979년 후쿠시마의 합성곱 신경망과 유사한 신경망 제안

• S-cell (simple cells) : 국부적 특징 파악
• C-cell (complex cells) : 이를 결합
• S-cell, C-cell을 계층적으로 적용

1998년 얀 르쿤 연구팀 합성곱 신경망 개발

• 수표나 우편 번호를 합성곱을 이용해 구분하는 실험
• 3개 합성곱 Convolution 층에 완전연결 신경망을 추가

2012년 Imagenet 의 경진대회 ILSVRC 에서 층이 깊은 합성곱 신경망 AlexNet 이 획기적 성과를 보임
그 후 GoogLeNet, VGGNet, ResNet 등이 만들어짐

 

합성곱 연산

• 이미지 필터링 생각해봐 ...
• 입력 데이터 * 필터 = 합성곱 연산 결과
• 이미지 데이터 크기 n*n, 필터의 크기 f*f -> 필터에 의해 생성된 결과 데이터 크기 (n-f+1)*(n-f+1)

패딩

• 합성곱 필터 연속 적용 -> 입력 데이터의 크기가 축소되는 것 때문에 패딩을 사용
• 입력 데이터 값 주변에 데이터 추가 ( 0값으로 )
• 입력 데이터 크기 == 출력 데이터 크기 하게됨
• n*n 입력 데이터 + p개 패딩 이면, (n+2p)*(n+2p) -> f*f 필터 적용 -> (n+2p-f+1)*(n+2p-f+1) output .
• 입, 출력층이 같은 크기라면 위 식에서 출력인 n+2p-f+1 = n 이 되고, p = (f-1)/2 라는 결론을 가질 수 있다.

스트라이드 stride

• 필터 이동 칸 수
• 2로 지정 시 두 칸 씩 이동하며 합성곱 연산

컬러 이미지에 대한 합성곱 연산

1. 차원이 32*32 이미지인 경우 32*32*3 이 입력 이미지 데이터이고 필터는 f*f*3 이 된다.
2. f가 5일 때 28*28*12 합성곱 이미지가 된다. 여기에 ReLU 를 적용해서 선형적인 것을 비선형적인 것으로 변환한다.
3. 또 다시 5*5*6의 6개 합성곱 필터를 적용하면 24*24*6으로 출력한다. 이것을 또 ReLU 함수를 적용한다.

1 X 1 합성곱 연산

• 필터로 변형된 32*32*12 입력 이미지 -> 1*1*12 필터 16개 합성곱 연산 진행 -> 32*32*16 16개의 이미지로 만들어줌
• 합성곱 연산을 더 쉽게 만들어준다.

풀링 pooling

• 이미지 크기를 줄이는 연산이다.
• 합성곱 연산 뒤 진행한다.
• 최대풀링( max pooling ) : n개 구역 중 최댓값을 고른다. 
• 평균풀링( average pooling ) : 구역별 평균
• 이미지 이동, 왜곡해도 값이 크게 안변함
• 학습없이 이루어져 계산량이 적다
• 이미지 크기를 작게해서 과대적합을 막을 수 있다

합성곱 연산의 특성

• 희소성 
  • 뉴런을 전부 연결하지 않음. 이웃 뉴런들끼리 연결. 가중치 공유. 
  • 모형의 복잡도 낮춤. 과대적합 문제 해소
• 이동 등변성 
  • 입력 데이터의 이동만큼 이동
• 국지 연결성
  • 이미지 데이터 한 영역에서 보면 각 필터를 적용한 값들은 각각 달라져도 그 위치는 같음 ...?