구글넷 lecture 9

구글넷엔 FC-Layer 가 없다

네트워크 위드 인 네트워크 개념으로 쌓아 올렸다

인셉션 모듈 내부에는 병렬로 셀이 쌓여있다

모두 뎁스 방향으로 합친다

다양한 연산을 수행하고 이를 하나로 합쳐준다

이의 문제점?

계산비용이 크다'

모듈 인풋 28*28*256

128개의 1*1 필터가 있다 - 28*28*128

3*3 192개 필터 28*28*192

5*5 96개 필터 28*28*96

3*3 pool 28*28*256

가 있다

각 필터의 출력 값 계산

28*28*(672)

디멘션이 28인 이유 페딩을 하고  wise로 합침

입력이 아니라 레이어 중간의 입력

레이어를 거칠떄마다 뎁스가 늘어만 간다

입력을 더 낮은 차원으로 보낸다

입력의 뎁스를 줄여야한다

1*1 콘브를 통해 줄여나간다

11 콘브가 뎁스의 차원을 줄여준다

28*28*256이 28*28*64가 된다

11컨브 사용하면 정보손실이 발생하는지? 발생할 수 있다

일반적으로 여로모로 도움되고 잘 동작된다

11컨브 사용이유는 계산복잡도를 조절하기 위해

구글넷 특징 FC 많이 없음

가중치 레이어 22개

컨브 레이어들이 병렬적으로 가짐

구글넷은 인셉션 모델이다 - 영화 인셉션을 모티브로 만든 것

인셉션 모듈 네트워크 속 네트워크 - ex 꿈속 꿈

메모리와 파라미터 - 트레이드 오프 관계 하나를 챙기면 하나는 못챙기는..

구글넷은 파라미터는 적어졌지만 메모리는 많이 차지한다

 

레스넷 Resㅜㄷㅅ

네트워크는 residual을 학습만 하면된다

두경로의 출력값 모두 값은 차원이다. 다른경우 패딩으로 차원을 맞춰준다.

레짇두얼 뜻

전체 출력 값 에프렉스+엑스

엑스 는 그저 입력값

h(x) = fx +x 인데 hx를 바로 구하기는 거려워서

fx = hx -x 를 구해서 학습시키자

fx는 단순히 x에 값을 더하거나 빼기를 나타내서 단순히 더하거나 빼면된다

x에 대한 변화량을 학습시키는것이 residual을 학습 시키는것 

인풋과 변화량만 학습시키면 된다

그리고 fx=0이 되면 그만이다

레스넷 : 레이어의 입출력을 합치는것

residual 블럭들을 쌓아 ㄷ올리는것 레즈넷

레지블럭 150개까지 쌓을 수 있다

블럭2배 늘리고

 

궁금한점 28*28*256이라는 값이 어떻게 나왔는지? 32*32*3 이미지가 256개의 필터를 통해 나온 액티베이션 맵 합친 결과?