Cs231n 9강 ResNet 복습

2015 우승자 resnet

레지듀얼 커넥션 을 다른말로 스킵커넥션

스킵커넥션은 트랜스포머에도 들어간다.

트레이닝에러 테스트에러 비교했을 때

오버피팅 때문이 아니라 옵티마이저 때문이다 더 깊은모델은 옵티마이제이션이 어렵다.

옵티마이저를 바꿔보자

얕은레이어의 가중치를 카피하고

입력값에 조절을 하면 출력값이 나오지않을까 라는 가설을 세움.

152 레이어 깊어짐

얕은모델 가중치를 복사한다

샬로우 모델만큼의 성능은 보장된다

모티비케이션을 우리가 만든 모델에 녹이려면 어떤 아키텍쳐 모델을 설계해야 할까?

단순하게 레이어를 쌓지 않는다

다이렉트 매핑대신

레지듀얼 매핑을 한다.

오른쪽으 스킵커넥션은 가중치가 없으면 스킵커넥션으로 그대로 내보낸다.

인풋 = 아웃풋인 상황이면 fx가 0이 되고

손쉽게 아이덴티티로 만들어 줄수 있다.

네트워크는 레지듀얼만 학습하면 그만이다

출력도 x랑 비슷하다.

레이어와 스킵커넥션은 같은 차원이다.

다르더라도 뎁스 와이즈패딩으로 맞춰준다.

fx가 레지듀얼이다

hx는 다이렉트 맵핑

하나으 레지블럭 두개의 33컨브블럭으로 이루어짐

주기적으로 필터 2배찍늘리고 스트라이드2ㅅ사용

fc레이어 없다

마지막에 풀링 레이어가 있다.

뎁스가 32 51 100까지 늘어난다

100 이상일때 보틀넥 기능을 도입한다 구글넷처럼

뎁스를 줄이는 것이다

2828256을 282864로 줄이고 연산한 후에 다시 늘린다

스캐일링 펙터 2로나눔 추가

자비어 사용 xavier

드랍아웃 사용 안함

배치 256

배치노말라이제이션을 매번 사용한다. - 레즈넷에서 최초도입 이전 구글넷에서는 노말라이제이션 효과를 내는 레이어를 따로 사용했다.