training neural networks part2 cs231 7강 PART2 복습 2월 22일

training neural networks part2

내용이 많이 압축되어있다.

파트원에서 액티베이션 함수 배웠는데 렐루를 가장많이 쓴다.

노말라이제이션으로 차원축소 (정규분포화)

배치노말라이제이션 배치별로 노말라이제이션 하는것

 

옵티마이제이션

sgd문제 : 매우느리게 진행되고 지그재그로간다. 로컬미니마, 새들포인트

모멘텀 :  속력을 주어 로컬미니마와 새들포인트를 빠져나갈 수 있게 한다.

네스트로브 모멘텀 : 선 벨로시티 후 모멘텀. 문제 - 뉴럴네트워크 문제가 있다. 

아다그라드 방식 : 스텝을 조금씩 줄이는

알엠에스 프롭 :  문제 : 오버슈팅이 일어난다.

아담도 오버슈팅이 일어난다.

러닝레이트는 첨에 크게 주고 조금씩 줄이는게 좋다 !

RESNET에서도 이렇게 썼는데 

SGD MOMENTOM에서 이방법을 많이 쓰는데 아담에선 딱히 쓰진 않는다.

 

트레인정확도와 테스트정확도 거리가 멀어지는 것을 어떻게 해결할까?

앙상블이 좋다. 스냅샷을 찍는다.

 

하지만 앙상블도 잘 안쓴다.

드랍아웃을 하거나 데이터 어그멘테이션( 트레인데이터 이미지 회전, 부분 컷팅, 밝기조절 등)

드랍아웃은 모델들의 큰 앙상블이라 볼 수 있다. 랜덤하게 없어지기 때문에 

 

트렌스퍼 러닝 - 전이학습 - 전이학습은 데이터가 많이 필요하다

이미지넷은 엄청 큰 데이터 이다.

처음에 플리 커넥티드를 붙여준다.

데이터를 보면 FC레이어가 딥해질수록 스텍시픽 하다

데이터가 적으면 FC레이어만 튜닝

데이터가 많으면 몇몇개 더 파인튜닝해라

 

ex 9 과제를 할때 앙상블을 썼는데 머신러닝 XGBOOST ,LGBM, RANDOTFOREST 각각 다란 모델을 앙상블을 했는데

cnn 7개 앙상블을 했다는건 어떤 방식으로 앙상블을 한건지, 그러니깐 머신러닝 앙상블 기법은 알겠는데 딥러닝 앙상블 기법은 뭔지