cs231n
인터널 코베리어트 문제 떄뭉에 배치놀말라이
N개의 d차원의 데이터가 있는데 데이터간에 분포가 달라지면 학습하는데 속도가 느려지고 학습이 잘안되는 문제가 발생해서 입력할때 노말라이제이션해서 넣어주는데 레이어마다 노말라이제이션 해서 넣어주는데 이렇게하면 분포의 영향을 안받고 잘 학습이 된다.
액티브펑션 전에 배치노말을 넣어준다.
엑스 햇 : 엑스의 표준편차
감마는 스케일링역할
베타는 쉬프팅역할
감마베타는 학습을 통해 구해진다.
<트레이닝셋에서 구한 감마와 베타값을 테스트셋에 적용시키는 방법>
학습과 데이터간의 평균과 분산을 구해서 감마가 학습되었는데
데이터 분포가 달라지면 감마와 베타가 트레이닝셋과 달라질 수 있는데
감마베타값을 어떤공간에 저장해두었다가 전체평균을 구해서
테스트셋 할 때 이 값을 사용한다.
배치노말 장점 :성능이 좋아질 수 있다.
배치노말 단점 :느리다.
배치노말을 뺀 모델도 많이 연구되고있다.
regularization = 오버피팅 방지
<하이퍼파라미터 서치방식>
그리드방식 한정적인 수만 따지는방식
랜덤서치 : 다양한 분포의 값을 확인할 수 있음
옵티마이제이션
레귤러라이제이션 :정규화
transfer learning : 전이학습
'모두의 연구소 AIFFEL 교육' 카테고리의 다른 글
| CS231n 9장 (0) | 2021.02.15 |
|---|---|
| cs231 7장 (0) | 2021.02.15 |
| 모델 파라미터와 하이퍼 파라미터 (0) | 2021.02.04 |
| 시그모이드 지그재그 (0) | 2021.02.01 |
| 2월 1일 cs231n 6강 메모 (0) | 2021.02.01 |