본문 바로가기

모두의 연구소 AIFFEL 교육37

cs231n 10강 RNN 2월22일 cs231n 10강 RNN 2월22일 14시 37분 구글넷과 vgg넷은 배치 노말라이제이션이 없어서 테크닉을 활용해 딮한 모델을 설계하는데 활용헀다. 필요없는레이어를 학습하는데 도움을 준다. 리쿼렌트 뉴럴 네트워크 바닐라 뉴럴 네트워크 : 하나인풋 으로 벡터를 입력받고 출력이 하나 나온다. - feed forward neural network - dense라고도 쓴다 - lenear 하다 알엔엔은 입출력을 다양하게 할 필요가 있다. 원투원 원투매니 이미지 넣었을때 : 모자를 쓰고 있다. 매니투원 : 나는 너를 사랑한다 -> 긍정/부정 매니투매니 나는너를 사랑한다 -> i love you 매니투매니 동영상 -> 문장 입력은 이미지와같은 단일입력이지만 출력은 캡션과 같은 가변 출력 입력도 가변 입력 출력도 .. 2021. 2. 22.
CS231n 9장 입력변수만 넣어주면 된다. 레이어들을 묶어주고 시퀀스로 정의하면된다. CNN 알렉스넷 비지지넷 구글넷 알이에스넷 Lenet 이미지 입력받아서 55필터거칙 마지막에 FC가 붇는다. 숫자인식에 좋았다. 알렉스넷은 최초의 라지스케일 CNN이다. convnet 부흥을 일으켰다. conv pool norm 2번반복 그리고 FC 알렉스넥 크기 이미지 227 227 3 11 11 필터 스트라이드 4로 96개 첫 레이어의 출력사이즈는 어떻게 될까요 (227-11)/4+1 =55 답 : 55*55*96 전체 파라미터 갯수 : 11*11*96*3 풀링 레이어 : 27*27*96 풀링 레이어의 파라미터 : 없다 풀링레이어에는 그냥 뽑아내는거기때문에 가중치가 없다. 파라미터는우리가학습시키는 가중치 데이터 알규멘테이션은 많이 .. 2021. 2. 15.
cs231 7장 옵티마이제이션 우리는 SGD를 배웠다. 이는 지그재그로 튄다. 새들포인트 기울기가0에 가까운 느낌 로컬미니마 : 골짜기 느낌 그래서 SGD +모멘텀 속력을 준다. SGD+모멘텀 :복잡한 모델에선 잘 작동안한다. 단순한 모델에선 잘 작동한다. 아다그라드는 grade term기법을 사용해 조금씩 조금씩 더해준다. 분모가 조금씩 커지면서 더해주는값이 작아진다. 아다그라드+모멘텀 더한게 아담이다. 첫번쨰 모멘텀은 그래디언트의 가중치의 합이다 ->> 이부분 좀더 찾아봐야겠다 퍼스트모멘트는 벨로시티 세컨드 모멘텀을 나눠준다 문제가있다 초기스템에서는 문제가이는데 세컨드 모멘트를 0으로 초기화한다 세컨드 모멘트 1회 업데이트 이후에도 0에 가깝다. 세컨드 모멘트로 나눠야하는데 0에 가까워서 러닝레이트를 세컨드모멘트로 .. 2021. 2. 15.
2021년 2월 15일 cs231n 인터널 코베리어트 문제 떄뭉에 배치놀말라이 N개의 d차원의 데이터가 있는데 데이터간에 분포가 달라지면 학습하는데 속도가 느려지고 학습이 잘안되는 문제가 발생해서 입력할때 노말라이제이션해서 넣어주는데 레이어마다 노말라이제이션 해서 넣어주는데 이렇게하면 분포의 영향을 안받고 잘 학습이 된다. 액티브펑션 전에 배치노말을 넣어준다. 엑스 햇 : 엑스의 표준편차 감마는 스케일링역할 베타는 쉬프팅역할 감마베타는 학습을 통해 구해진다. 학습과 데이터간의 평균과 분산을 구해서 감마가 학습되었는데 데이터 분포가 달라지면 감마와 베타가 트레이닝셋과 달라질 수 있는데 감마베타값을 어떤공간에 저장해두었다가 전체평균을 구해서 테스트셋 할 때 이 값을 사용한다. 배치노말 장점 :성능이 좋아질 수 있다. 배치노말 단점.. 2021. 2. 15.

티스토리툴바