모두의 연구소 AIFFEL 교육37 텐서 2.2.0 설치방법 pip install tensorflow-gpu==2.2.0 2021. 3. 16. CS231n 6강 Training Neural Network 액티베이션 펑션 데이터가 들어오면 가중치와 곱한다. 시그모이드 0근처가 선형같다 3개문제 그레디언트를 죽인다 - 백프로파 과정에서 편미분을할 때 x -10이면 그레디언트가 0이 된다 0에 가까운 값이 백프롭 되고 이게 계속 백프롭 된다 제로센터드가 아니다 뉴런 입력이 항상 양수일떄 문제이다 - 그레디언트가 모두 양수 또는 모두 음수가 된다. 계산 비용이 크다 -그렇게 큰 문제는 아니다 하이퍼블릭 탄젠트 제로센터드 렐루 음수면 0 양수면 값 그대로 출력 양수값에서 세츄레이션 되지않는다. 계산효율 뛰어나다 알렉스넷 렐루사용 문제 제로센터드가 아님 데드렐루 문제 데이터 클라우드에서 떨어져 있을 때 발생 문제 러닝레이트가 엄청 큰경우 맥스아웃 둘중 max 취함 리니어 W1, W2가 있어야함 LECTURE 6-4.. 2021. 3. 16. Cs231n 9강 ResNet 복습 2015 우승자 resnet 레지듀얼 커넥션 을 다른말로 스킵커넥션 스킵커넥션은 트랜스포머에도 들어간다. 트레이닝에러 테스트에러 비교했을 때 오버피팅 때문이 아니라 옵티마이저 때문이다 더 깊은모델은 옵티마이제이션이 어렵다. 옵티마이저를 바꿔보자 얕은레이어의 가중치를 카피하고 입력값에 조절을 하면 출력값이 나오지않을까 라는 가설을 세움. 152 레이어 깊어짐 얕은모델 가중치를 복사한다 샬로우 모델만큼의 성능은 보장된다 모티비케이션을 우리가 만든 모델에 녹이려면 어떤 아키텍쳐 모델을 설계해야 할까? 단순하게 레이어를 쌓지 않는다 다이렉트 매핑대신 레지듀얼 매핑을 한다. 오른쪽으 스킵커넥션은 가중치가 없으면 스킵커넥션으로 그대로 내보낸다. 인풋 = 아웃풋인 상황이면 fx가 0이 되고 손쉽게 아이덴티티로 만들어.. 2021. 3. 15. CS231n 10강 복습 이미지캡셔닝 - 이미지를 인풋으로 받고 씨엔엔에 인풋으로 넣어주고 그 출력인 벡터를 가지고 아웃풋인 캡션을 만들어낸다, 캡션이 가변길이이고 다양한 씨퀀스를 가진다. 이미지가 씨엔엔에 들어가고 여기서 나온 벡터를 알엔엔에 넣어준다. 원래는 알엔엔에 두개의 가중치 입력을 넣어주었는데 이미지 캡셔닝 알엔엔은 세번째 가중치를 추가해 주었다. 씨엔엔으로 받은 벡터를 히든스테이트에 넣어준뒤 스타트 엔드를 붙여 알엔엔에 넣어준다. 어텐션 이미지 캡셔닝 이미지캡셔닝 단점보완(서핑보드, 고양이우먼 등) 하나의 벡터가아닌 이미지의 공간별 벡터를 가진 그리드 이미지위치에대한 분포를 계산하여 분포가 출력으로 나옴 어텐션과 캡션 단어 2가지가 출력으로 나옴. Visual Question Answering ~ Vanila RNN.. 2021. 3. 15. 이전 1 2 3 4 5 6 7 ··· 10 다음