1월 11일 cs231 일기

오늘은 그레디언트를 구하는 방법과 역전파를 공부했다. 그레디언트는 발을 땅에 디뎠을 때 기울기(slope)라고 보면된다. 산의 등고선이 파랑~빨강이 있으면 점점 빨간색으로 내려가는 느낌으로 이해하면 좋다. 빨간색이 낮은 LOSS값을 갖는 손실함수이다. 그레디언트를 구하는 것을 옵티마 제이션(optimazation) 이라고 한다.  편하게 구하는 방법은 W를 미분하면 된다. 일일히 구하는 방법도 있는데 이는 W를 조금 움직이고 다시원점시키고 또 다른걸 움직이고.. 이를 디버깅할때 파라미터를 적게해서 쓸때도 있다고 한다. 그래디언트를 구할때는 미니배치( mini_bath)를 이용하는게 좋다고 한다. 전체데이터의 그래디언트를 구할려면 전부 하나하나 더하는 과정이 필요한데 이는 너무 오래걸리니 작게 나눠서 코드를 돌린다고 생각하면된다. 러닝레이트와 스텝사이드 개념도 잠깐 배웠다. 스텝사이드 :보폭의 크기, 러닝 레이트 : 보폭의 크기의 비율 인데 비슷하면서도 다르다. 러잉네이트가 매우 중요하다. 처음 딥러닝 모델을 설계했을 때 러닝레이트를 보는것이 좋다. 러닝레이트를 0.1주고 0.5주고 0.3주고 계속 바꿔주며 넣어주면 코드 돌리는데 5일이나 된다. 그래서 러닝리이트를 계속 자동으로 바꿔주며 넣어주는 코드가 있다고 한다.

 

이미지 특징을 수치화하는 방법에서 과거 5~10년 전 방법이 나왔다.

영상을 그대로 쓰는것은 좋지않다. 이미지 특징 표현을 계산한다. 이를 특징벡터로 만든다. 이 특징백터가 리니어 클래시파이어로 들어간다.특징좌표로 바꾸면 극좌표계로 바뀌어서 선형으로 바뀐다.

1. 컬러히스토그램

이미지에서 hue 값만 뽑아서 양동이에 넣고 양동이의 픽샐갯수를 세서 이것이 어떤색인지 판별 한다.

2. 히스토그램 오리언트 HOG

이미지가 있으면 8*8로 부분부분 나눈다. 8*8에서 엣지백터를 구하고 이의 히스토그램구한뒤 양동이에 담는다.컬러히스토그램처럼 양동이에 담긴 엣지 비율을 계산한다.

 

3. bag of words

이미지를 임의로 조각화하고 군집화한다.색깔, 엣지 등 특징 잡아낸다. 그리고 시각단어 코드북을 만들고 이미지를넣으면 시각단어들의 발생빈도를 체크하고 이 이미지가 떻게 생겼는지 판단한다.

 

5~10년 전 이미지 분류기는  리니어 클레시파이어만 학습했다면 지금 딥러닝은 가중치를 한번에 학습한다.

 

딥러닝을 전체적으로 봤을떄 input은  가장 처음부분 이고 이미지 같은게 들어가고 마지막 단계는 loss 이다.

 

역전파는 반대방향으로 편미분 하는 것이고 영어로 백프로파게이션이라 부른다. 편미분 개념이 익숙치 않아서 어려웠다. 그래도 고등학교 때 배운적이 있어 계속 설명을 들으니 이해는 좀 되었다. 편미분에서 체인룰 개념이 매우 중요하다. 이를 통해 인풋이 loss에 얼마나 영향을 끼치는지 그레디언트를 구할 수 있다.