시그모이드 지그재그

시그모이드 지그재그

s1 s2 시그모이드를 통해서 들어온 입력값

양수 양수 일떄 0~1

노드는 웨이트를 가지고 있는데

W1,W2, b를 가지고 있는데

f = w1x1+w2x2+b

W가 올바른 방향으로 업데이트 되길 원한다.

로스에 대한 W1로 미분값 = 그레디언트 = df/dw1 * dL/df = x1*dL/df

로스에 대한 W2로 미분값 = df/dw2(로컬 그레디언트) * dL/df(업스크림 그라디언트) = x2*dL/df

 

x1양수 x2 양수이면 업스트림 그라디 언트와 방향이 똑같이 된다.

예를들어 dL/df =7이면 

(양수)*7 = +7 * ㅁ

(양수)* -7 = -7 * ㅁ

 

1.W1,W2가 모두 양수 일 때

x축 W1, y축 W2

1사분면

2. W1, W2가 모두 음수일 때

3사분면

 

만약 4사분면에 있으면

1사분면 방향, 3사분면 방향 으로 지그재그로 수렴한다.

 

에폭 1번 돌때 마다.

W * 러닝레이트*그레디언트 = 값

값을 또 업데이트

10개의 batch가 들어오면 그걸 평균내서 업데이트

df/dw_i = xi