오차역전파법 (인공지능 기초 #11)

이전까지 배운 수치미분을 이용해서 학습을 하게되면 계산 비용이 너무 커서 엄청나게 오래 걸립니다.

 

우리는 그래서 오차역전파법을 이용해서 계산 비용을 줄여 학습을 시키는 것을 알아 볼 것입니다.

 

사람이 직접 공식을 써서 미분을 한 후 덧셈과 곱셈만 남겨 컴퓨터에게 유리한 계산만 남기는 것입니다.

 

합성함수의 미분법은  여러 함수를 합성을 할 때, 합성을 한 후 미분을 하는것이 아닌 각 각을 미분을 한 후 곱해줍니다. 이는 연쇄법칙을 사용한 것입니다.

 

오차역전파법의 기반은 공식으로 미분을 하고, 연쇄법칙을 사용하는 것입니다.

 

함수 f z h 가 있으면

 

h 부터 z f 순으로 미분을 한 후 곱해준다.

 

 

 

계산 그래프 : 순전파

현빈 군은 슈퍼에서 사과를 2개, 귤을 3개 샀습니다. 사과는 1개에 100원, 귤은 1개 150원입니다. 소비세가 10%일 때 지불 금액을 구하라. 출처:  https://excelsior-cjh.tistory.com/171  [EXCELSIOR]

왼쪽에서 오른족으로 계산하는 과정인 것이다.

 

 

계산 그래프 : 역전파

'사과 가격이 오르면 최종 금액에 어떠한 영향을 주는가'에 대해서  사과 가격에 대한 지불 금액의 미분 을 구해 계산할 수 있다. 사과의 값을  ​ , 지불 금액을  ​ 라 했을 때,  ​ 를 구하는 것이다. 이러한 미분 값은 사과 값( ​ )가 '아주 조금'올랐을 때 지불 금액( ​ )이 얼마나 증가하는지를 나타낸다. 출처:  https://excelsior-cjh.tistory.com/171  [EXCELSIOR]

 

계산그래프를 이용한 역전파 ( 수포자를 위한 다변수함수 미분법 이라고도 부릅니다. )

 

 

 

x, m , t 순서대로 편미분 한 값 = 2.2, 110, 200

 

덧셈노드의 역전파

 

곱셈노드의 역전파

 

 

결론은 역전파의 가장 왼쪽의 값은 그 변수로 편미분한 값이 결과로 나온다는 것입니다.