Heaviside 함수 Sigmoid함수 ReLU 함수, 신경망과 활성화 함수 ( 인공지능 기초 #4 )
앞으로는 -임계점 대신 편향을 사용합니다. 앞으로는 임계점보다 높으면 1, 임계점보다 낮으면 0 이라는 정보를 Heaviside 함수로 표현합니다. 즉 y = h(w1x1 + w2x2 + b) 와 a=w1x1+w2x2+b 는 같은 수식입니다. a의 값이 0보다 크면 1, a의 값이 0보다 작거나 같으면 0으로 합니다. Heaviside 함수를 Sigmoid함수로 바꿉니다. 머신러닝은 데이터를 넣으면 머신이 스스로 학습을 하는 개념입니다. 이때 미분을 통해서 학습을 합니다. 여기서 Heaviside 함수를 미분한다면, 미분값이 0을 제외한 함수에서 모든 값이 0으로 나오기 때문에 머신러닝을 할 수 없는 함수입니다. 그래서 우리는 Heaviside 함수 대신 Sigmoid 함수를 사용합니다. 앞으로 자주 사..
다층 퍼셉트론 XOR 논리회로 표현하기 , 단층으로 안되는 이유 ( 인공지능 기초 #3 )
전 게시글에서는 하나의 퍼셉트론 (단층 퍼셉트론) 으로 표현할 수 있는 3가지 (AND, NAND, OR) 논리회로를 표현해 보았습니다. 2020/09/13 - [Study/인공지능] - 퍼셉트론 AND, NAND, OR 논리회로 표현하기 ( 인공지능 기초 #2 ) 이번에는 하나의 퍼셉트론으로는 만들 수 없는 XOR 게이트를 알아보겠습니다. [다층 퍼셉트론 이용] XOR 게이트는 배타적 논리합이라는 논리회로 입니다. 입력값이 둘중 한개만 1일때만 1 (true)를 출력합니다. 왜 단층 퍼셉트론으로는 구현 할 수 없을까요? 앞에서 구현해 보았던 OR 게이트의 경우 좌표로 나타내면 아래와 같이 나타납니다. 하지만 xor 같은 경우는 0,0 1,1 일 경우 false 0,1 1,0 일 경우 true 입니다. ..