Optimizer : AdaGrad, RMSprop ( 인공지능 기초 # 15 )
2020/10/23 - [Study/인공지능] - Optimizer : Momentum, NAG ( 인공지능 기초 #14 ) learning rate가 변수마다 스텝마다 바뀝니다. 처음 시작점부터 최소점까지는 멀기 때문에 성큼성큼가다가 (보폭을 크게) 시간이 지나면 점점 목적지에 다가가게 되니까 보폭을 작게 조정합니다. 큰 변화를 겪은 변수의 러닝레이트는 크게 작아지고, 작은 변화를 겪은 변수의 러닝레이트는 작게 작아집니다. ( 이유는 x 와 y가 있을때 x축으로 더 크게 이동했다면, y축은 아직 먼 가능성이 높고 x축은 목표에 가까워 졌을 가능성이 높아졌다고 보기 때문입니다. ) Hadamard product 라는 기호입니다. 연산은 아래와 같습니다 ( 각 행렬의 위치를 덧셈처럼 위치마다 곱한값이 결과..
퍼셉트론 AND, NAND, OR 논리회로 표현하기 ( 인공지능 기초 #2 )
저번 글에서 퍼셉트론의 정의를 알아보았습니다. 2020/09/13 - [Study/인공지능] - 퍼셉트론, 뉴런 네트워크의 모방 ( 인공지능 기초 #1 ) 퍼셉트론, 뉴런 네트워크의 모방 ( 인공지능 기초 #1 ) 퍼셉트론은 신경망(딥러닝)의 기원이 되는 알고리즘 입니다. 퍼셉트론의 구조를 배우면 신경망과 딥러닝의 기초를 닦을 수 있습니다. 인공신경망(artificial neural network 아티피셜 뉴럴 네트워크) 15051015.tistory.com 이번에는 퍼셉트론으로 논리 회로를 구현해 보겠습니다. 1. AND 게이트 이 AND 게이트를 퍼셉트론으로 표현하고 싶습니다. 이를 위해 w1, w2, Θ (임계점)의 값을 정해야 합니다. 그럼 어떤 값으로 설정을 하면 위의 AND 게이트를 충족하는 ..