Have you tried it? 안되면 될때까지

2020/10/23 - [Study/인공지능] - Optimizer : Momentum, NAG ( 인공지능 기초 #14 ) learning rate가 변수마다 스텝마다 바뀝니다. 처음 시작점부터 최소점까지는 멀기 때문에 성큼성큼가다가 (보폭을 크게) 시간이 지나면 점점 목적지에 다가가게 되니까 보폭을 작게 조정합니다. 큰 변화를 겪은 변수의 러닝레이트는 크게 작아지고, 작은 변화를 겪은 변수의 러닝레이트는 작게 작아집니다. ( 이유는 x 와 y가 있을때 x축으로 더 크게 이동했다면, y축은 아직 먼 가능성이 높고 x축은 목표에 가까워 졌을 가능성이 높아졌다고 보기 때문입니다. ) Hadamard product 라는 기호입니다. 연산은 아래와 같습니다 ( 각 행렬의 위치를 덧셈처럼 위치마다 곱한값이 결과..

2020/10/22 - [Study/인공지능] - Optimizer: SGD ( 인공지능 기초 #13 ) 물리계에서는 공이 굴러가는 방향은 중력뿐 아니라 기존의 관성에도 영향을 받습니다. Momentum은 현실 물리계에서 관성이 모티브입니다. Momentum은 Gradient Descent에 현재의 관성을 추가하여 생각합니다. 경사하강법의 문제점 현실에서 실제로 공을 굴렸다고 생각한다면, 첫번째 로컬 미니멈의 최소에 멈추지않고 관성을따라 오른쪽으로 더 움직였을 것입니다. (즉 글로벌 미니멈에 다가갈 수 있습니다.) 이러한 관성의 특징으로 안장점에서도 멈추지않고 글로벌 미니멈을 향해 다가갈 수 있습니다. 등위선에서도 SGD보다 더 효율적으로 (적은 진동으로) 목표지점에 다가가는 것을 볼 수 있습니다. 이유..

MNIST는 머신러닝 계의 printf("hello world") 라고도 할 수 있습니다. MNIST 데이터셋은 0부터 9까지의 손글씨 이미지로 구성되어 있습니다. 머신러닝은 데이터를 훈련 데이터, 테스트 데이터로 나눕니다. 또는 세가지 훈련 데이터, 테스트 데이터, 벨류 데이터로 나누기도 합니다. 머신러닝에는 훈련 데이터와 테스트 데이터를 절대 섞지 않는다 라는 원칙이 있습니다. 이게 섞이면 신뢰도에 문제가 생기기 때문입니다. 각 데이터는 이미지와 라벨로 이루어져 있습니다. ( 이미지는 손글씨 사진, 라벨은 그 숫자가 무엇인지 적혀있는 곳 ) 각 이미지는 28*28 해상도의 흑백 사진 입니다. 각 픽셀은 0에서 255로 밝기를 표현합니다. 우리는 인공신경망에 이 훈련데이터를 넣어서 학습을 시킵니다. 그..

퍼셉트론은 신경망(딥러닝)의 기원이 되는 알고리즘 입니다. 퍼셉트론의 구조를 배우면 신경망과 딥러닝의 기초를 닦을 수 있습니다. 인공신경망(artificial neural network 아티피셜 뉴럴 네트워크) = 수학적으로 뉴런 네트워크를 모방해서 만든 것 아티피셜 뉴럴 네트워크가 뉴런 네트워크의 무엇을 모방해서 만들었는지 알아보자. 우선 우리의 몸은 무언가를 만졌을 때 전기신호가 뉴런 네트워크를 타고, 중추신경계, 뇌 등 까지 전기신호가 전달이 됨. 빨간색 파랑색 구분도 전기신호가 뉴런 네트워크를 타고 뇌까지 전달되는 것 Dendrite : 이웃 뉴런에서 전기신호를 받는다. Synapse : 전기신호의 세기를 재 조정하는 역할을 한다. Soma ( cell body ) : 여러 전기신호를 합친다. A..