Optimizer : Momentum, NAG ( 인공지능 기초 #14 )
2020/10/22 - [Study/인공지능] - Optimizer: SGD ( 인공지능 기초 #13 ) 물리계에서는 공이 굴러가는 방향은 중력뿐 아니라 기존의 관성에도 영향을 받습니다. Momentum은 현실 물리계에서 관성이 모티브입니다. Momentum은 Gradient Descent에 현재의 관성을 추가하여 생각합니다. 경사하강법의 문제점 현실에서 실제로 공을 굴렸다고 생각한다면, 첫번째 로컬 미니멈의 최소에 멈추지않고 관성을따라 오른쪽으로 더 움직였을 것입니다. (즉 글로벌 미니멈에 다가갈 수 있습니다.) 이러한 관성의 특징으로 안장점에서도 멈추지않고 글로벌 미니멈을 향해 다가갈 수 있습니다. 등위선에서도 SGD보다 더 효율적으로 (적은 진동으로) 목표지점에 다가가는 것을 볼 수 있습니다. 이유..
확률 벡터 (Softmax 변환) overflow 대책 증명 ( 인공지능 기초 #5-2)
2020/09/16 - [Study/인공지능] - 3층 인공신경망 ( 퍼셉트론과 활성화 함수의 결합 ) ( 인공지능 기초 #5-1) 2020/09/15 - [Study/인공지능] - Heaviside 함수 Sigmoid함수 ReLU 함수, 신경망과 활성화 함수 ( 인공지능 기초 #4 ) 확률 벡터는 단순하게 확률을 벡터로 표현한 것이다. 중요한점은 1. 확률은 음수가 없다는 점. 2. 모든 확률을 더하면 1이 나온다는 점 이다. 일반적인 벡터는 음수일 수도 있고, 다 더했을때 1이 되지 않을수도 있다. 이러한 벡터를 양수이며 다 더하면 1이 되도록 바꾸어 주는 것이 Softmax 변환 이다. ( 확률벡터로 변환시켜주기 ) 방법으로는 (a1,a2,a3 ,...,an) 이 있을 때 1. 양수로 만들기 e^x..
퍼셉트론, 뉴런 네트워크의 모방 ( 인공지능 기초 #1 )
퍼셉트론은 신경망(딥러닝)의 기원이 되는 알고리즘 입니다. 퍼셉트론의 구조를 배우면 신경망과 딥러닝의 기초를 닦을 수 있습니다. 인공신경망(artificial neural network 아티피셜 뉴럴 네트워크) = 수학적으로 뉴런 네트워크를 모방해서 만든 것 아티피셜 뉴럴 네트워크가 뉴런 네트워크의 무엇을 모방해서 만들었는지 알아보자. 우선 우리의 몸은 무언가를 만졌을 때 전기신호가 뉴런 네트워크를 타고, 중추신경계, 뇌 등 까지 전기신호가 전달이 됨. 빨간색 파랑색 구분도 전기신호가 뉴런 네트워크를 타고 뇌까지 전달되는 것 Dendrite : 이웃 뉴런에서 전기신호를 받는다. Synapse : 전기신호의 세기를 재 조정하는 역할을 한다. Soma ( cell body ) : 여러 전기신호를 합친다. A..