배치 정규화 ( 인공지능 기초 #19 )
2020/10/26 - [Study/인공지능] - Xavier/He 초기값 ( 인공지능 기초 # 18 ) 초기값은 은닉층에서 데이터의 분포가 너무 가운데로 쏠리거나 양 사이드에 치우치지 않게 함으로써 학습이 순조롭게 되도록 하는게 목표였습니다. 오늘 공부할 배치 노멀레이션은 초기값을 통해서 데이터의 분포를 컨트롤하는게 아닌, 아파인층과 활성화 층 사이에 데이터의 분포를 컨트롤해주는 층을 끼워 넣습니다. 머신이 데이터로부터 가장 효율적인 평균과 표준편차를 스스로 학습을 해 나가는 것입니다. 데이터가 n개가 주어져있고, 평균을 0으로 만드려면 평균을구해서 빼준다. u도 역시 배터이다. 첫번째 열의 평균을 구해서 첫번쨰 열에 일일이 다 뺴주고 첫번째 열의 표준편차를 구해서 첫번째 열에 일일이 다 나눠주는 작업..
Study/인공지능
2020. 10. 26. 18:44