Have you tried it? 안되면 될때까지

2020/10/25 - [분류 전체보기] - optimizer 종합 banch mark ( 인공지능 기초 # 17) 가중치의 초기값 설정 가중치를 평균이 0, 표준편차가 1인 정규분포로 초기화할때의 각 층의 활성화값 분포 입력층 -> 첫번째 입력층 으로갈때 10000개의 변수가 생김 (입력층 100, 은닉층 100 = 100*100 =10000) 그 변수를 표준변차가 1인 정규분포를 따라서 선택을 하겠다는 뜻 아래 그래프는 sigmoid 함수를 적용한 데이터 1-layer의 데이터를 activations에 담아두고 [z] 출력 값 z를 다시 2-layer의 입력값으로 사용하는데 또 표준정규분포에 따라서 선택함 반복 --> Vanishing Gradient Problem 이 일어나면, 학습이 거의 안이루어..