벼랑끝 바이오 매드 컴퓨터 사이언티스트

해당 포스팅은 공부가 많이 되지 않았을 시절에 작성한 것이라 지금 보니 부족한 내용도 보이고 설명이 매우 미흡합니다. 아래 포스팅을 확인해보면 더욱 잘 설명된 initialization 방식들을 확인할 수 있습니다. https://reniew.github.io/13/ 가중치 초기화 (Weight Initialization) An Ed edition reniew.github.io Xavier initializer는 Neural Network에서 사용하는 weight initialization 방법이다. Xavier Glorot에 의해 고안된 방법이라 이러한 이름이 붙었다. 이 초기화 방법은 각 layer에서의 activation function에 의해 activation 된 weight 값의 결과(acti..