벼랑끝 바이오 매드 컴퓨터 사이언티스트

기계학습에서 널리 사용되는 분포로는 가우시안분포와 베르누이분포, 이항분포가 있다. 이 분포들은 1개 또는 2개의 매개변수로 분포 형태를 쉽게 조절할 수 있다. 가우시안 분포(Gaussian distribution) 가우시안 분포는 평균(μ)과 분산(σ2)을 나타내는 2개의 매개변수로 분포 형태가 정해진다. 가우시안 분포 중 평균이 0 분산이 1인 분포를 특히 정규분포(normal distribution)라고 한다. 가우시안 분포는 N(x; μ, σ2)또는 N(μ, σ2)으로 나타낸다. 세미콜론 앞에는 확률변수를, 세미콜론 뒤에는 분포를 나타내는 매개변수를 나타낸다. 자연적으로 발생하는 현상들은 주로 가우시안 분포와 유사한 형태를 나타낸다. 예를들어 사람의 키, 영상에 나타나는 잡음 신호, 성적 등이 대표..

https://biomadscientist.tistory.com/61 [오일석 기계학습] 10.4 - 확률 그래피컬 모델 RBM과 DBN (1) DeepConv-DTI 논문을 읽는데 Deep Belief Network(이하 DBN)이라는 모델이 등장한다. 읽어보니 Restricted Boltzmann Machine(이하 RBM)을 여러층 쌓아 만든 확률적 분포 생성모델 뭐시기 하는데 도저히 한줄도 이해 biomadscientist.tistory.com 지난 포스팅에서는 RBM의 기본적인 구조와 RBM에서 각 입력벡터 P(x)의 발생 확률분포를 얻는 방법을 공부하였다. 이번 포스팅에서는 얻어진 P(x)값을 이용해서 어떻게 RBM을 학습시킬지에 대해서 포스팅해보려 한다. 2. RBM 학습 RBM의 목적은 훈..

DeepConv-DTI 논문을 읽는데 Deep Belief Network(이하 DBN)이라는 모델이 등장한다. 읽어보니 Restricted Boltzmann Machine(이하 RBM)을 여러층 쌓아 만든 확률적 분포 생성모델 뭐시기 하는데 도저히 한줄도 이해가 안가더라. 예전부터도 도대체 이놈의 RBM만 나오면 무슨말인지 이해를 도저히 못하겠었는데 이번기회에 확실하게는 아니더라도 개념이라도 잡고 가야겠다는 생각이 강하게 들어서 일단 다 제쳐두고 오늘은 이 RBM과 DBN의 개념에 대해 공부해보기로 하자. 먼저 RBM의 기본 시작은 BM부터다. 다음 그림을 통해 BM과 RBM의 개념을 이해하자 BM은 입력층으로 사용되는 가시 노드(visible node)와 출력층의 은닉 노드(hidden node, la..

https://biomadscientist.tistory.com/51 [오일석 기계학습] 2.2 수학 - 확률과 통계 - 베이즈 정리 https://biomadscientist.tistory.com/47 [오일석 기계학습] 2.2 수학 - 확률과 통계 - 곱 규칙과 전확률 규칙 기계학습이 다루는 데이터는 주로 '불확실성'을 가지고있는 실생활로부터 온 데이터들, 따라서 biomadscientist.tistory.com 이전 포스팅에서 베이즈 정리에 대해 공부하였다. 베이즈 정리를 설명하기 위한 문제에서 우리는 재수가 좋게도 모든 상황에 대한 확률을 명확하게 알 수 있었다.(사전확률, 우도, marginal likelihood 등) 그리고 그로부터 쉽게 계산하지 못하는 사후확률을 계산할 수 있었다. 그러나 ..

해당 포스팅은 공부가 많이 되지 않았을 시절에 작성한 것이라 지금 보니 부족한 내용도 보이고 설명이 매우 미흡합니다. 아래 포스팅을 확인해보면 더욱 잘 설명된 initialization 방식들을 확인할 수 있습니다. https://reniew.github.io/13/ 가중치 초기화 (Weight Initialization) An Ed edition reniew.github.io Xavier initializer는 Neural Network에서 사용하는 weight initialization 방법이다. Xavier Glorot에 의해 고안된 방법이라 이러한 이름이 붙었다. 이 초기화 방법은 각 layer에서의 activation function에 의해 activation 된 weight 값의 결과(acti..

더보기 참고 사이트 https://gaussian37.github.io/dl-concept-global_average_pooling/ Global Average Pooling 이란 gaussian37's blog gaussian37.github.io https://www.youtube.com/watch?v=FUv5NHL9s_U https://jetsonaicar.tistory.com/16 6-3 Global Average Pooling 최근 CNN 계열에서 classifier 로서 GAP (Global Average Pooling)를 사용하는 추세입니다. conv layer에서 많이 사용하는 pooling으로는 max pooling이 있습니다. feature의 일부 영역에서 가장 큰 값을 선택하여 (ma..

https://biomadscientist.tistory.com/47 [오일석 기계학습] 2.2 수학 - 확률과 통계 - 곱 규칙과 전확률 규칙 기계학습이 다루는 데이터는 주로 '불확실성'을 가지고있는 실생활로부터 온 데이터들, 따라서 자연스럽게 기계학습 역시 확률과 통계를 잘 활용해야만 좋은 모델을 만들 수 있다. 1. 확률 기초 biomadscientist.tistory.com 이전 포스팅에서 조건부 확률과 결합확률의 곱규칙과 전확률 규칙에 대하여 공부하였다. 이번 포스팅에서는 두 규칙을 이용해 베이즈 정리에 대해 공부해보려 한다. 곱규칙과 전확률 규칙을 이해하지 못한 상태로는 베이즈 정리 이해가 어려울 수 있으니 먼저 이전 포스팅에서 다룬 두 규칙에 대한 이해를 선행한 후에 이 포스팅을 읽기를 추천..

기계학습이 다루는 데이터는 주로 '불확실성'을 가지고있는 실생활로부터 온 데이터들, 따라서 자연스럽게 기계학습 역시 확률과 통계를 잘 활용해야만 좋은 모델을 만들 수 있다. 1. 확률 기초 확률변수와 확률 분포 도,개,걸,윷,모가 나오는 윷놀이가 있다. 먼저 확률을 수식으로 표현하려면 위 다섯가지 경우의 수들 중 한가지를 나타내는 변수가 필요하다. 이렇게 어떤 상황이 발생하는지를 나타내는 변수를 확률변수(random variable)이라고 하며 주로 영어 소문자로 나타낸다. 그리고, 윷놀이에서는 이런 확률변수가 각각 [도, 개 ,걸, 윷, 모]로 5가지가 존재하며 이 확률 변수 전체의 모임을 '정의역'이라 부르며 보통 영어 대문자로 나타낸다.. 전체 정의역에 걸쳐 확률값을 모두 표기한 것을 확률 분포(p..

3. 퍼셉트론의 해석 퍼셉트론은 입력되는 d차원의 샘플벡터를 c차원의 부류 중 하나로 분류하는 분류기의 역할 퍼셉트론의 입력 및 출력 방식은 다음과 같다. $$output = \tau(w \bullet x) \ ,where\ \ \tau(a) =\begin{cases}1 & a \geq T\\-1 & a 0\ , \ where \ \forall x\ except \ for \ x=\vec{0} $$ 직접 임의의 간단한 2x2 matrix A와 2차원의 벡터를 넣어 계산해보면 쉽게 이해할 수 있을 것이다. 이 때 사용되는 벡터들은 영벡터가 아니어야한다. 추가로 존재하는 부호개념은 다음과 같다. $$positive \ semi-definite\ matrix (A)= x^TAx \geq 0\ , \ for \..

1. 벡터와 행렬 : 기계학습에서는 입력된 샘플을 특징 벡터로 표현한다. 벡터는 다음과 같이 로마자 소문자로 표기한다. $$x_1=\begin{bmatrix}5.1\\3.5\\1.4\\0.2\end{bmatrix} x_2=\begin{bmatrix}4.9\\3.0\\1.4\\0.2\end{bmatrix} ... where \ x_1, x_2 \in R^4$$ 이 벡터를 4차원의 벡터라고 이야기하며 다시말해 4차원 실수 공간상의 한 점이 된다. 행렬은 이런 벡터를 여러개 담을 수 있고, 굵은 글씨의 대문자로 표현한다. $$X = \begin{bmatrix}5.1 & 3.5 & 1.4 & 0.2\\ 4.9 & 3.0 & 1.4 & 0.2\\ \vdots & \vdots & \vdots & \vdots \\ ..