벼랑끝 바이오 매드 컴퓨터 사이언티스트

Diffusion 논문을 공부해본 사람들이면 한번쯤은 봤을 논문이다. 다른거 다 제쳐두고 다음 43~45 equation을 이해하는데 정말이지 2주는 걸린 것 같다. 1. Expectation 아래 q(-) 분포가 왜 갑자기 축소되는가? : 이것은 그나마 이해하기 쉽다. 우선 아래 수식을 노트에 한번 따라써보면서 이해해보자. 다시말하면 E_x~q(x),y~p(y),z~h(z)[f(x)] 같은 식이 있다고 할 때, y나 z는 Expectation내부 함수 f(x)에 전혀 영향을 주지 않는 변수이므로 아예 식에서 제외해버려도 상관 없다. 정말 직관적으로 생각하자면 Expectation [...] 에 들어가지 않는 변수들은 모두 제거해도 된다는 의미이다. 따라서 각 Expectation 내부에 있는 함수에 포..

https://biomadscientist.tistory.com/141 VAEs 이해를 위한 배경지식 (1) Markov Chain Monte Carlo(MCMC) 마코프체인-몬테카를로 Markov Chain https://www.youtube.com/watch?v=i3AkTO9HLXo https://www.youtube.com/watch?v=yApmR-c_hKU https://www.youtube.com/watch?v=5QAfQZjCrRM Stationary Distribution(Stationary States) https://www.youtube.com/watch?v=4sXiCxZDrTU 2024년부터는 생성 biomadscientist.tistory.com 지난 번 포스팅에서는 VAEs를 이해하기..

Markov Chain https://www.youtube.com/watch?v=i3AkTO9HLXo https://www.youtube.com/watch?v=yApmR-c_hKU https://www.youtube.com/watch?v=5QAfQZjCrRM Stationary Distribution(Stationary States) https://www.youtube.com/watch?v=4sXiCxZDrTU 2024년부터는 생성모델에 대한 연구를 하기 위해서 Generative model의 할애비뻘 된다 할 수 있는 VAEs 논문부터 시작해서 아버지뻘 되는 Diffusion과 아들뻘되는 DDPM 논문까지 빠르게 공부하고 생성모델 연구로 뛰어드는 한 해가 되려 한다. 나는 객관적으로, 주관적으로 봐도 ..

https://www.youtube.com/watch?v=VH0TZlkZPRo Jacobi iteration method 보통 linear algebra에서 Ax = b 형태의 문제를 푸는데 A, x, b 의 사이즈가 커지면 커질수록 time complexity와 memory complexity가 기하급수적으로 커지게 된다. 따라서 이러한 경우 문제를 jacobi iteration 방법을 통해서 x를 approximation하여 훨씬 효율적으로 문제를 풀 수 있도록 한다. Diagonally Dominant Matrix Jacobi method는 Matrix A가 Diagonally dominant 할 때만 사용하는 것이 좋다고 한다. 그렇지 않을때는 오히려 iteration에 의해서 찾고자 하는 sol..

https://www.youtube.com/watch?v=VNoHcFoawTg 공부를 위한 포스팅이니 틀린내용이 있을 수 있다. 수학 전공이 아니기 때문에 너무 어려운 수학적 개념은 다루지 않는다. [Motivation] 극한의 개념을 알지 못하는 상태라면, 어떤 임의의 순열(sequence) S가 점점 하나의 값으로 가까워 진다는 사실을 어떻게 증명할 수 있을까? 1. 만약 순열 an이 monotone(단조)이고 임의의 값에 의해 bounded 되어있다면, 그 순열은 수렴한다. 그러나 모든 순열이 단조순열이라는 법은 없다. 2. 만약 순열 an이 Cauchy 순열이라는 것을 보이면, 해당 순열은 수렴한다는 사실이 증명되어있다. 반대로, 해당 순열이 어딘가로 수렴한다면, 그 순열은 Cauchy 순열이다...

https://www.youtube.com/watch?app=desktop&v=9jL8iHw0ans https://lykelee.github.io/banach-fixed-point-theorem/ 출처는 언제나 그렇듯, 인?도 형이다. 나는 수학 전공자가 아니기 때문에 엄밀히 따진 수학적 의미로는 틀린 표현을 많이 사용할 수 있고, 공부하며 적는 내용이기 때문에 잘못된 설명이 있을 수 있다. 포스팅은 참고만 하자. Fixed Point 먼저 Fixed point(고정점)이라는 개념부터 배우자면, 단순한 fixed point의 개념은 매우 간단하다. 그냥 어떤 함수 f(x)에 대해서 f(x)=x 의 해가 되는 point를 고정점이라 한다. 기하학적으로는 고정점의 x값을 함수 f에 input하여도 x값이 변..

1. p-차 놈 (Norm) 일단 어이가 없지만 |A|는 ||A||와 같은 말이다. 이것 때문에 다시 공부할때 약간 혼동이 오더라 : Norm은 벡터공간에서 벡터의 '크기'를 측정하는 척도로 생각하자. 우리가 알고있는 2차원 공간상의 Euclidian distance가 바로 2차 놈이다. p-차 놈의 정의는 다음과 같이 내린다. $$||x||_p = \{\sum_i^k(x_{i})^p\}^\frac{1}{p}$$ 보통은 1차놈은 벡터 요소들의 절댓값의 합이고 2차놈은 Euclidian distance가 된다. 그 외 3차부터는 거의 사용하지 않는다. 예외로 무한차원의 놈을 사용하는데 딱히 실용적인 부분으로는 어디에 쓰이는지 기억이 가물가물한데 딱히 사용된 적이 없던것으로 보아 실무적인 부분에서 알 필요 ..

Vector는 소문자 bold체로 나타냅니다(v) 소문자이면서 bold체가 아닌 경우(a)는 상수를 나타냅니다. 제곱이나 아래첨자를 업데이트 하지만 티스토리 블로그 특성상 작성이 불편하기 때문에 오타가 있을 수 있습니다. 구체적인 내용에 대한 전달이 아니라 기초적인 선형대수학의 정리를 모아놓는 포스팅입니다. 작성되는 포스팅은 모두 인프런 - 타블렛깍는노인 조범희님의 강의를 바탕으로 작성했습니다. 이전시리즈 2023.05.25 - [Background/Math] - 선형대수학 Linear Algebra 용어 및 기초 이론 정리/모음 2023.06.11 - [Background/Math] - 선형대수학 Orthogonality and Least Squares 정리/모음 (1) - Inner Product, ..

Vector는 소문자 bold체로 나타냅니다(v) 소문자이면서 bold체가 아닌 경우(a)는 상수를 나타냅니다. 제곱이나 아래첨자를 업데이트 하지만 티스토리 블로그 특성상 작성이 불편하기 때문에 오타가 있을 수 있습니다. 구체적인 내용에 대한 전달이 아니라 기초적인 선형대수학의 정리를 모아놓는 포스팅입니다. 작성되는 포스팅은 모두 인프런 - 타블렛깍는노인 조범희님의 강의를 바탕으로 작성했습니다. 이전시리즈 2023.05.25 - [Background/Math] - 선형대수학 Linear Algebra 용어 및 기초 이론 정리/모음 2023.06.11 - [Background/Math] - 선형대수학 Orthogonality and Least Squares 정리/모음 (1) - Inner Product, ..

Vector는 소문자 bold체로 나타냅니다(v) 소문자이면서 bold체가 아닌 경우(a)는 상수를 나타냅니다. 제곱이나 아래첨자를 업데이트 하지만 티스토리 블로그 특성상 작성이 불편하기 때문에 오타가 있을 수 있습니다. 구체적인 내용에 대한 전달이 아니라 기초적인 선형대수학의 정리를 모아놓는 포스팅입니다. 작성되는 포스팅은 모두 인프런 - 타블렛깍는노인 조범희님의 강의를 바탕으로 작성했습니다. 이전시리즈 2023.05.25 - [Background/Math] - 선형대수학 Linear Algebra 용어 및 기초 이론 정리/모음 2023.06.11 - [Background/Math] - 선형대수학 Orthogonality and Least Squares 정리/모음 (1) - Inner Product, ..