벼랑끝 바이오 매드 컴퓨터 사이언티스트

해당 포스팅은 공부가 많이 되지 않았을 시절에 작성한 것이라 지금 보니 부족한 내용도 보이고 설명이 매우 미흡합니다. 아래 포스팅을 확인해보면 더욱 잘 설명된 initialization 방식들을 확인할 수 있습니다. https://reniew.github.io/13/ 가중치 초기화 (Weight Initialization) An Ed edition reniew.github.io Xavier initializer는 Neural Network에서 사용하는 weight initialization 방법이다. Xavier Glorot에 의해 고안된 방법이라 이러한 이름이 붙었다. 이 초기화 방법은 각 layer에서의 activation function에 의해 activation 된 weight 값의 결과(acti..

AI 신약개발 분야에서 공부하다보면 finger print라는 단어를 많이 보게 된다. 우리가 각각의 사람들마다 서로다른 지문(finger print)를 가지고 있듯 chemical들도 각각의 finger print를 부여해 서로 구분할 수 있도록 하자는 개념이다. 서로간의 chemical similarity를 구분짓기 위해 수많은 chemical들을 Morgan algorithm으로 분석하여 circular substructures 또는 circular fingerprints들을 구성한다. 그리고 각각의 chemical의 시퀀스를 알고리즘을 통해 분석하여 해당 chemical 시퀀스에 존재하는 circular substructure는 1로, 존재하지 않으면 0으로 나타낸다. 예를 들어보자 CH3CH2O..

더보기 참고 사이트 https://gaussian37.github.io/dl-concept-global_average_pooling/ Global Average Pooling 이란 gaussian37's blog gaussian37.github.io https://www.youtube.com/watch?v=FUv5NHL9s_U https://jetsonaicar.tistory.com/16 6-3 Global Average Pooling 최근 CNN 계열에서 classifier 로서 GAP (Global Average Pooling)를 사용하는 추세입니다. conv layer에서 많이 사용하는 pooling으로는 max pooling이 있습니다. feature의 일부 영역에서 가장 큰 값을 선택하여 (ma..

CUDA 등의 GPU 이용 환경은 이미 설치가 되어있다는 가정하에 설명합니다. (만약 CUDA 환경자체가 설정되지 않은것이라면... 약간은 고생할 생각을 해야된다... 리눅스에서 CUDA 설치는... 최악의 난이도...) 1. nvidia-smi명령어를 통해 내 시스템에 설치되어있는 GPU 상태를 확인한다. 2. [1번 빨간 동그라미 친 부분] 현재 서버에 설치된 GPU들의 number를 확인할 수 있고, 3. [2번 밑줄 부분] 각각의 GPU들의VRAM이 얼마만큼 사용중에 있는지를 확인할 수 있다. 여기서 내가 사용할 모델의 용량과 남아있는 GPU 메모리를 살펴보고 몇번 GPU를 사용할지 결정한다. 4. [3번 박스] 몇번 GPU에서 어떤 process가 돌아가고 있는지를 상세히 확인할 수 있다. 5...

quantity와 amount의 차이는 무엇일까? quantity는 보통 명확한 단위로 셀 수 있는 물질의 양을 이야기할 때 사용하며 amount는 셀 수 없는 물질의 양을 나타낼 때 이야기한다. (찾아보니 반드시 그런 것은 아니고 보통은 그렇게 이야기하며 둘을 혼용하여 사용하여도 되긴 하나보다.) 사진에서 예를들어 물병이 4개 있으므로 quantity는 4가 될 것이고, 각각의 물병 안에 물이 들어있는 양을 이야기하고 싶을때는 amount of water로 이야기한다. The quantity of the water bottles is enough to drink because the amount of water in each bottle is full. 문장이 약간 어색할 수 있지만 두 단어를 동시에 ..

https://biomadscientist.tistory.com/47 [오일석 기계학습] 2.2 수학 - 확률과 통계 - 곱 규칙과 전확률 규칙 기계학습이 다루는 데이터는 주로 '불확실성'을 가지고있는 실생활로부터 온 데이터들, 따라서 자연스럽게 기계학습 역시 확률과 통계를 잘 활용해야만 좋은 모델을 만들 수 있다. 1. 확률 기초 biomadscientist.tistory.com 이전 포스팅에서 조건부 확률과 결합확률의 곱규칙과 전확률 규칙에 대하여 공부하였다. 이번 포스팅에서는 두 규칙을 이용해 베이즈 정리에 대해 공부해보려 한다. 곱규칙과 전확률 규칙을 이해하지 못한 상태로는 베이즈 정리 이해가 어려울 수 있으니 먼저 이전 포스팅에서 다룬 두 규칙에 대한 이해를 선행한 후에 이 포스팅을 읽기를 추천..

딥러닝 모델을 만들고 훈련 epoch를 돌리는데 이상하게도 시스템 RAM을 계속해서 잡아먹더라 GPU 메모리도 아니고 시스템 메모리를 계속해서 잡아먹는게 이상했다. 처음 보는 문제이다보니 해결하기 위해서 한참을 헤메였는데 언제나 그렇지만 답은 간단했다. 보통 Loss의 history를 저장하기 위해 loss_history라는 리스트를 만들고 epoch를 돌며 나오는 훈련셋에서의 loss값을 저장하는 경우가 많은데 loss_history.append(loss.item())와 같은 형태로 많이 이용한다. 여기서 loss의 단순 value값만 저장하면 되는데 따라서 우리는 loss.item()이라는 기능을 이용해서 그냥 단순 loss의 숫자값만 따로 떼와서 history에 저장한다. 근데 여기서 .item()..

shadow는 우리말로 그림자, 즉 어떤 물체의 그림자 그 자체를 이야기할때 쓰는 표현이다. shade는 그늘, 응달처럼 어떤 큰 물체의 그림자로 인해 그림자가 드리워진 영역이나 장소를 표현하는 단어이다. 예를들어 그림자와 그늘 두 단어의 차이점을 생각해보자. 연필의 그림자를 보고 보통은 그림자라고 하지 그늘이라고 이야기하지 않는다. 즉 연필의 그림자는 shadow다. 거대한 나무의 그림자가 드리워있는 영역을 보고는 나무의 그림자라고 하기도 하지만 주로 그늘이라는 표현을 쓴다. 따라서 나무에 의해 그림자가 드리워져있는 영역을 우리는 그늘, 응달이라고 하며 이때는 shade라는 표현을 쓴다. "I'm sitting in the shade of the tree" or "I drew the shades to ..

[과학자의 단어장] 시리즈는 우매한 나를 위하여 공부한 영어 지식을 바탕으로 작성됩니다. 등장하는 문장은 제가 직접 작문하는 것이라 영어 고수분들의 눈에는 상당히 어색하게 보일수 있습니다. 전문적인 상황에서의 도움이 필요하다면 영어/회화 전문 블로거들의 글을 통해 더블체크하시길... Crack down on 1. ~를 엄히 단속하다. 그들은 음주운전자를 단속하기 위해서 불시로 검문을 실시한다. They conduct an inspection to crack down on drunk driver They conduct an casual inspection to crack down on drunk driver. 2. ~를 통렬하게 비판하다. 서방 국가들은 우크라이나에 전쟁을 선포한 블라디미르 푸틴 러시아 대..

기계학습이 다루는 데이터는 주로 '불확실성'을 가지고있는 실생활로부터 온 데이터들, 따라서 자연스럽게 기계학습 역시 확률과 통계를 잘 활용해야만 좋은 모델을 만들 수 있다. 1. 확률 기초 확률변수와 확률 분포 도,개,걸,윷,모가 나오는 윷놀이가 있다. 먼저 확률을 수식으로 표현하려면 위 다섯가지 경우의 수들 중 한가지를 나타내는 변수가 필요하다. 이렇게 어떤 상황이 발생하는지를 나타내는 변수를 확률변수(random variable)이라고 하며 주로 영어 소문자로 나타낸다. 그리고, 윷놀이에서는 이런 확률변수가 각각 [도, 개 ,걸, 윷, 모]로 5가지가 존재하며 이 확률 변수 전체의 모임을 '정의역'이라 부르며 보통 영어 대문자로 나타낸다.. 전체 정의역에 걸쳐 확률값을 모두 표기한 것을 확률 분포(p..