티스토리 뷰

 

7월 17일을 기준으로 방문자 2222명을 달성했다. 7월 17일을 기준으로 방문자 2222명을 달성했다.

 

최근 블로그가 뜸해진 것은 8월 15일까지 제출 마감기한인 BIBM 학회에 논문을 내려고 안간힘을 쓰고 있기 때문이다. 

예전 생물 분야에 있을 때 부터도 중국인 저자들에 대한 주의를 많이 들었었는데, 그때까지는 딱히 논문을 쓸 일이 없었기에 크게 신경쓰이지 않았다.

최근들어 논문 준비를 위해 특히 컴퓨터 분야는 비교실험이 중요한데, 비교실험을 위해 여러 논문을 읽어보고 github를 돌아다니면서 느끼는 것이, 이렇게 엉성하게 github를 관리하고도 bioinformatics 등 좋은 저널에 올라가있는 것을 보면서 회의감을 많이 느끼고 있다. 자신이 논문에 올려둔 실험 데이터를 실행하는 코드를 올려놓지 않는 것은 내가보기엔 속임수다. 

쉽게 한줄로 실행되도록 달라는 것이 아니다, 비교실험이 쉬워야 한다고 이야기 하는 것이 아니다. 비교실험은 당연히 어렵다. 그게 연구자로서의 능력이다. 그러나 아예 실행조차 못하게 정보조차 주지 않는 것은 기만이고 속임수다.

이런 논문이 한두개가 아니더라.

transformerCPI/ drugVQA가 그렇다. 둘 다 좋은 저널에 실려있고, 인용수도 100회 이상으로 나름 탄탄한 논문이다. 그런데 어째서 자신이 실험한 데이터의 github를 가보면 실험한 데이터에 대한 코드를 제공하지 않는지 알 수가 없다.

transformerCPI는 아예 issue탭조차 닫아놓았다. 이건 연구자에 대한 예의가 아니라고 생각한다.

drugVQA에서는 모델을 돌리기 위해 단백질의 아미노산 서열 사이의 distance map이 필요한데, github에 제공하지 않는다. 누군가 issue탭에서 이것에 대해 요구하자 '이것을 계산하는 툴은 c++로 만들어져서 가이드 없이는 사용하기 어려울 것' 이라며 제공을 거부한다. 

이해가 안간다. 이게 말이 되는 소리인지? 본인들이 제공을 하던지, 하다못해 그렇다면 본인들이 실험한 데이터에 대한 distance map을 제공하는것이 맞다.

돌려보지도 못할 실험을 해놓고 나 AUROC 0.95라고 주장한다면 나는 AUROC 0.99 모델도 만들어놓았는데 당신네들 실망할까봐 꽁꽁 감춰놓고 있을 뿐이라고 당당히 주장하겠다.

 

현재 이런 이슈들로 인해 비교실험이 많이 늦어지다보니 조금 심적으로 힘들고 지친다. 그래도 최대한 달려봐야지. 

댓글