벼랑끝 바이오 매드 컴퓨터 사이언티스트

약간 고급 코드로 들어가기 시작하면 DataLoader를 그냥 사용하는 경우가 드물어진다.보통은 DataLoader의 collate_fn이라는 메서드를 본인들의 데이터세트에 맞춰 직접 구현해서 사용하는 경우가 많아지는데 collate_fn을 지금까지 딱히 주의깊게 본 적은 없었다.나도 이제 슬슬 내 데이터를 직접 구현해서 추가하려고 하기 때문에 collate_fn의 동작 방식과 왜 사용하는지를 알고 있어야 할 것 같아서 정리해본다.DataLoader( train_dataset, batch_size=config.train.batch_size, collate_fn=PaddingCollate(), shuffle=True, num_workers..

위와 같이 torch의 DataLoader를 사용해서 데이터를 iteration 할때 매번 뭔가 이상하게 KeyError 값이 변하면서 데이터 확인이 안되고 에러가 나고 있다. 이때 만약 내 데이터가 Pandas의 DataFrame 타입이라면 torch.Dataset으로 train_dataset으로 만들어주는 코드에서 iloc를 빼먹지 않았는지 확인해보자 class BinaryDataset(Dataset): def __init__(self, feature, target): self.feature = feature self.target = target def __len__(self): return len(self.target) def __getitem__(self, idx): return self.feat..