전혀 감도 안오는 에러가 뜨길래 약간 쫄았는데 나도 짬이 얼추 찼나보다. 금방 해?결 했다. torch의 DataLoader를 설정하는 부분에서 num_workers를 0이 아닌 다른 값을 전달했다면 0으로 바꿔보고 다시 실행해보자. test_loader = DataLoader( test_set, batch_sampler=test_sampler, num_workers=0, # 이 값을 0 이외의 숫자로 전달하지 않았는지 확인하자. pin_memory=True, collate_fn=test_sampler.episodic_collate_fn, )
위와 같이 torch의 DataLoader를 사용해서 데이터를 iteration 할때 매번 뭔가 이상하게 KeyError 값이 변하면서 데이터 확인이 안되고 에러가 나고 있다. 이때 만약 내 데이터가 Pandas의 DataFrame 타입이라면 torch.Dataset으로 train_dataset으로 만들어주는 코드에서 iloc를 빼먹지 않았는지 확인해보자 class BinaryDataset(Dataset): def __init__(self, feature, target): self.feature = feature self.target = target def __len__(self): return len(self.target) def __getitem__(self, idx): return self.feat..
또 이놈의 윈도우11이 문제다. 어느날 갑자기 윈도우 파일 탐색기가 비정상적으로 느려짐 win + shift + s 눌러서 캡쳐프로그램 켜면 컴퓨터 화면이 먹통이 되면서 아무것도 클릭되지 않음 메모장이 켜지지 않음 해결하려 했던 노력 1. 윈도우 서비스탭에서 windows search 재시작 결과 : 실패 증상 : window search 오류 1067 프로세스가 예기치 않게 종료되었습니다 이런 에러가 뜨면서 재시작 안됨 재부팅을 해봐도 탐색기 느려진 것은 돌아오지 않았음. 마이크로소프트에서 제공하는 답변은 지금까지 단 한번도 나에게 도움이 된 적이 없음 cmd에서 뭐 해보라해서 그대로 따라해봤지만 역시나 도움 안됨. 윈도우 복원을 통해서 무슨 업데이트 전으로 복원해보려 했는데 복원도 실패함 2. 색인 ..
보통 list 타입의 데이터를 numpy로 변경하고자 할때 많이 마주치는 에러이다. temp = [1, 2, 3] # type == list 이라고 하자. 만약 list 타입의 temp라는 변수를 numpy로 변경하고자 한다면 numpy_temp = np.array(temp) 형태로 전달해야 한다. 그러나 혼동하여 numpy_temp = temp.numpy() 등으로 사용하는 경우가 있는데, 이런 경우에 당연히 리스트 타입의 데이터가 가진 메소드가 아닌 .numpy()가 동작할리 없기 때문에 위와같은 에러가 출력된다. 해결방법은 위에서 말한 것 처럼 np.array(listdata)형태로 코드를 수정해보자
해당 문제는 ndarray의 구간별 길이가 일정하지 않을 때 나타나는 문제다. 예를들어 [[2, 3, 4], [1, 2]] 처럼 첫번째 row는 3개의 column을 가지는데 두번째 row는 2개의 column만을 가지는 경우에 이러한 오류가 나온다. 해결방법으로는 이런 형태의 ndarray가 선언되는 부분에서 dtype=object를 주면 된다는데, 데이터 타입을 건드리는 것은 아마도 numpy의 모듈을 사용하지 못하도록 만들어 귀찮게 될 수 있기 때문에 나는 사용하지 않았고, stackoverflow를 참고하니 numpy 버전을 최신버전을 사용하지 말고 1.21쯤으로 낮춰보라하여 1.21.6버전으로 낮췄더니 해결되었다. User warning은 뜨지만 문제가 해결됐다면 장땡이다.
헛발질을 많이 했다.DLL load failed검색하면 가상환경 관련된 이야기들이 많이 나와서 가상환경가서 헛발질 많이 했는데 나의 경우는 그냥 이거 해주니까 해결됐다.당연하지만 pip니까, conda 가상환경을 꼭 켜고 실행해야된다. conda 가상환경이 뭔지 모르겠으면 실행하지 말고 가상환경부터 공부하고 실행하자!pip install -U Pillow<..
한줄 요약 "num_workers" 옵션을 0 또는 1로 주지 않고 임의의 숫자로 지정했다면 0또는 1로 수정하고 다시 돌려볼 것 진짜 야랄맞은 경험을 했다.torch의 dataloader를 이용해서 데이터를 불러올 때 보통 for문을 이용한다. 아래처럼train_dataset = dataset(df_train ...)train_loader = torch.utils.data.DataLoader(train_dataset, batch_size=4, shuffle=True, num_workers=0, ..
- Total
- Today
- Yesterday
- 이왜안
- kld
- eigenvector
- MorganCircularfingerprint
- elementry matrix
- 최대우도추정
- marginal likelihood
- 오일석기계학습
- 제한볼츠만머신
- 3B1B따라잡기
- Matrix algebra
- MatrixAlgebra
- MLE
- variational autoencoder
- vae
- manim
- 3b1b
- 베이즈정리
- 파이썬
- kl divergence
- manimtutorial
- 백준
- eigenvalue
- manim library
- ai신약개발
- 선형대수
- 기계학습
- 인공지능
- ai인공지능
- Manimlibrary
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | |||||
3 | 4 | 5 | 6 | 7 | 8 | 9 |
10 | 11 | 12 | 13 | 14 | 15 | 16 |
17 | 18 | 19 | 20 | 21 | 22 | 23 |
24 | 25 | 26 | 27 | 28 | 29 | 30 |