티스토리 뷰

Computer/이게 왜 안되지?

[이왜안?] Transformer 모델 내부 mask의 device를 잘 설정하자

벼랑끝과학자 2023. 2. 20. 14:48

위와 같이 padding mask나 triangular mask를 만들 때, device를 항상 잘 설정해줘야 한다.

그렇지 않으면 모델은 cuda에, mask는 cpu에 존재해서 모델이 돌아가지 않을 수 있다.

tgt_mask뿐 아니라 모든 mask의 device를 모델과 같은 device에 설정했는지 확인해보자

저작자표시

'Computer > 이게 왜 안되지?' 카테고리의 다른 글

[이왜안?] [RuntimeError]: Expected floating point type for target with class probabilities, got Long  (0) 2023.07.10
[이왜안?] RuntimeError: stack(): functions with out=... arguments don't support automatic differentiation, but one of the arguments requires grad.  (0) 2023.03.04
[이왜안?] nn.Embedding, IndexError: index out of range in self  (0) 2023.02.13
[이왜안?] ImportError: /usr/lib/x86_64-linux-gnu/libstdc++.so.6: version `GLIBCXX_3.4.29' not found (required by /home/../anaconda3/envs/DTA/lib/python3.9/site-packages/pandas/_libs/window/aggregations.cpython-39-x86_64-linux-gnu.so)  (0) 2023.02.03
[이왜안?] TypeError: expected np.ndarray (got Tensor)  (0) 2022.12.31
댓글