torch
-
Masking and padding with PytorchNatural Language Processing 2022. 2. 23. 00:25
아래 사이트를 참고하여 정리하는 글입니다. Reference https://www.tensorflow.org/guide/keras/masking_and_padding Introduction NLP 작업에서 텍스트는 모두 같은 길이가 아니므로 batch 처리를 위해 시퀀스의 길이를 같게 만들어야 한다. 컴퓨터는 행렬을 사용해 병렬 연산을 하므로 필수적인 작업이다. 너무 짧은 시퀀스의 경우 정해둔 최대 길이에 맞춰서 padding 처리를 해주고 너무 긴 시퀀스의 경우에는 최대 길이에 맞춰서 truncate 해줘야 한다. Padding은 최대 길이에 맞게 시퀀스의 앞부분 혹은 마지막을 0으로 채우는 방식이다. 이렇게 padding 처리를 한 시퀀스는 아무 의미 없는 0 데이터(더미 데이터)를 포함하게 된다...
-
[PyTorch] pack_padded_sequence, pad_packed_sequence 설명Deep Learning 2022. 2. 5. 20:24
Referece https://gist.github.com/HarshTrivedi/f4e7293e941b17d19058f6fb90ab0fec Minimal tutorial on packing (pack_padded_sequence) and unpacking (pad_packed_sequence) sequences in pytorch. Minimal tutorial on packing (pack_padded_sequence) and unpacking (pad_packed_sequence) sequences in pytorch. - pad_packed_demo.py gist.github.com https://simonjisu.github.io/nlp/2018/07/05/packedsequence.html P..
-
[Windows 10 + RTX3090] Pytorch 설치Setting & Error 2021. 8. 11. 01:20
RTX3090을 사용하고 Windows10 os 1. CUDA, cuDNN 설치 된 환경이 필요 만약 CUDA, cuDNN 설치하지 않았다면 아래 사이트 참고해서 설치 진행 https://uding.tistory.com/30 디스플레이어 어댑터 ->.." data-og-host="uding.tistory.com" data-og-source-url="https://uding.tistory.com/30" data-og-url="https://uding.tistory.com/30" data-og-image="https://scrap.kakaocdn.net/dn/bzajfT/hyLcq56n7G/JzdFfgZxYrBYDKTO4SVLhK/img.png?width=442&height=145&face=0_0_442_1..
-
[Windows 10 + RTX3090] cudnn, cuda 재설치Setting & Error 2021. 8. 11. 00:46
1. 기존 NVIDIA 모두 삭제 1) 기존에 설치되어있던 nvidia 모두 삭제 2) "C:\Program Files (x86)" "C:\Program Files" 위 경로에 있는 NVIDIA 관련 파일 모두 삭제 3) "장치 관리자 -> 디스플레이어 어댑터 -> 드라이버 업데이트" "내 컴퓨터에서 드라이버 찾아보기(R)" 클릭 "컴퓨터의 사용 가능한 드라이버 목록에서 직접 선택(L)" 클릭 드라이버 선택해서 설치 진행 후 재부팅 2. cudnn, cuda 확인 https://medium.com/@dun.chwong/the-simple-guide-deep-learning-with-rtx-3090-cuda-cudnn-tensorflow-keras-pytorch-e88a2a8249bc The Simple ..