pytorch
-
Masking and padding with PytorchNatural Language Processing 2022. 2. 23. 00:25
아래 사이트를 참고하여 정리하는 글입니다. Reference https://www.tensorflow.org/guide/keras/masking_and_padding Introduction NLP 작업에서 텍스트는 모두 같은 길이가 아니므로 batch 처리를 위해 시퀀스의 길이를 같게 만들어야 한다. 컴퓨터는 행렬을 사용해 병렬 연산을 하므로 필수적인 작업이다. 너무 짧은 시퀀스의 경우 정해둔 최대 길이에 맞춰서 padding 처리를 해주고 너무 긴 시퀀스의 경우에는 최대 길이에 맞춰서 truncate 해줘야 한다. Padding은 최대 길이에 맞게 시퀀스의 앞부분 혹은 마지막을 0으로 채우는 방식이다. 이렇게 padding 처리를 한 시퀀스는 아무 의미 없는 0 데이터(더미 데이터)를 포함하게 된다...
-
[PyTorch] pack_padded_sequence, pad_packed_sequence 설명Deep Learning 2022. 2. 5. 20:24
Referece https://gist.github.com/HarshTrivedi/f4e7293e941b17d19058f6fb90ab0fec Minimal tutorial on packing (pack_padded_sequence) and unpacking (pad_packed_sequence) sequences in pytorch. Minimal tutorial on packing (pack_padded_sequence) and unpacking (pad_packed_sequence) sequences in pytorch. - pad_packed_demo.py gist.github.com https://simonjisu.github.io/nlp/2018/07/05/packedsequence.html P..
-
[Python] 간단한 Pytorch 코드 예제(MNIST)알.쓸.코드/알.쓸.파.코(알아두면 쓸데있는 파이썬 코드) 2021. 10. 20. 01:33
Pytorch를 처음 접했을 때 tensorflow, keras와는 코드 생김새(?)가 달라서 접근하기 어려웠다. 하지만 계속 쓰다 보니 유사한 코드 작성 패턴이 있어서 기록해 두려고 한다. 아래는 유명한 MNIST 데이터 셋을 이용한 기본적인 Pytorch 예제이고 최소한의 코드만 작성했다. 1. 필요한 모듈 로드 import pandas as pd import numpy as np import random import os from sklearn.model_selection import train_test_split import torch import torch.nn as nn import torch.optim as optim from torch.utils.data import DataLoader f..
-
[Windows 10 + RTX3090] Pytorch 설치Setting & Error 2021. 8. 11. 01:20
RTX3090을 사용하고 Windows10 os 1. CUDA, cuDNN 설치 된 환경이 필요 만약 CUDA, cuDNN 설치하지 않았다면 아래 사이트 참고해서 설치 진행 https://uding.tistory.com/30 디스플레이어 어댑터 ->.." data-og-host="uding.tistory.com" data-og-source-url="https://uding.tistory.com/30" data-og-url="https://uding.tistory.com/30" data-og-image="https://scrap.kakaocdn.net/dn/bzajfT/hyLcq56n7G/JzdFfgZxYrBYDKTO4SVLhK/img.png?width=442&height=145&face=0_0_442_1..
-
[Windows 10 + RTX3090] cudnn, cuda 재설치Setting & Error 2021. 8. 11. 00:46
1. 기존 NVIDIA 모두 삭제 1) 기존에 설치되어있던 nvidia 모두 삭제 2) "C:\Program Files (x86)" "C:\Program Files" 위 경로에 있는 NVIDIA 관련 파일 모두 삭제 3) "장치 관리자 -> 디스플레이어 어댑터 -> 드라이버 업데이트" "내 컴퓨터에서 드라이버 찾아보기(R)" 클릭 "컴퓨터의 사용 가능한 드라이버 목록에서 직접 선택(L)" 클릭 드라이버 선택해서 설치 진행 후 재부팅 2. cudnn, cuda 확인 https://medium.com/@dun.chwong/the-simple-guide-deep-learning-with-rtx-3090-cuda-cudnn-tensorflow-keras-pytorch-e88a2a8249bc The Simple ..