반응형
패딩
-
패딩(Padding)Natural Language Processing/딥 러닝을 이용한 자연어 처리 입문 2021. 5. 18. 13:38
https://wikidocs.net/83544 참고하여 공부한 내용 정리 07) 패딩(Padding) 병렬 연산을 위해 여러 문장의 길이를 임의로 동일하게 맞춰주는 작업이 필요함 1. Numpy 로 패딩하기 import numpy as np from tensorflow.keras.preprocessing.text import Tokenizer 정수 인코딩 진행 tokenizer=Tokenizer() tokenizer.fit_on_texts(sentences) # sentences는 이전 데이터 사용 텍스트 시퀀스의 모든 단어들을 각 정수에 매핑 후 출력 encoded=tokenizer.texts_to_sequences(sentences) print(encoded) [[1, 5], [1, 8, 5], [..