반응형
정수_인코딩
-
정수 인코딩(Integer Encoding)Natural Language Processing/딥 러닝을 이용한 자연어 처리 입문 2021. 5. 18. 11:42
https://wikidocs.net/31766 참고하여 공부한 내용 정리 06) 정수 인코딩(Integer Encoding) 텍스트를 숫자로 바꾸는 여러 기법들 중에서 각 단어를 고유한 정수에 매핑(mapping)시키는 전처리 작업 인덱스를 부여하는 방법은 랜덤으로 부여, 단어 빈도수 기준으로 정렬한 후 부여하는 방법이 있음 1. 정수 인코딩(Integer Encoding) 단어에 정수를 부여하는 방법 중 하나로 단어를 빈도수 순으로 정렬한 단어 집합을 만들고 빈도수가 높은 순서대로 인덱스를 낮은 숫자부터 정수를 부여하는 방법 1) dictionary 사용하기 text="A barber is a person. a barber is good person. a barber is huge person. he..