반응형
one hot encoding
-
Word2Vec (word embedding)Natural Language Processing 2022. 2. 9. 14:49
강의 보고 공부한 내용을 정리하는 글(문제시 비공개 처리하겠습니다) Reference https://www.youtube.com/watch?v=sY4YyacSsLc Background text는 모델의 입력으로 사용 못 함 그래서 encoding 기법을 사용해 text(I love you)를 숫자(0, 1, 2)로 변환함 encoding 기법 중 one-hot encoding이 있는데 단어 간의 유사도를 구할 수 없음 예를 들어, I(1, 0, 0) love(0, 1, 0) you(0, 0, 1) 인 경우 l2 norm은 1로 모두 같고 cosine 유사도는 벡터 간의 사잇각이 90이 돼버려 유사도가 0이 됨 Embedding 그래서 embedding을 사용함 embedidng은 dense vector로..