Visual Semantic Embedding

논문: Deep Visual Semantic Embedding with Text Data Augmentation and Word Embedding Initialization

 

visual semantic embedding은 의미적으로 연관된 이미지와 텍스트 쌍을 같은 공간으로 만드는 representation을 학습한다. 즉, visual semantic embedding은 기본 domain 구조를 나타내는 common feature space를 학습하고 이미지와 텍스트의 임베딩은 의미론적으로 중요하다. 이를 통해 union 방식으로 주어진 이미지와 텍스트를 비교할 수 있고 mulitmodal 검색을 수행할 수 있다.