임베딩과 Word2Vec을 이해해 보기 『한 권으로 끝내는 실전 LLM 파인튜닝』을 읽다가 다음과 같은 설명을 만났다.어휘 크기가 1,000이고 임베딩 차원을 300으로 설정하면, nn.Embedding 레이어는 1,000개의 단어 각각에 대해 300차원의 벡터를 만든다. 문장 자체는 어렵지 않았다. 그런데 이해한 내용을 직접 설명해 보려고 하니 막혔다. 단어 하나마다 300차원의 벡터가 존재한다는 것은 단어 하나가 300개의 숫자로 표현된다는 뜻일까? 그렇다면 그 숫자들은 각각 무엇을 의미할까? 차원이 많아질수록 단어의 의미를 더 정확하게 표현할 수 있는 걸까? 그동안 임베딩을 ‘문장을 숫자로 변환하는 과정’ 정도로만 이해하고 있었다. 이번에는 컴퓨터가 언어를 처리하기 위해 왜 임베딩이 필요한지,..