미완성의 기록

단어 하나가 300개의 숫자가 된다는 것

임베딩과 Word2Vec을 이해해 보기 『한 권으로 끝내는 실전 LLM 파인튜닝』을 읽다가 다음과 같은 설명을 만났다.어휘 크기가 1,000이고 임베딩 차원을 300으로 설정하면, nn.Embedding 레이어는 1,000개의 단어 각각에 대해 300차원의 벡터를 만든다. 문장 자체는 어렵지 않았다. 그런데 이해한 내용을 직접 설명해 보려고 하니 막혔다. 단어 하나마다 300차원의 벡터가 존재한다는 것은 단어 하나가 300개의 숫자로 표현된다는 뜻일까? 그렇다면 그 숫자들은 각각 무엇을 의미할까? 차원이 많아질수록 단어의 의미를 더 정확하게 표현할 수 있는 걸까? 그동안 임베딩을 ‘문장을 숫자로 변환하는 과정’ 정도로만 이해하고 있었다. 이번에는 컴퓨터가 언어를 처리하기 위해 왜 임베딩이 필요한지,..

파인튜닝은 모델보다 데이터에서 시작된다 - 한 권으로 끝내는 실전 LLM 파인튜닝, 강다솔

LLM을 활용한 프로젝트를 몇 번 진행했지만, 언어 모델이 어떤 원리로 학습되고 파인튜닝되는지는 제대로 이해하지 못하고 있었다. 원하는 결과가 나오지 않으면 프롬프트를 수정하거나 다른 모델을 사용해 보는 것이 가장 먼저 떠올리는 해결책이었다. 데이터셋은 모델에 입력하기 위해 준비해야 하는 재료 정도로만 생각했던 것 같다. 『한 권으로 끝내는 실전 LLM 파인튜닝』은 제목 그대로 언어 모델을 파인튜닝하는 실전 과정을 다루는 책이다. 하지만 책을 읽고 가장 크게 남은 것은 구체적인 학습 코드나 파인튜닝 기법보다도, 좋은 모델을 만들기 위해서는 데이터와 평가 기준을 먼저 설계해야 한다는 사실이었다. 책을 읽으며 내가 그동안 제대로 알지 못한 채 사용하고 있던 개념도 많다는 것을 알게 되었다. 임베딩, 어텐션..