자연어 처리와
LLM

토큰 · 임베딩 · Transformer — GPT·Claude의 속을 들여다본다

왜 LLM의 원리를
알아야 할까?

GPT·Claude가 어떻게 답을 만드는지 모르면
"왜 이렇게 답했지?"를 영원히 신비로 남긴다.

원리를 알면 잘 쓰는 법과 한계가 함께 보인다.

이 세션에서
배우는 것

NLP — 자연어 처리

인간의 언어를 컴퓨터가 이해하고 생성하도록 다루는 분야.

토큰화 —
문장을 잘라내기

LLM은 단어가 아니라 토큰이라는 작은 조각으로 본다.

핵심: 영어는 단어 단위, 한국어·일본어는 서브워드 단위로 쪼개진다.
토큰은 결국 숫자 ID로 변환되어 모델에 들어간다.

임베딩 —
의미를 숫자로

토큰 ID 자체에는 의미가 없다. 임베딩이 의미를 담은 벡터로 바꾼다.

비슷한 의미는 가까운 좌표에 모인다 — 컴퓨터가 "의미"를 다루는 방식

Transformer —
LLM의 심장

2017년 구글이 발표한 신경망 구조. 지금의 모든 LLM이 이걸 기반으로 한다.

Attention —
어디에 주목할까?

Transformer의 핵심 메커니즘. 각 단어가 어떤 단어에 더 주목해야 할지 가중치를 계산한다.

LLM의 본질 =
다음 토큰 예측기

충격적이지만 사실이다. GPT·Claude는 결국 "다음에 올 토큰"을 확률로 고르는 기계.

이 과정을 수백~수천 번 반복해서 한 문장, 한 단락, 책 한 권 분량의 글을 만든다.

LLM의 전체 흐름

입력 문장이 답이 되어 나오기까지의 과정.

핵심: 매 토큰을 만들 때마다 이 과정 전체가 다시 돈다.

LLM은 자동완성의 끝판왕

휴대폰 자판을 떠올려보자. 사실 LLM은 그것의 거대한 버전이다.

이걸 알면
AI를 더 잘 쓴다

원리를 알면 한계와 활용법이 함께 보인다.

핵심 정리

다음 세션
Session 43 · AI의 종류와 현황

LLM의 속을 들여다봤으니, 이제 바깥으로 시야를 넓힌다.
텍스트·이미지·코드·음성 — 지금 어떤 AI들이 활약하고 있을까?
멀티모달과 AGI는 또 무엇일까?

💡 기억할 것: LLM은 자동완성의 끝판왕 — 문맥을 보고 다음 토큰을 고르는 기계.