Skip to content

Tier -1: 순수기초 (Pure Foundations)

확률·벡터·그래프·데이터베이스·ML·NLP·정보검색·트랜스포머·API 아키텍처·보안 — AI 지능 체계의 수학적·공학적 토대를 다루는 10개 개념


P01 — 확률과 통계 (Probability & Statistics)

TL;DR: 확률과 통계는 불확실성을 수학적으로 다루는 언어. LLM이 다음 토큰을 예측하는 원리 자체가 조건부 확률의 연쇄.

한 문장 요약

AI가 다음 단어를 고르는 모든 순간에 확률이 작동한다.

왜 이것이 필요한가

날씨 예보처럼 AI도 확실한 답이 아니라 가능성을 계산한다. LLM이 "오늘 날씨는 ___"의 빈칸에 "맑음"을 넣을지 "흐림"을 넣을지 결정하는 것이 바로 확률 분포에서의 샘플링이다. temperature, top-p 같은 파라미터가 이 확률 분포를 조절한다.

베이즈 정리는 새로운 증거가 주어졌을 때 기존 믿음을 갱신하는 방법으로, GraphRAG에서 커뮤니티 정보가 추가될 때 검색 결과의 신뢰도를 업데이트하는 데 활용된다.

핵심 개념

  • 베이즈 정리: P(H|E)=P(E|H)P(H)P(E) — 모든 ML 모델이 하는 일은 결국 베이즈 정리의 반복

    의사가 검사 결과(증거)를 하나씩 확인하면서 병명(가설)에 대한 확신을 높여가는 과정과 같다. "비가 올 확률 30%"였는데 먹구름이 보이면(새 증거) 70%로 업데이트하는 것이 베이즈 정리다.

  • 확률분포와 ML: 정규분포(가중치 초기화), 다항분포(토큰 분포)

    주사위를 던지면 각 면이 나올 확률이 있듯, AI도 다음 단어 후보마다 확률을 매긴다. 정규분포는 "평균 근처 값이 많다"는 종 모양 곡선으로, 신경망의 초기 가중치를 설정할 때 사용한다.

  • MLE와 MAP: MLE = 데이터를 가장 잘 설명하는 파라미터, MAP = MLE + 사전분포(정규화)

    동전을 10번 던져 7번 앞면이 나왔다면, MLE는 "앞면 확률 = 70%"라고 답한다. MAP는 "동전은 보통 공정하니까(사전 지식) 60% 정도일 것"이라고 사전 지식으로 보정한다.

  • 정보이론과 Softmax: 엔트로피, 교차 엔트로피(분류 손실함수), Temperature 파라미터

    엔트로피는 "불확실성의 양"을 측정한다. AI가 다음 단어를 확신할수록 엔트로피가 낮다. Temperature는 이 확신의 정도를 조절하는 손잡이로, 높이면 다양한 답변이, 낮추면 정형화된 답변이 나온다.

연결 고리

  • → F07(베이지안 추론), F01(임베딩)
  • ↔ P02(벡터수학)

P02 — 벡터 수학 기초 (Vector Mathematics)

TL;DR: 벡터 수학은 AI가 "의미"를 숫자로 다루는 언어. "왕 - 남자 + 여자 = 여왕"이 가능한 이유.

한 문장 요약

AI는 모든 의미를 숫자 배열(벡터)로 변환해서 비교한다.

왜 이것이 필요한가

GPS 좌표로 두 장소의 거리를 계산하듯, AI는 문장을 벡터로 변환하여 의미적 거리를 측정한다. "king - man + woman = queen"이라는 유명한 예시는 벡터 공간에서 의미적 관계가 수학적 연산으로 표현된다는 것을 보여준다.

이것이 바로 임베딩의 원리이며, 시멘틱 서치와 RAG의 수학적 토대다.

핵심 개념

  • 내적과 코사인 유사도: cos_sim(A,B)=ABA×B — 방향이 의미, 크기는 빈도

    두 화살표가 같은 방향을 가리키면 유사도가 1(동일 의미), 반대 방향이면 -1(반대 의미), 직각이면 0(무관)이다. "고양이"와 "강아지"는 비슷한 방향, "고양이"와 "자동차"는 거의 직각이다.

  • 임베딩과 의미 산술: Word2Vec → GloVe → BERT/ELMo → Sentence Transformers

    단어를 숫자 배열(벡터)로 바꾸는 기술의 발전사다. 초기 Word2Vec은 단어 하나씩만 변환했지만, 최신 Sentence Transformers는 문장 전체의 의미를 하나의 벡터로 압축한다.

  • 차원 축소: PCA(선형), t-SNE(비선형, 클러스터), UMAP(빠르고 전역 구조 보존)

    수백 차원의 벡터를 2~3차원으로 줄여 눈으로 볼 수 있게 만드는 기법이다. 3D 지구본을 2D 세계지도로 펼치는 것과 비슷하다. 어떤 방식으로 펼치느냐에 따라 보이는 패턴이 달라진다.

연결 고리

  • → F01(임베딩), F02(시멘틱서치)
  • ↔ P01(확률통계), P08(트랜스포머 QKV 어텐션)

P03 — 그래프 이론 기초 (Graph Theory)

TL;DR: 사물 간의 관계를 수학적으로 모델링. 노드(Node) = 사물, 엣지(Edge) = 관계.

한 문장 요약

그래프는 사물과 관계를 지도처럼 표현하는 수학이다.

왜 이것이 필요한가

지하철 노선도를 떠올려보자. 역(노드)과 노선(엣지)으로 구성되고, A역에서 B역까지 가는 최적 경로를 찾는 것이 그래프 탐색이다. 온톨로지, 지식 그래프, GraphRAG는 모두 이 그래프 이론 위에 세워진다.

Leiden 알고리즘이 그래프에서 커뮤니티를 발견하는 것도, Neo4j가 관계를 탐색하는 것도 결국 그래프 이론이다.

핵심 개념

  • 그래프 기본: G=(V,E), Triple(주어-술어-목적어), 방향/무방향/가중 그래프

    G=(V,E)는 "그래프 = 점들의 모음 + 선들의 모음"이라는 뜻이다. 트리플(Triple)은 "홍길동 → 친구 → 김철수"처럼 주어-관계-목적어 세 쌍으로 지식을 표현하는 방식이다.

  • BFS vs DFS: BFS(최단 경로), DFS(사이클 감지, 위상 정렬)

    BFS는 물에 돌을 던지면 파문이 동심원으로 퍼지듯 가까운 노드부터 탐색하고, DFS는 미로에서 한 길을 끝까지 가본 후 막히면 되돌아오는 방식이다.

  • Hop과 Depth: 1-Hop = 엣지 1개 — N-hop 설정이 시스템 설계의 핵심 트레이드오프

    SNS에서 "친구"는 1-Hop, "친구의 친구"는 2-Hop이다. Hop 수를 늘리면 더 많은 정보를 찾지만, 관련 없는 정보도 섞여 느려진다. 적절한 Hop 수를 정하는 것이 핵심이다.

  • DAG(방향 비순환 그래프): 온톨로지 계층, Git 히스토리, 데이터 파이프라인

    가족 족보처럼 위에서 아래로만 흐르고 다시 위로 올라가지 않는 그래프다. "순환이 없다"는 것은 A→B→C→A처럼 원래 자리로 돌아오는 경로가 없다는 뜻이다.

연결 고리

  • → F04(지식그래프), F05(그래프 DB)
  • ↔ P04(데이터베이스)

P04 — 데이터베이스 기초 (Database Fundamentals)

TL;DR: RDBMS(SQL, ACID)와 NoSQL(유연 스키마) 두 갈래. 그래프 DB는 관계 중심 특화 처리.

한 문장 요약

데이터를 어디에 어떻게 저장하느냐가 AI 시스템의 성능을 결정한다.

왜 이것이 필요한가

도서관에서 책을 저자별로 정리하면 저자 검색은 빠르지만 주제 연결은 어렵다. 이것이 관계형 DB의 한계다. 그래프 DB(Neo4j)는 연결 자체를 1등 시민으로 다루므로 "이 저자와 공동 작업한 모든 사람"을 한 번에 찾을 수 있다.

실무에서는 용도에 따라 여러 DB를 조합하는 Polyglot Persistence가 필수다.

핵심 개념

  • RDBMS: 테이블·행·열, PK/FK, JOIN, 정규화, B-Tree/Hash 인덱스

    엑셀 스프레드시트처럼 행과 열로 데이터를 정리하는 전통적 데이터베이스다. PK(기본키)는 각 행의 고유 번호, FK(외래키)는 다른 테이블과의 연결 고리이며, JOIN은 여러 테이블을 합쳐서 보는 것이다.

  • ACID: Atomicity, Consistency, Isolation, Durability (vs BASE)

    은행 송금을 떠올려보자. "A 계좌에서 출금"과 "B 계좌에 입금"은 반드시 둘 다 성공하거나 둘 다 실패해야 한다(Atomicity). ACID는 이런 데이터 안전성을 보장하는 4가지 원칙이다.

  • NoSQL 유형: 키-값(Redis), 문서(MongoDB), 그래프(Neo4j), 벡터(Pinecone)

    "만능 테이블" 대신 용도별 특화 저장소를 쓰는 접근법이다. 빠른 임시 저장은 Redis, 유연한 문서는 MongoDB, 관계 탐색은 Neo4j, AI 검색은 Pinecone처럼 목적에 맞는 DB를 선택한다.

  • 그래프 DB: Index-Free Adjacency → 깊이 탐색 비용 일정, Cypher 쿼리

    관계형 DB에서 "친구의 친구의 친구"를 찾으려면 테이블을 3번 합쳐야(JOIN) 하지만, 그래프 DB는 연결선을 따라가기만 하면 된다. 관계가 깊어져도 속도가 일정한 것이 핵심 장점이다.

Polyglot Persistence

핵심 거래=PostgreSQL, 캐시=Redis, 검색=Elasticsearch, 관계 탐색=Neo4j

하나의 DB로 모든 일을 하는 대신, 용도에 맞는 여러 DB를 함께 쓰는 전략이다. 식당에서 냉장고(저장), 오븐(조리), 접시(서빙)를 구분하는 것처럼, 데이터도 역할별로 최적의 저장소를 배정한다.


P05 — AI/ML 기초 (AI/ML Fundamentals)

TL;DR: 데이터로부터 패턴을 학습해 예측하는 시스템.

한 문장 요약

머신러닝은 데이터에서 패턴을 스스로 찾아내는 프로그래밍 방식이다.

왜 이것이 필요한가

전통적 프로그래밍은 "IF 비가 오면 THEN 우산을 가져가라"처럼 규칙을 사람이 직접 작성한다. ML은 과거 날씨와 우산 사용 데이터에서 패턴을 스스로 발견한다. LLM은 이 원리의 극단적 확장으로, 수조 개의 텍스트에서 언어 패턴을 학습한 모델이다.

가끔 "환각"이 생기는 이유도 패턴 매칭이 틀릴 수 있기 때문이다.

핵심 개념

  • 3대 패러다임: 지도학습(Next Token Prediction), 비지도학습(임베딩 학습), 강화학습(RLHF)

    지도학습은 정답이 있는 시험공부(문제-정답 쌍으로 학습), 비지도학습은 정답 없이 패턴을 스스로 발견하는 것, 강화학습은 시행착오를 통해 보상을 최대화하는 게임 플레이와 같다.

  • 신경망과 역전파: h=f(Wx+b), Chain Rule로 그래디언트 계산

    신경망은 입력에 가중치(W)를 곱하고 편향(b)을 더한 후 활성화 함수(f)를 적용하는 계산의 반복이다. 역전파는 "정답과 얼마나 틀렸는지"를 거꾸로 전달하면서 가중치를 조정하는 학습 방법이다.

  • 손실함수·최적화: MSE(회귀), Cross-Entropy(분류), Adam Optimizer

    손실함수는 "AI의 예측이 정답에서 얼마나 벗어났는지"를 측정하는 점수판이다. 최적화는 이 점수를 최소화하기 위해 가중치를 조금씩 조정하는 과정이며, Adam은 가장 널리 쓰이는 조정 방법이다.

  • 편향-분산 트레이드오프: 과소적합 ↔ 과적합, 정규화·드롭아웃으로 관리

    시험공부에 비유하면, 과소적합은 교과서를 대충 읽어 기본도 못 맞추는 것이고, 과적합은 기출문제만 달달 외워서 새 문제를 못 푸는 것이다. 정규화와 드롭아웃은 이 균형을 맞추는 기법이다.


P06 — NLP 기초 (Natural Language Processing)

TL;DR: 컴퓨터가 인간 언어를 이해하고 생성하는 AI 핵심 분야.

한 문장 요약

NLP는 컴퓨터가 인간의 언어를 읽고, 이해하고, 생성하는 기술이다.

왜 이것이 필요한가

컴퓨터는 본래 숫자만 처리할 수 있다. NLP의 핵심 돌파구는 단어를 숫자로 변환하는 것(토큰화 → 임베딩)이었다.

이 과정을 이해해야 "왜 같은 질문이라도 표현 방식에 따라 AI 답변이 달라지는가", "왜 벡터 의미 풍부화(C10)가 필요한가"를 파악할 수 있다.

핵심 개념

  • 토큰화: BPE(GPT), WordPiece(BERT), SentencePiece(T5)

    AI가 문장을 처리하려면 먼저 작은 조각(토큰)으로 나눠야 한다. "안녕하세요"가 ["안녕", "하세요"] 또는 ["안", "녕", "하", "세요"]로 나뉘는데, 어떻게 나누느냐에 따라 AI의 이해력이 달라진다.

  • 워드 임베딩: Word2Vec(분포 가설) → Sentence Transformers(RAG 최적화)

    "함께 자주 등장하는 단어는 비슷한 의미"라는 분포 가설에서 시작해, 이제는 문장 전체를 하나의 숫자 벡터로 변환하는 수준까지 발전했다. RAG의 검색 정확도를 좌우하는 핵심 기술이다.

  • 어텐션 메커니즘: RNN/LSTM 한계 극복, Query-Key-Value 구조 → Self-Attention

    긴 문서를 읽을 때 모든 단어를 똑같이 집중하지 않듯, 어텐션은 현재 처리 중인 단어와 관련된 다른 단어에 더 집중하는 메커니즘이다. 이 덕분에 AI가 긴 문맥도 이해할 수 있게 되었다.


P07 — 정보검색 (Information Retrieval)

TL;DR: 역색인(Inverted Index) + BM25가 핵심. RAG는 이 기술 위에 세워진다.

한 문장 요약

검색 엔진이 수십억 문서에서 원하는 정보를 찾아내는 핵심 원리다.

왜 이것이 필요한가

RAG의 'R'(Retrieval)이 바로 정보검색이다. BM25는 키워드 기반, 벡터 검색은 의미 기반인데, 실무에서는 둘을 결합한 하이브리드 검색이 최선이다.

이것을 이해하지 못하면 "왜 RAG가 가끔 엉뚱한 문서를 가져오는가"를 진단할 수 없다.

핵심 개념

  • 역색인: "단어 → 문서" 방향의 색인 — 검색의 핵심 자료구조

    책의 맨 뒤 "색인(Index)" 페이지와 같다. "머신러닝"이라는 단어가 1쪽, 15쪽, 42쪽에 나온다고 기록해두면, 이 단어를 검색할 때 전체 책을 읽지 않고도 즉시 찾을 수 있다.

  • TF-IDF와 BM25: 단어 빈도·역문서 빈도 기반 관련성 점수

    TF는 "이 문서에 그 단어가 얼마나 자주 나오는가", IDF는 "그 단어가 전체 문서에서 얼마나 희귀한가"를 측정한다. "the"는 어디나 있어서 가치가 낮고, "온톨로지"는 특정 문서에만 있어서 가치가 높다. BM25는 이를 개선한 실무 표준 알고리즘이다.

  • 하이브리드 검색: BM25(키워드) + 벡터(의미) 결합

    키워드 검색과 의미 검색을 함께 쓰는 방식이다. "자동차 수리"로 검색하면 BM25는 정확히 이 단어가 든 문서를, 벡터 검색은 "차량 정비"처럼 의미가 비슷한 문서도 찾아준다. 둘을 결합하면 정확도가 크게 올라간다.


P08 — 트랜스포머 (Transformer Architecture)

TL;DR: "Attention is All You Need" — BERT, GPT, Claude 등 모든 현대 LLM의 공통 뼈대.

한 문장 요약

ChatGPT, Claude 등 모든 현대 AI의 공통 뼈대가 되는 아키텍처다.

왜 이것이 필요한가

읽기 시험을 볼 때 핵심 문장에 형광펜을 치는 것처럼, 트랜스포머의 어텐션 메커니즘은 입력에서 가장 중요한 부분에 집중한다.

이 아키텍처 덕분에 AI가 긴 문서도 이해할 수 있게 되었고, GraphRAG의 엔티티 추출과 커뮤니티 요약도 이 트랜스포머 위에서 작동한다.

핵심 개념

  • Multi-Head Self-Attention: Attention(Q,K,V)=softmax(QKTdk)V

    문장에서 각 단어가 다른 모든 단어와 얼마나 관련되는지를 계산한다. "그 고양이가 매트 위에 앉았다"에서 "앉았다"를 처리할 때 "고양이"에 높은 관심을, "매트"에 중간 관심을, "그"에 낮은 관심을 배정하는 식이다. Multi-Head는 이런 관심을 여러 관점에서 동시에 계산하는 것이다.

  • 위치 인코딩: 순서 정보를 임베딩에 추가

    트랜스포머는 단어를 동시에(병렬로) 처리하므로 순서 정보가 사라진다. "개가 사람을 물었다"와 "사람이 개를 물었다"를 구분하려면 각 단어의 위치(몇 번째인지)를 별도로 알려줘야 한다.

  • BERT vs GPT: 양방향 인코더 vs 자기회귀 디코더

    BERT는 빈칸 채우기 시험처럼 앞뒤 문맥을 모두 보고 빈칸을 채우는 모델이고, GPT는 이야기를 이어쓰듯 앞의 단어들만 보고 다음 단어를 예측하는 모델이다. ChatGPT, Claude가 GPT 방식이다.


P09 — API 아키텍처 (API Architecture)

TL;DR: REST, 이벤트 드리븐, MCP(Model Context Protocol)

한 문장 요약

서로 다른 시스템이 대화하는 방법을 정의하는 통신 규약이다.

왜 이것이 필요한가

외부 도구를 호출할 수 없는 AI는 그냥 챗봇이다. API가 있어야 에이전트가 웹을 검색하고, DB를 쿼리하고, 행동을 취할 수 있다.

MCP(Model Context Protocol)는 이를 표준화한 것으로, USB가 기기 연결을 통일한 것처럼 에이전트-도구 통합을 통일한다.

핵심 개념

  • REST API: 자원 중심, HTTP 메서드, 상태 코드

    웹사이트 주소(URL)로 데이터를 주고받는 방식이다. 브라우저에서 주소를 입력하면 웹페이지가 오듯, 프로그램이 API 주소로 요청을 보내면 데이터가 온다. GET(조회), POST(생성), PUT(수정), DELETE(삭제) 4가지 동작이 기본이다.

  • 이벤트 드리븐: Pub/Sub, 비동기 통신, 느슨한 결합

    유튜브 구독과 같다. 채널(Publisher)이 영상을 올리면, 구독자(Subscriber)에게 자동 알림이 간다. 채널은 구독자가 누군지 몰라도 되고, 구독자는 알림이 올 때만 확인하면 된다. 이런 "느슨한 연결"이 대규모 시스템의 핵심이다.

  • MCP: Anthropic 발표, AI 에이전트-외부 시스템 표준 연결 프로토콜

    USB가 어떤 기기든 하나의 규격으로 연결하듯, MCP는 AI 에이전트가 어떤 외부 도구(DB, 웹, 파일 등)든 하나의 규격으로 연결할 수 있게 만드는 표준이다.

  • 팔란티어: Foundry(데이터) + AIP(AI) + Apollo(배포)

    팔란티어의 3층 구조다. Foundry가 데이터를 모으고 정리하고, AIP가 이 데이터 위에서 AI를 실행하고, Apollo가 만들어진 솔루션을 현장에 배포한다.

"하나의 기업 = 하나의 거대한 MCP 서버"


P10 — 보안 기초 (Security Fundamentals)

TL;DR: 인증(AuthN) + 인가(AuthZ) + 감사(Audit)

한 문장 요약

누가 무엇에 접근할 수 있는지를 제어하는 시스템의 면역 체계다.

왜 이것이 필요한가

접근제어 없는 AI 시스템은 위험하다. GraphRAG가 모든 문서를 탐색할 수 있다면 기밀 정보가 누출된다.

ReBAC는 접근제어를 온톨로지 그래프 위에 직접 표현하여, 검색 구조와 보안 구조를 하나로 통합한다. 이것이 "온톨로지 = 검색 구조 = 접근제어 구조"라는 핵심 통찰의 기초다.

핵심 개념

  • 인증·인가: OAuth 2.0, JWT

    인증(Authentication)은 "당신이 누구인가?"(신분증 확인), 인가(Authorization)는 "당신이 이것을 할 수 있는가?"(입장 권한 확인)다. OAuth는 "구글로 로그인" 같은 위임 인증, JWT는 암호화된 출입증이다.

  • 접근 제어 진화: RBAC → ABAC → ReBAC(관계 기반)

    RBAC는 "관리자/일반 사용자" 같은 역할별 권한 부여, ABAC는 "근무시간에만 접근 가능" 같은 조건 추가, ReBAC는 "이 문서의 작성자의 팀원만 접근 가능" 같은 관계 기반 제어다. 갈수록 더 세밀하고 유연해진다.

  • Zero Trust: 경계가 사라진 시대의 기본값

    "회사 네트워크 안에 있으면 안전하다"는 가정을 버리고, 모든 접근을 매번 검증하는 보안 모델이다. 재택근무와 클라우드가 보편화되면서 사실상 필수가 되었다.

  • GraphRAG + ReBAC: 문서 노드 간 관계(그래프 엣지)로 접근 권한 제어

    GraphRAG가 문서를 그래프로 연결하는데, 이 그래프 위에 ReBAC 권한도 함께 표현한다. "검색 구조 = 보안 구조"가 되어, 사용자는 자신이 볼 수 있는 문서만 검색 결과에 나타난다.


이해도 점검

Tier -1 순수기초 퀴즈

Q1. 벡터 임베딩에서 두 벡터의 의미적 유사도를 측정하는 가장 일반적인 방법은?

Q2. Transformer 아키텍처의 핵심 혁신은 CNN을 대체한 것이다.

Q3. Polyglot Persistence란?

Q4. 그래프에서 BFS(너비 우선 탐색)의 핵심 특성은?

Q5. TF-IDF는 단어의 문서 내 빈도와 전체 코퍼스에서의 희소성을 결합한 가중치다.