기술노트

pgvector, Pinecone, Qdrant, Milvus를 운영 부담·비용·메타데이터 필터링·확장성 기준으로 비교한다. 수백만 벡터까지는 pgvector로 충분한 이유와, 언제 전용 벡터 DB로 넘어가야 하는지 실무 관점에서 정리했다.

파인튜닝, RAG, 프롬프트 엔지니어링을 비용·데이터·최신성·정확도 네 축으로 비교한다. 어떤 상황에서 무엇을 골라야 하는지 의사결정 플로우와 셋을 섞는 하이브리드 전략, 그리고 내가 직접 데인 실제 실패 사례와 교훈까지 정리했다.

프롬프트 한 줄 튜닝을 넘어, 컨텍스트 윈도우를 고정 예산으로 보고 설계하는 법을 정리한다. RAG 청킹 전략과 오버랩, 임베딩·리트리벌·재순위, 컨텍스트 압축과 요약, lost in the middle 문제, 도구·메모리 배치, 프롬프트 캐싱, 평가까지 실전 코드로 다룬다.

컨텍스트 윈도우만으론 왜 부족한가. 단기·장기 기억, 메모리 4유형, 벡터·요약·지식그래프, 저장·회수·망각과 반영, MemGPT식 계층 메모리, 실무 함정까지 2026년 관점으로 정리한다.

PostgreSQL 안에서 임베딩 유사도 검색을 하는 pgvector. 거리 연산자 선택, HNSW 인덱스, 하이브리드·필터 검색까지 실전 관점으로 정리했습니다.

문서에서 엔티티와 관계를 뽑아 지식 그래프로 만드는 GraphRAG. 일반 RAG가 막히는 다중 홉·전역 질문을 로컬/글로벌 검색으로 푸는 원리와 비용 트레이드오프.

프롬프트 문장이 아니라 컨텍스트 윈도우에 무엇을·얼마나·어떤 순서로 넣을지 설계하는 컨텍스트 엔지니어링. 토큰 예산 함수, 롤링 요약, 캐시 정렬까지 실전 정리.

긴 컨텍스트 관리 — lost in the middle 현상, 가지치기·요약 압축·외부 메모리, 중요한 문서의 배치 전략, 현재 시각 하나로 무너지는 프롬프트 캐시 함정까지. 창이 크다고 다 넣으면 왜 안 되는지 실전으로 정리했다.

임베딩 실전 — L2 정규화와 코사인·내적을 헷갈리면 검색이 조용히 망가진다. Matryoshka 차원 축소, 질의·문서 비대칭 임베딩, 모델 교체 시 전체 재색인까지 벡터 검색 품질을 좌우하는 설정들을 실수 사례와 함께 정리했다.

pgvector의 두 벡터 인덱스 HNSW와 IVFFlat을 리콜·속도·메모리·증분 갱신 관점으로 비교. 파라미터 튜닝과 필터 조합 함정까지 RAG 실무 기준으로 정리했다.

Recall@k·MRR·nDCG로 검색 단계를, faithfulness로 생성 단계를 재는 RAG 평가지표를 정리했다. 소규모 평가셋 만들기부터 지표를 층으로 나눠 검색이 문제인지 프롬프트가 문제인지 원인을 갈라내는 실전 진단법까지 담았다.

BM25 키워드 검색과 임베딩 벡터 검색을 RRF로 합치는 하이브리드 검색을 다룬다. 점수 스케일이 달라 그냥 더하면 안 되는 이유, 순위 융합으로 푸는 법, 한국어 형태소 토크나이징 주의점, 리랭커와의 조합 순서까지 실전으로 정리했다.