무황이의 공부일지

본문 바로가기

Langchain

RAG 성능 평가 방법 RAG는 Input>Retrieval >Generation 단계로 구성되며 정확한 성능 평가는 두가지 핵심 축으로 나뉜다Retrieval 품질 : 질문에 맞는 문서를 잘 찾았는가Generation 품질 : 문서를 기반으로 답변을 잘 생성했는가수동 평가의 한계사람이 직접 수백개의 데이터를 만드는 것은 많은 시간 및 노동 필요하다또한 도메인 복잡도가 올라갈수록 정답 문잭을 정확히 설정하기 어렵다평가 일관성도 유지하기 어렵고, 모델별 버전 비교가 어렵다RAGASRAG 품질을 자동으로 정량 평가하기 위한 프레임워크합성 데이터셋 생성 및 자동 스코어링 기능을 제공한다주요 평가 지표Context Recall : 검색된 context가 생성된 답변과 얼마나 일치하는지Context Precision : 검색 문서들 중.. 댓글 1 2025.11.12
밀도가 높은 문서 요약 방법 우리가 흔히 GPT와 같은 LLM에게 “요약해줘”라고 요청하는 것은 밀도가 낮은 요약(low-density summarization)에 해당한다.이를 밀도가 높은 요약(high-density summarization)으로 만들기 위해서는 다음과 같은 접근이 필요하다. 문서요약 방법은 다음과 같다 Stuff : 전체 문서 한번에 요약문서 체인 중 가장 간단한 방법이다문서 목록을 가져와서 모두 프롬프트에 삽입한 다음 그 프롬프트를 LLM에 전달한다체인은 문서가 작고 대부분의 호출에 몇개만 전달되는 어플리케이션에 적합하다Map-Reduce : 분할 요약 후 일괄 병합문서를 작은 청크로 나누는 map 단계와 각 chunk 요약을 결합하는 reduce 단계로 구성대규모 문서를 처리할때 유용, 언어 모델의 토큰 제.. 댓글 0 2025.11.03
ReRanker 두 단계 검색 시스템에서 사용되는 컴포넌트첫번째 단계로 Retriever 가 찾아낸 문서의 순위를 재조정하는 역할주로 트랜스포머 기반 모델을 사용하고 교차 인코더 구조를 채택한다작동원리retriever로부터 초기 검색을 입력으로 받음쿼리(질문)과 각 후보 문서를 쌍으로 결합해서 처리복잡한 모델을 사용하여 각 쿼리-문서 쌍의 관련성 평가평가 결과에 따라 문서들의 순위 재조정최종적으로 재순위화된 결과 출력학습 방법1. 개별 쿼리-문서 쌍의 관련성 점수 예측2. 두 문서 간의 상대적 관련성 비교3. 전체 순위 목록을 한번에 최적화 retriever와 차이점- retriever단일 인코더, 연산 복잡도가 낮음, 우선순위가 속도, 후보 문서 대규모 집합, - rerank교차 인코더, 연산 복잡도가 높음, 우선순위.. 댓글 0 2025.10.31
Retriever Retriever란RAG 시스템에서 사용자의 질문과 관련된 문서를 벡터 데이터베이스(VectorStore) 로부터 신속하고 정확하게 문서를 찾아내는 역할을 한다이 과정은 RAG 시스템의 전반적인 성능을 결정짓는 단계이므로 정확한 정보 검색 -> 응답 품질 -> 사용자 경험으로 이어지는 전체 흐름에 직접적인 영향을 미친다상황에 따라 Sparse, Dense, Ensemble, Contextual 등 다양한 방식을 적절하게 조합하여 최적화하는 것이 중요하다 Retriever의 필요성1. 정확한 정보 제공사용자의 질문과 가장 관련성 높은 문서를 검색하여 신뢰할 수 있는 컨텍스트를 기반으로 LLM이 답변을 생성하도록 유도한다검색 품질이 낮을 경우 모델이 비관련 문서를 참고하여 할루시네이션 문제가 발생할 수도 있.. 댓글 1 2025.10.20
VectorDB VectorDB란텍스트를 수치(벡터)로 저장하고 의미 기반으로 검색할 수 있는 데이터베이스VectorDB는 텍스트나 이미지를 임베딩(embedding) 모델을 통해 의미를 반영한 고차원 벡터(n-dimensional vector)로 변환해 저장이 벡터 간의 거리를 계산해 문맥적으로 유사한 문서를 찾을 수 있다.저장 공간(로컬/클라우드)에 따른 성능 차이는 직접적이지 않으며, 실제 성능은 검색 알고리즘(인덱싱 구조) 에 따라 달라진다.기존 DB와의 차이점기존 DB는 단어(키워드) 단위의 저차원 인덱스 구조로 되어 있어,단어가 같지만 문맥이 다른 경우에도 동일한 결과로 인식하는 한계가 있었다.반면 VectorDB는 텍스트를 임베딩 모델로 의미 기반 고차원 벡터로 변환하여 문맥적으로 유사한 문서를 검색할 수 .. 댓글 0 2025.10.13

AI 개념 공부 (ML/DL)

티스토리툴바