로브 (Lovv) 테스트 계획서

문서 버전: v0.2

문서 상태: 초안 (Draft)

작성일: 2026-06-23

문서 성격: 대표 Markdown

기준 문서: ../01_requirements/01_requirements.md, ../05_agent_spec/05_agent_spec.md, ../06_technical_spec/06_technical_spec.md, ../07_api_spec/07_api_spec.md, ../11_deployment_ops/11_deployment_ops.md

1. 문서 목적

이 문서는 Lovv 전체 테스트 범위를 대표 문서에서 관리하기 위한 상위 계획서다. 현재 확정된 검증 산출물은 Candidate Evidence Agent 검색 평가이며, Planner 일정 생성, Festival Verifier, API E2E, 배포·운영 검증은 후속 계획 범위로 둔다.

docs/10_test_plan/의 보조 Markdown은 개별 평가 계획과 결과 보고서로 관리한다. 보조 문서의 범위가 전체 시스템 테스트 기준으로 승격되면 이 대표 문서에 요약 반영한다.

2. 테스트 범위

3. 현재 반영된 평가 산출물

Candidate Evidence 평가는 도시 선정, 관광지·음식점 후보 검색, scoring, quota, fallback, audit 구조를 검증한다. Planner 일정 품질, Festival 검증, LangGraph 전체 trajectory, API E2E는 해당 평가의 범위 밖이다.

4. 공통 검증 원칙

• 테스트 범위는 요구사항 ID, Agent 입출력, API 계약, 데이터 모델과 연결한다.
• 부분 평가 문서는 전체 시스템 합격으로 해석하지 않는다.
• 실행 결과는 통과·실패 수치뿐 아니라 범위, 제외 항목, 해석 한계를 함께 기록한다.
• LLM judge나 합성 fixture를 사용하는 경우 실제 사용자 검증을 대체하지 않는다고 명시한다.
• 성능, 비용, observability 항목은 기술 명세서와 배포·운영 문서의 기준을 따른다.
• 관리자 보안 테스트는 role 인증, MFA 세션, 고위험 승인 트랜잭션, 감사 로그를 분리해 기록한다. 일반 admin 읽기·목록 경로는 MFA 없이 role 인증만 요구하는지 별도 확인한다.
• opt-in 실DB 통합 테스트는 일반 unittest와 구분한다. RUN_ADMIN_DB_INTEGRATION=1 또는 RUN_RDS_DATA_API_INTEGRATION=1을 켜지 않았다면 실행 완료로 기록하지 않는다.

4.1 관리자 MFA·고위험 승인 검증 명령

BE 일반 테스트:

$env:PYTHONPATH='src'
        python -m unittest

BE 고위험/MFA 핵심 테스트:

python -m unittest tests.test_admin_high_risk_app
        python -m unittest tests.test_admin_mfa_app.AdminMfaAppTest.test_admin_read_routes_need_role_only_and_mfa_status_is_accessible

admin_web 검증:

npm.cmd run lint
        npm.cmd test
        npm.cmd run build

opt-in 실DB 통합 테스트:

$env:RUN_ADMIN_DB_INTEGRATION='1'
        $env:RUN_RDS_DATA_API_INTEGRATION='1'
        python -m unittest

위 opt-in 테스트는 실제 DB 연결·자격 증명·격리된 테스트 데이터가 준비된 경우에만 실행한다. 문서 작업 또는 일반 unittest 실행만으로는 완료 처리하지 않는다.

5. 후속 작성 항목

6. 변경 이력