# 우리가 우리 백테스트에 속은 이야기 — 사후 선택된 테마 슬리브 부검
- 출처: FoldAlpha 리서치 (https://app.foldalpha.com/research/backtest-self-deception) · 게시: 2026-09-01 · 시리즈: 통념 검증 9

이 시리즈는 남의 통념만 부검하지 않는다. 이번 편은 우리가 운용하는 시스템이
우리 자신의 백테스트에 속았던 과정과, 그것을 발견해 도려낸 기록이다.

## 무슨 일이 있었나

2026년 5월, 운용 중이던 한국 주식 월간 전략이 그 달의 주도주(반도체·디스플레이 급등)를 전부 놓쳤다.
실패 리뷰에서 "특정 테마 섹터 10종에 포트폴리오의 30%를 배정하는 슬리브"가 설계됐고,
12년(2014~2026) 백테스트에서 이런 개선을 보였다:

| | 총수익 (12년) | IR |
|---|---|---|
| 슬리브 없음 | 688.8% | 0.40 |
| **테마 슬리브 추가** | **961.3%** | **0.51** |

+272%p. 6월부터 실전 배치됐다.

## 3개월 뒤, 부검에서 발견된 것

**① 섹터 리스트가 사후 선택이었다.** 리뷰 문서에 근거가 그대로 남아 있었다:
5월에 오른 종목들을 먼저 분석한 뒤, "이 슬리브였으면 5월 주도주를 잡았을 것"이라며
그 섹터들로 리스트를 만들고 — **그 5월이 포함된 기간으로** 백테스트했다.

**② 12년 개선분의 실체는 사실상 1년이었다.** 슬리브 기여를 연도별로 분해하면:

| 구간 | 슬리브 기여 |
|---|---|
| 2014~2017 | 0% — 슬리브가 아예 발동하지 않음 (0/44개월) |
| 2018~2022 | 합산 음수 (2022년 한 해 -17.0%) |
| **2023** | **+52.8%** |
| 2024~2025 | -14.1% |
| 2026 (4개월) | +16.1% |

"12년 검증"의 실체는 2023년 반도체 붐 한 해 + 2026년 초였다. 사후에 고른 테크 섹터가
표본 안에서 자기 붐을 만난 것뿐이다. 여기에 여러 파라미터 변형 중 최고 성과를 채택하는
다중검정까지 겹쳐 있었다.

**③ 유일한 진짜 표본 밖 검증 = 실전 3개월.** 테마 슬리브의 KOSPI 대비 성과:
6월 +14.1%p, 7월 **-16.3%p**, 8월 -5.2%p — 누적 약 -9%p.

## 슬리브는 제거됐다

발견 당일 제거를 결정했다. 근거는 실전 3개월의 부진이 아니라(3개월은 아무것도 증명하지 못한다)
**채택 근거 자체가 무효라는 발견**이었다. 성과가 좋았더라도 같은 결정이 맞았을 것이다.

## 이 사례가 말하는 것

- 백테스트에서 가장 위험한 오류는 코드 버그가 아니라 **연구자의 기억**이다. 최근에 본 것을 잡도록 전략을 설계하면, 백테스트는 반드시 그것을 "검증"해준다
- 장기 백테스트일수록 **기여의 시간 분포**를 봐야 한다. 총수익이 한 구간에 몰려 있으면 그것은 12년의 증거가 아니라 1년의 증거다
- 전략 채택 문서에 "왜 이 설계인가"의 경위를 남겨두면, 나중에 자신을 부검할 수 있다. 이번 발견이 가능했던 이유다

## 데이터 출처

- 자체 운용 시스템의 백테스트 아티팩트와 실전 리밸런싱 기록 (2026-05 ~ 2026-09)

---
본 글은 과거 데이터에 대한 검증 결과를 기록한 참고 정보이며, 투자 자문이나 특정 종목의 매매 권유가 아닙니다. 과거의 검증 결과가 미래의 수익을 보장하지 않습니다.