LightGBM이 표 형태의 금융 데이터에서 강한 이유와 투자 예측을 공정하게 검증하는 방법을 설명한다.
복잡한 AI가 졌다고?
“신경망 버전이 LightGBM 버전을 이기지 못했습니다.” 계산을 여러 층으로 쌓은 쪽이 아니라 작은 나무들을 모아 놓은 쪽이 우승했다니, 좀 어이없을 만큼 의외다. 컴퓨터 팬은 열심히 돌았지만 소음에는 가산점이 없다.
원래 문장에는 자료와 점수가 없어 해당 결과를 별도로 확인할 수 없다. 다만 표에 들어 있는 숫자에서는 나무 기반 방식이 강하다는 연구 결과가 있다.[1][2]
LightGBM은 무엇을 할까?
LightGBM은 과거 사례를 익혀 새로운 결과를 예측하는 방법의 이름이다. 대표적인 논문은 2017년에 발표됐다.[3]
회사의 이익 증가율, 거래량 급증, 회사 규모, 이후 주가를 표에 적었다고 하자. 작은 나무 하나는 “이익이 기준보다 많이 늘었나?”라고 묻는다. 다음 나무는 이전 예측이 틀리기 쉬운 부분을 보완한다. 작은 수정이 모여 최종 예측을 만든다.
나무 하나는 단순해도 숲 전체는 강하다. 천재 한 명보다 실수를 계속 고쳐 주는 팀에 가깝다.
왜 신경망보다 잘할까?
금융 숫자에는 갑자기 튀는 값, 별 도움이 안 되는 항목, 특정 기준을 넘어서야 생기는 규칙이 섞여 있다. 나무 방식은 기준으로 나누는 데 강하다.
2022년 연구에서는 중간 규모의 표 자료에서 나무 방식이 좋은 성능을 보였다.[1] 2023년 연구는 방식의 종류보다 설정을 제대로 조절하는 것이 더 중요한 경우도 많다고 설명했다.[2]
팬 소리가 비행기 같다고 예측까지 정확해지지는 않는다.
항상 나무가 이길까?
2025년 대규모 비교에서는 학습 시간을 더 쓰거나 여러 예측을 합치면 신경망이 따라잡는 경우도 있었다.[4] 사진을 이해하는 일과 회사 실적표를 읽는 일은 다르다.
주식에 쓰기 전 검사할 점
두 방식에는 예측하는 시점에 공개된 정보만 넣어야 한다. 발표 전 날짜를 예측하면서 나중에 나온 실적을 쓰면 미래의 신문을 훔쳐본 셈이다.
과거부터 미래 순서로 시험하고 수수료, 실제 거래 가격의 차이, 큰 손실까지 비교해야 한다. 상승을 맞히는 것과 거래 후 돈을 버는 것은 다르다.
결론
신경망이 LightGBM에 지는 일은 이상하지 않다. 2017년의 방식도 맞는 일에서는 여전히 강하다. 작은 나무들의 팀플레이를 무시하면 안 된다.
- Grinsztajn, Oyallon & Varoquaux (2022), “Why do tree-based models still outperform deep learning on typical tabular data? papers.nips.cc
- McElfresh et al. (2023), “When Do Neural Nets Outperform Boosted Trees on Tabular Data? proceedings.neurips.cc
- Ke et al. (2017), “LightGBM: A Highly Efficient Gradient Boosting Decision Tree. proceedings.neurips.cc
- Erickson et al. (2025), “TabArena: A Living Benchmark for Machine Learning on Tabular Data. proceedings.nips.cc
