기상 예측에서 확률 예보는 필수적이다. 대기 역학은 비선형이고 관측은 부분적이라, 아무리 좋은 모델도 단일 결정론적 예측으로는 이로 인한 불확실성을 고려하기 어렵다. 의사결정자는 가장 그럴듯한 시나리오뿐 아니라 위험한 꼬리 시나리오(극한 폭풍 등)까지 알아야 한다.
ML 확률 예측의 분수령은 GenCast였다. ECMWF의 운영 앙상블 ENS를 고해상도에서 처음으로 분명하게 추월한 ML 모델이다. 다만 GenCast는 diffusion 모델이라, 한 timestep을 만들기 위해 반복적 denoising을 돌아야 해서 다른 ML 모델 대비 느리고, dense gridded data 바깥으로 확장하기에 유연하지 않았다.
FGN은 더 빠르고 더 정확한 확률 모델을 같은 GNN+graph-transformer 백본 위에서 전혀 다른 생성 방식으로 앙상블을 만들어낸다.
목표는 표준적이다. 직전 두 스텝을 조건으로 다음 스텝의 분포에서 샘플링하는 2차 마르코프 분해다.
\[p(X^{1:T} \mid X^0, X^{-1}) = \prod_{t=1}^{T} p\big(X^t \mid X^{t-2:t-1}\big)\]각 상태 $X^t$ 는 6개 대기 변수 × 13개 기압면 + 6개 지표 변수를 0.25° 격자 위에 담는다. 6시간 timestep으로 15일 예측을 타깃한다. 앙상블은 이 autoregressive 샘플링을 여러 번 반복해 만든다.
여기까지는 GenCast와 동일하다. 차이는 “한 스텝의 분포에서 어떻게 샘플을 뽑느냐” 에 있다.
FGN은 불확실성을 두 종류로 깔끔하게 분리한다.
모델 자체에 대한 불확실성(유한한 데이터·불완전한 학습)이다. 이는 deep ensemble(혹은 random seed ensemble)로 처리한다. 독립적으로 초기화·학습한 모델 $J=4$ 개를 두고, 각 모델이 앙상블 멤버의 일부를 생성한다. 베이즈 사후예측분포
\[p(X^{1:T}\mid X^{\leq 0}, \mathcal{D}) = \int p(X^{1:T}\mid X^{\leq 0}, \mathcal{M}),p(\mathcal{M}\mid\mathcal{D}),d\mathcal{M}\]를 4개 시드로 근사하는 셈이다.
진짜 새로운 부분은 여기다. 미해상(unresolved) 현상에서 오는 환원 불가능한 randomness를, FGN은 신경망 파라미터를 샘플링해서 표현한다.
\[X_i^t = f_{\theta_i^t}(X^{t-2:t-1}), \qquad \theta_i^t \sim \mathcal{P}_\mathcal{M}(\theta)\]즉 앙상블 멤버 $i$ 마다, timestep $t$ 마다 서로 다른 신경망을 뽑아서 예측을 만든다. 이게 “Functional” Generative Network라는 이름의 출처다. 노이즈를 입력 필드나 출력 필드에 더하는 대신, 함수 그 자체를 확률변수로 본다.
왜 이게 더 나은가? Alet(2022)의 논거를 빌리면, 파라미터 공간의 변동은 입력·출력 공간의 변동보다 더 구조화된(structured) 변화를 만든다. 파라미터를 공유하는 레이어(예: 공간 차원에 걸쳐 같은 가중치를 쓰는 conv/GNN)에서는, 샘플링된 파라미터가 모든 공간 위치에 일관되게 재사용되기 때문이다. 이것이 뒤에서 다룰 “marginal → joint” 마법의 토대다. 수치 모델의 stochastic physics(파라미터를 흔들어 앙상블을 만드는 기법)와 직접적으로 닮아 있다.
파라미터 분포 $\mathcal{P}_\mathcal{M}(\theta)$ 는 잘 알려진 reparameterization trick으로 학습한다.
\[\theta = \theta^* + \Delta \cdot \epsilon, \qquad \epsilon \sim \mathcal{N}(0, I)\]추론 시에는 두 불확실성을 조합한다. 먼저 4개 모델 중 하나 $\mathcal{M}_j$ 를 뽑고(epistemic), 그 안에서 $\epsilon_i^t$ 를 뽑아(aleatoric)
\[\theta_i^t = \theta_j^* + \Delta_j \cdot \epsilon_i^t\]를 만든다.
이론은 “파라미터를 샘플링한다”지만, 180M 파라미터를 통째로 샘플링하진 않는다. FGN의 영리한 구현 선택은 conditional layer normalization을 perturbation 통로로 재활용하는 것이다.
GenCast에서 conditional norm은 diffusion noise level $\sigma$ 를 조건으로 주입하는 데 쓰였다. FGN은 같은 메커니즘을 다르게 쓴다.
전역 노이즈 벡터 $z \sim \mathcal{N}(0,1)^{32}$ 를 네트워크의 모든 conditional layer-norm 레이어에 흘려보낸다. 앙상블 멤버마다 다른 $z$ 를 뽑는 것이, 곧 앙상블의 분산을 만드는 유일한 원천이다.
이 설계의 두 가지 특징이 핵심이다.
두 특징이 합쳐지면, 모델은 공간적으로 제멋대로인 노이즈를 만들 수 없게 된다. 변동을 주려면 전 지구에 걸쳐 일관된 방식으로 줄 수밖에 없다. 바로 이 제약이 다음 절의 마법을 가능케 한다.
참고로 AIFS-CRPS(Lang et al., 2024)도 conditional norm으로 확률성을 주입하지만, 위치별(location-specific) 조건을 써서 고주파 공간 성분을 더한다. FGN은 의도적으로 반대 방향, 즉 전역·저주파·일관성을 택했다.
FGN은 fair CRPS(fCRPS) 를 손실로 쓴다.
\[\text{fCRPS}(x^{1:N}, y) := \frac{1}{N}\sum_n |x^n - y| - \frac{1}{2N(N-1)}\sum_{n,n'}|x^n - x^{n'}|\]학습 시에는 $N=2$ 샘플만으로, 모든 위치·변수·기압면에 대해 평균한다. CRPS는 단변량(univariate) 분포에 대해서만 strictly proper scoring rule이다. 즉, FGN의 손실은 각 격자점의 marginal 분포만 제약한다.
여기서 자연스러운 의문이 생긴다.
marginal만 맞추면, 공간 상관구조(joint)는 엉망이어도 손실이 0이 될 수 있지 않나? 각 픽셀이 독립적으로 옳은 분포를 내놓으면서 서로 아무 상관이 없는, 물리적으로 말이 안 되는 앙상블도 marginal 점수는 만점이다.
FGN의 답은 “우리 아키텍처는 그런 앙상블을 만들 수 없다” 이다. 유일한 randomness 원천이 32차원 전역 $z$ 이고, 그게 공간 공유된 conditional norm을 통해서만 들어가므로, 픽셀별 독립 노이즈는 구조적으로 불가능하다. 모델이 marginal CRPS를 낮추려고 변동을 만들면, 그 변동은 어쩔 수 없이 전 지구에 걸쳐 일관된 — 즉 그럴듯한 joint 구조를 가진 — 형태가 된다.
정리하면 이렇다.
\[\underbrace{\text{marginal-only 손실 (최적화 쉬움)}}*{\text{fCRPS}} ;+; \underbrace{\text{저차원·전역 파라미터 노이즈 (강한 inductive bias)}}*{\text{conditional LN, } z\in\mathbb{R}^{32}} ;\Longrightarrow; \text{skillful joint}\]고차원에서 joint를 직접 학습하는 건 어렵고 비싸다. FGN은 그 어려운 목적함수를 쉬운 marginal 손실 + 영리한 inductive bias로 우회한다. joint 구조는 따로 학습한 게 아니라 제약에서 “공짜로” 떨어진다. 이게 논문 전체를 관통하는 한 방이다.
GenCast denoiser와 거의 동일한 구조다. lat/lon 격자를 GNN encoder로 6번 정련한 구면 정이십면체 mesh의 latent 공간으로 보내고, 그 노드 위에서 graph-transformer processor가 작동한 뒤, decoder로 되돌린다.
| GenCast | FGN | |
|---|---|---|
| 생성 방식 | diffusion (반복 denoising) | single forward pass |
| 파라미터 | ~57M (전체) | ~180M (시드당) × 4 시드 |
| latent dim | 512 | 768 |
| processor layers | 16 | 24 |
| timestep | 12h | 6h |
| noise 주입 | diffusion $\sigma$ | 32-dim $z$ → conditional LN |
| 학습 손실 | diffusion (joint 직접) | marginal fCRPS |
FGN은 먼저 single-step 손실로 학습한 뒤, 마지막 단계에서 AR rollout finetuning을 한다. 매 학습 스텝에서 모델이 여러 스텝을 autoregressive하게 굴리고, 손실을 전체 rollout에 평균하며, gradient를 rollout 전체로 역전파한다. rollout은 최대 8 스텝까지. FGN 규모(180M×4, 0.25°)에서 8 스텝이라는 숫자는, BPTT의 메모리 한계가 어디쯤인지를 보여주는 실측치이기도 하다. 흥미논문은 AR 학습이 도움은 되지만 필수는 아니라고 못 박는다 — AR 없이도 skillful joint가 나온다는 것. joint 구조의 공로가 AR rollout이 아니라 §5의 inductive bias에 있음을 강조하는 대목이다.
ERA5로 사전학습(2016년 단일 NWP 기반의 대규모 재분석), HRES-fc0로 미세조정(2016~현재 운영 NWP 분석, 실시간 가용). 2022년을 검증, 2023년을 테스트로 동결 평가했다.
데이터 기반 기상·기후 모델은 대부분 autoregressive(AR) 구조다. 모델 $f_\theta$ 는 한 시점의 상태 $x_t$ 를 받아 다음 시점 $x_{t+1}$ 을 예측하고, 예측을 다시 입력으로 넣어 미래로 굴러간다.
\[\hat{x}*{t+k} = \underbrace{f*\theta \circ f_\theta \circ \cdots \circ f_\theta}_{k\ \text{회}}(x_t)\]문제는 학습과 추론의 불일치다. 가장 단순한 학습 방식인 single-step teacher forcing은 항상 정답 상태 $x_t^{\text{true}}$ 를 입력으로 받아 one-step loss만 최소화한다.
\[\mathcal{L}*{\text{1-step}} = \big| f*\theta(x_t^{\text{true}}) - x_{t+1}^{\text{true}} \big|\]하지만 추론 시에는 모델이 자기 자신의 (조금씩 틀린) 출력을 입력으로 받는다. 모델은 한 번도 본 적 없는 분포의 입력을 마주하게 되고, 그 위에서 다시 예측하면서 오차가 누적된다. 결과적으로 스펙트럼이 뭉개지거나(blurring), 며칠 뒤 롤아웃이 발산하는 현상이 나타난다. 이 distribution shift가 AR 모델 불안정성의 핵심이다.
Multi-step rollout 학습의 목표는 한 문장으로 요약된다.
학습 중에 모델이 자기 자신의 출력 분포를 미리 경험하게 만들어, 추론 시 분포와 학습 시 분포를 맞춘다.
이 목표를 어떻게 구현하느냐에 따라 전략이 갈린다. 핵심 축은 세 가지다.
이제 세 전략을 이 축들 위에서 비교해 보자.
가장 직관적인 방법이다. 모델을 $K$ step 펼쳐서(unroll) 전체 롤아웃을 하나의 계산 그래프로 만들고, 각 step의 loss를 합한 뒤 전체 그래프를 거슬러 backprop한다.
x = x0
loss = 0.0
for k in range(1, K + 1):
x = f_theta(x) # 그래프에 그대로 유지
loss += criterion(x, target[k])
loss.backward() # K step 전체를 거슬러 미분
gradient가 롤아웃 전체를 본다는 게 결정적 장점이다. 모델은 “지금 이 예측이 몇 step 뒤 loss에 어떤 영향을 주는가”까지 고려해서 파라미터를 갱신한다. 즉, 미래까지 안정적으로 굴러가는 표현을 직접 학습한다. multi-step 신호의 품질 면에서는 사실상 gold standard다.
대신 대가가 크다.
GraphCast는 처음부터 긴 롤아웃으로 학습하지 않는다. curriculum 방식으로, 1 step부터 시작해 롤아웃 길이를 점진적으로 늘려 가며(최종적으로 12 step 수준까지) 짧은 fine-tuning 단계를 거친다. BPTT의 메모리·안정성 한계를 curriculum과 checkpointing으로 우회한 전형적인 예다.
요약: gradient 신호는 가장 풍부하지만 메모리 $O(K)$ 와 gradient 불안정 때문에 긴 horizon으로 확장하기 어렵다.
BPTT의 메모리 문제는 “전체 롤아웃을 그래프에 올린다”는 데서 온다. Replay buffer는 발상을 뒤집는다.
그래프에는 딱 한 step만 올린다. 대신, 입력 상태 자체를 모델이 이미 여러 번 굴려 만든 예측으로 채워서 distribution shift를 흉내 낸다.
이는 Brandstetter et al.(2022)의 pushforward trick과 강화학습의 replay buffer 개념을 결합한 형태다. 버퍼에는 다양한 롤아웃 깊이(depth)의 예측 상태들이 쌓여 있다. 매 iteration마다 버퍼에서 상태 하나를 뽑아 한 step만 전진시키고, 그 한 step에 대해서만 backprop한 뒤(입력에는 stop-gradient), 새로 만든 예측을 다시 버퍼에 밀어넣는다.
buffer.init_from_data() # depth 0 상태들로 초기화
for it in range(num_iters):
x, depth = buffer.sample() # 과거에 만들어진 예측 상태
x_next = f_theta(x) # 단 1 step만 그래프에 올림
loss = criterion(x_next, target[depth + 1])
loss.backward() # 1-step gradient (x는 detach 상태)
if depth + 1 < max_depth:
buffer.push(x_next.detach(), depth + 1) # 한 step 더 깊은 상태로 재투입
else:
buffer.push(sample_fresh_data(), 0) # 깊이 한계 도달 시 리셋
버퍼에 한 번 들어간 상태는 다음에 뽑힐 때 또 한 step 깊어지므로, 시간이 지나면 임의의 깊이까지 도달한다. 매 update의 메모리는 항상 1 step 수준으로 일정하다.
하지만 두 가지 본질적 약점이 있다.
요약: 메모리 상수로 깊은 horizon을 커버하지만, 버퍼 상태가 stale(off-policy)하고 저장공간·깊이 제어가 까다롭다.
Replay buffer의 가장 큰 흠은 staleness였다. 그렇다면 버퍼를 영구히 들고 가지 말고, 매번 현재 파라미터로 즉석에서 롤아웃을 만들면 되지 않을까? 이것이 online replay buffer의 발상이다.
매 iteration마다 정답 상태에서 출발해 현재 모델로 $k-1$ step을 no_grad로 굴리고(그래프에 안 올림), 마지막 한 step만 그래프에 올려 backprop한다.
for it in range(num_iters):
x = sample_fresh_data()
k = sample_rollout_depth() # 예: 1..K 중 랜덤
with torch.no_grad(): # 현재 가중치, 그래프 X
for _ in range(k - 1):
x = f_theta(x)
x_next = f_theta(x) # 마지막 1 step만 그래프에 올림
loss = criterion(x_next, target[k])
loss.backward() # 1-step gradient
여기서 “버퍼”는 영구 저장소가 아니라 매 step 새로 생성되고 버려지는 임시적 개념이다. 사실상 pushforward trick을 임의 깊이 $k$ 로 일반화한 형태로 볼 수 있다.
no_grad 구간은 activation을 저장하지 않으니, 그래프 메모리는 BPTT와 달리 $k$ 와 무관하게 작다.대신 trade-off는 연산이다. 매 iteration마다 $k-1$ 번의 forward(비록 no_grad라 가볍지만)를 새로 돌려야 한다. 깊은 $k$ 를 자주 뽑으면 RB처럼 한 번 만든 상태를 재사용하지 못하고 매번 다시 굴리는 비용이 든다.
요약: 매 step 현재 모델로 롤아웃을 즉석 생성 → on-policy + 저장공간 0 + 깊이 직접 제어. 대가는 매 iteration의 추가 forward 연산.
이 전략이 단순한 학습 트릭을 넘어 결합(coupled) Earth system 모델의 안정성에 직접 기여한 사례가 COAF(Coupled Ocean-Atmosphere Framework, Chen et al., 2025)다. COAF는 사전학습된 대기·해양 모델을 spectral transformation 기반 coupler로 동적으로 결합하는 구조인데, 두 가지 핵심 기여 중 하나로 바로 online replay buffer 메커니즘을 내세운다.
결합 모델에서 대기와 해양은 시간 스케일이 크게 다르고, 두 컴포넌트가 서로의 (틀린) 예측을 주고받으며 굴러가기 때문에 long-range 롤아웃에서 오차가 더 쉽게 증폭된다. COAF는 online replay buffer로 모델이 자기 자신의 결합 롤아웃 분포를 on-policy로 경험하게 하여 장기 안정성을 끌어올리고, 10일 이상 예측에서 Z500·T2m의 latitude-weighted RMSE를 약 10% 낮췄다고 보고한다. single-step teacher forcing만으로는 결합 시스템의 누적 오차를 잡기 어렵다는 점을 보여주는, 본 글의 §4 전략에 대한 구체적 응용 예다.
참고: COAF는 ICLR 2026에 제출되었다가 철회된(withdrawn) 원고다. 공개 게시 시에는 정식 게재 논문이 아니라 OpenReview preprint(withdrawn submission)로 인용하는 것이 정확하다.
| 기준 | BPTT | Replay Buffer | Online Replay Buffer |
|---|---|---|---|
| Gradient horizon | $K$ step 전체 | 1 step | 1 step |
| On/off-policy | on-policy | off-policy (stale) | on-policy |
| 그래프 메모리 | $O(K)$ (높음) | $O(1)$ | $O(1)$ |
| 별도 저장공간 | 없음 | 버퍼 저장 필요 | 없음 |
| Update당 연산 | $K$× fwd+bwd | 1× fwd+bwd | $k$× fwd ($k{-}1$은 no_grad) + 1× bwd |
| 깊이 분포 제어 | 명시적(but 짧음) | 암묵적 | 명시적 |
| 핵심 한계 | 메모리·gradient 불안정 | staleness·저장비용 | 깊은 $k$ 의 재계산 비용 |
직관적으로 정리하면 이렇다.
세 전략 모두 single-step teacher forcing보다 AR 안정성을 크게 개선하지만, 어느 것도 “공짜 점심”은 아니다. 각자 메모리 ↔ 연산 ↔ on-policy성 ↔ 깊이 제어 사이의 다른 지점에 서 있을 뿐이다.