AAD（随伴自動微分）

XVA（CVAなど）の評価では、モンテカルロ法で多数の感応度を求めます。クオンツやリスク管理の担当者、評価システムの開発者は、感応度の本数が増えると評価の計算時間が膨らむ問題に当たります。

感応度が増えると重くなる理由

バンプ（有限差分）は、入力を 1 つずつ少しだけ動かして評価をやり直し、価格の変化を動かした幅で割る方法です。感応度（デルタやベガなどのグリークス）を 1 本求めるたびに再計算が 1 回増えるため、手間は感応度の本数に比例します¹。入力 $\theta$ を $\Delta\theta$ だけ動かす片側のバンプは、次の式です²。感応度の定義はグリークスで扱います。

$$\frac{\partial V}{\partial \theta} \approx \frac{V(\theta + \Delta\theta) - V(\theta)}{\Delta\theta}$$

ポートフォリオの 1 回の評価に 1 分かかり、金利カーブの点やボラティリティの点など、求めたい感応度が 1,000 本ある架空の例で考えます。片側のバンプは、元の評価 1 回と、動かした評価 1,000 回の合計 1,001 回で、1,001 分（約 16.7 時間）かかります。後退モードの自動微分は、理論上は元の評価の 5 倍未満（5 分未満）で、1,000 本すべてを求められます。ただし、これは出力が価格 1 つのときの話で、メモリなどの費用は別にかかります。

本数のほかに、バンプには幅の選び方の難しさがあります。幅は入力の値によって適切な大きさが変わり、精度と安定のつり合いを取るのが簡単ではありません³。幅が大きすぎると近似の誤差が大きくなり、ペイオフが不連続なときに幅が小さすぎると、推定値のばらつきが大きくなります²。モンテカルロ法では、バンプの前後で同じ乱数を使い、ばらつきを抑えます²。中心差分は精度が上がる一方、感応度 1 本あたりの再計算が 2 回になります²。

相関では、本数の増え方がさらに速くなります。確率的な要因が多数あるとき、組み合わせの数は要因の数の 2 乗に比例して増えるため、すべてのペアの相関の感応度をバンプで求めるのは、計算が重すぎて現実的でないことが多くなります¹。

なお、ここでのバンプの差分近似は、偏微分方程式を格子で解く有限差分法とは別の使い方です。

前進モードと後退（随伴）モード

自動微分は、プログラムで書かれた計算の導関数を、連鎖律で求める方法です。どんなに複雑なプログラムも、足し算、掛け算、$\sin$ などの基本の演算の合成で、基本の演算の偏導関数は分かっているため、全体の導関数を組み立てられます⁴。

計算の流れを入力 $Z$ から $A$、$B$ を経て出力 $Y$ に届くものとします。$Y$ は価格のように 1 つの数、$Z$ は感応度を求めたい入力の並びです。$\partial A / \partial Z$ などは、入力が複数のときは行列（ヤコビ行列）です。前進（接線線形）モードは、計算と同じ向きに、入力の動き $\dot Z$ が出力へ伝わる量を順に求めます⁵。

$$\dot{Y} = \frac{\partial Y}{\partial B}\,\frac{\partial B}{\partial A}\,\frac{\partial A}{\partial Z}\,\dot{Z}$$

$\dot Z$ に与えられるのは入力 1 つ分の方向なので、$N$ 本の感応度には、前進の計算が $N$ 回要ります⁵。

後退（随伴）モードは、出力から入力へ向かって逆向きに計算します。出力の随伴 $\bar{Y}$ を 1 とおき、各変数の随伴 $\bar{A}$ などを、行列の転置を使って次のように求めます⁶。

$$\bar{Z} = \left(\frac{\partial A}{\partial Z}\right)^{T}\left(\frac{\partial B}{\partial A}\right)^{T}\left(\frac{\partial Y}{\partial B}\right)^{T}\bar{Y}$$

$\bar{Z}$ の各成分が、出力 $Y$ の各入力への感応度です。$\bar{Y} = 1$ から始めた 1 回の逆向きの計算で、$N$ 本すべてが求まります⁶。

後退モードが向くのは、感応度を知りたい出力が少なく、入力が多いときです。前進モードは逆に、入力が少なく出力が多いときに向きます⁴。出力がポートフォリオの価値 1 つで、入力が市場データやモデルのパラメータ数百本という形には、後退モードが向きます。後退モードを計算プログラム全体に当てはめる手法が、AAD（随伴自動微分）です⁷。

後退モードで 3 入力の感応度を求める

入力 $x_1 = 2$、$x_2 = 3$、$x_3 = 1$ から、次の 3 段で出力 $y$ を求める計算の架空の例で考えます。

$$v_1 = x_1 x_2, \qquad v_2 = v_1 + x_3, \qquad y = v_2^{2}$$

前進の計算（元の評価）で、途中の値と出力は次のとおりです。

後退の計算は、$\bar{y} = 1$ から始めて逆の順に進みます。各段の偏導関数は、前進で求めた途中の値（$v_2 = 7$、$x_1 = 2$、$x_2 = 3$）から決まります。

後退の 1 回で、$\partial y/\partial x_1 = 42$、$\partial y/\partial x_2 = 28$、$\partial y/\partial x_3 = 14$ が同時に求まります。式を直接微分すると、$y = (x_1 x_2 + x_3)^2$ より、$\partial y/\partial x_1 = 2 \times 7 \times 3 = 42$ などとなり、同じ値です。前進モードなら、入力 3 つに対して 3 回の計算が要ります。入力が 3 本なら、バンプも元の評価と合わせて 4 回で済みます。回数の差が大きく開くのは、感応度が 1,000 本の例のように本数が多いときです。

幅 0.001 の片側のバンプと比べると、次のとおりです。バンプの値が真の値より大きいのは、幅による近似の誤差です。

計算コスト、メモリ、精度

後退モードの計算量は、元の計算の 5 倍未満という理論の結果があり、入力の本数に依りません。前進モードの計算量は、入力の本数に比例して増えます⁴。相関の感応度の例でも、要因の数やペアの数によらず、価格を 1 回求める手間の 4 倍以内に収まっています⁸。

ただし、後退モードが 1 回で返すのは、出力 1 つの感応度です。感応度を知りたい出力が多いときは、前進モードのほうが少ない追加の手間で求められます⁹。

メモリについては、後退の計算で、前進で求めた途中の値（上の例の $v_2$ など）を使います。経路ごとに計算するモンテカルロ法では、保存するのは今の経路の値だけなので、メモリは大きな負担にならないと説明されています¹⁰。大きな評価ライブラリでは、メモリの管理と、チェックポインティングなどの技術が役に立つとされています¹¹。

精度は、自動微分がプログラムとして書かれた計算の導関数を機械精度の範囲で厳密に返すのに対し、バンプは近似の誤差を含みます⁴。上の例のバンプの差 0.009 が、幅を 0.001 にしても残る誤差です。ただし、計算そのものが真の感応度と合っているかは別の問題です。たとえば不連続なペイオフは、経路ごとにペイオフを微分する方法（パスワイズ法）をそのままは使えません。

深掘り確率微分方程式の経路での随伴と計算量

モンテカルロ法の経路が、次の漸化式で作られるとします。$\hat{S}_n$ は時点 $n$ の状態、$S_0$ は初期値、$F_n$ は 1 歩の更新です¹²。

$$\hat{S}_{n+1} = F_n(\hat{S}_n)$$

1 歩の更新の偏導関数を $D_n = \partial F_n / \partial \hat{S}_n$、満期のペイオフを $f$ とすると、初期値への感応度は次の積です。

$$\frac{\partial f(\hat{S}_N)}{\partial S_0} = \frac{\partial f}{\partial \hat{S}_N}\, D_{N-1} D_{N-2} \cdots D_0$$

$D_0$ の側から順に掛ける（前進）と、行列どうしの積が続き、状態の次元 $m$ に対して 1 歩あたり $m^3$ 程度の手間がかかります。$\partial f / \partial \hat{S}_N$ の側から順に掛ける（後退）と、随伴 $V_n = (\partial f / \partial \hat{S}_n)^T$ を $V_n = D_n^{T} V_{n+1}$ で順に求められ、1 歩あたり $m^2$ 程度で済みます¹²。入力のパラメータごとの追加の手間を含めると、後退は $m^2 + m \times$（パラメータ数）、前進は $m^2 \times$（パラメータ数）程度で、パラメータが多いほど差が開きます¹³。

使われる場面

グリークスでは、LIBOR マーケット・モデルのスワップションのデルタとベガに、後退モードを使った 2006 年の研究があり、Homescu は先駆的な論文と位置づけています。15 本のスワップションのポートフォリオでは、前進モードの自動微分がバンプの約 10 倍の効率で、後退モードは期間数 80 のとき、前進モードに比べ、デルタだけで 5 倍、デルタとベガで 25 倍の効率でした¹⁴。Homescu は同じ箇所で、後退モードが前進モードに比べて費用を「桁違い」に減らしたとも書いており、5 倍や 25 倍という数字とは食い違って読めます。どちらが正確かは、紹介の文からは決まりません。この研究は、経路ごとにペイオフを入力で微分して平均するパスワイズ法と組み合わせています。

相関の感応度では、ガウシアン・コピュラで作ったバスケットの評価に使い、バスケットのデフォルト・オプションの数値の試験で、要因の数によらず価格の 4 倍以内で、すべてのペアの相関の感応度が求まっています⁸。参照する企業（名前）が 20 社のときバンプの約 100 倍、40 社のとき約 500 倍の速さでした¹⁵。

CVA の感応度では、2011 年の論文の例があります。コモディティの 5 本のスワップ、期間 5 年のポートフォリオで、CVA の感応度は 600 本を超えました。CVA を 1 回評価するのに 10 秒かかる設定で、後退モードの自動微分は全感応度を 40 秒未満（評価の 4 倍未満）で求め、バンプ（有限差分）は約 1 時間 40 分を要しました¹⁶。

キャリブレーションの目的関数（モデルの価格と市場の価格の差の 2 乗和）の勾配には、各価格のパラメータへの感応度が現れ、随伴の手順で求められます¹⁷。2009 年の論文の例では、モンテカルロ法による対数正規の分散のモデルのキャリブレーションで、勾配を有限差分で求めると 3 時間を超えた計算が、随伴を使うと 10 分未満になりました¹⁸。手順はキャリブレーションで扱います。

導入の難しさと前提が崩れる場面

パスワイズ法は、経路ごとに、ペイオフを入力で微分して平均する方法です。ペイオフと、経路を作る式の係数が、連続で区分的に微分できることが条件で、不連続なペイオフはそのままは扱えません²¹。デジタル・オプションの近似、条件付き期待値でペイオフをなめらかにする方法、尤度比法（ペイオフでなく確率密度を入力で微分する方法）との組み合わせなどの対処があります²²。バリア・オプションのように、一定の水準を超えたかで支払いが変わる商品は、この問題に当たります。

実装では、連続の式から導関数の式を作ってから離散化する方法と、離散化した計算を微分する方法があります。後者のほうが、作り方が系統的で、自動微分のツールで開発期間を短くできるため、多くの場合に好まれます²³。ツールには、元のコードから感応度も求めるコードを生成する方式と、値と感応度を組にした型で演算を置き換える方式があります²⁴。実装の確認には、バンプの勾配と比べる方法があり、前進モードと後退モードの勾配が機械精度の範囲で一致することも確かめられます¹⁹。大きな評価ライブラリでは、メモリの管理も役に立つとされます。

AAD が速くするのは、モデルの中の感応度の計算です。オプションの価格モデルの選び方に不確かさがあると、ポートフォリオの評価にモデル・リスクが生じうるとされます²⁵。

注

1. Capriotti and Giles, "Fast Correlation Greeks by Adjoint Algorithmic Differentiation"（arXiv、2010 年）の冒頭の 2 段落。バンプの手間は感応度の本数に比例し、相関の全ペアでは要因の数の 2 乗に比例して増えるとしています。 ↩ ↩²

2. Giles, "Advanced Monte Carlo Methods: Computing Greeks"（Oxford University、講義資料）の 5〜6 ページ（"Finite difference sensitivities"）。差分の式と手間、幅の大小による誤差とばらつき、同じ乱数の使用を述べています。 ↩ ↩² ↩³ ↩⁴

3. Homescu, "Adjoints and automatic (algorithmic) differentiation in computational finance"（arXiv、2011 年）の 4 ページ。有限差分の幅は入力の値で変わり、精度と安定のつり合いを取る幅の選び方が難しいとしています。 ↩

4. Homescu（arXiv、2011 年）の 3 ページ（1 節 Introduction）。連鎖律、後退モードの手間が 5 倍未満（Griewank と Walther の理論の結果として紹介）、各モードの向き不向き、機械精度と打ち切り誤差を述べています。 ↩ ↩² ↩³ ↩⁴

5. Homescu（arXiv、2011 年）の 4〜6 ページ（2 節）。前進（接線線形）モードの式と、入力の方向ごとに 1 回の計算が要ること。記号は Homescu の記法で、Z、A、B、Y の 3 段の例です。 ↩ ↩²

6. Homescu（arXiv、2011 年）の 4〜6 ページ（2.1、2.2）。後退（随伴）モードの式。転置した行列で逆の順に求め、$\bar{Y} = 1$ から 1 回で全感応度が求まります。 ↩ ↩²

7. Capriotti and Giles（arXiv、2010 年）の冒頭の 5 段落目。随伴の実装は AAD というプログラミング技法の例で、数値アルゴリズム一般の感応度の計算に使えるとしています。 ↩

8. Capriotti and Giles（arXiv、2010 年）の要旨。バスケットのモンテカルロの評価とポートフォリオ・デフォルト・オプションの試験で、すべてのペアの相関の感応度が価格を求める手間の 4 倍以内で求まるとしています。 ↩ ↩²

9. Giles（Oxford University、講義資料）の 27 ページ（"Adjoint approach"）。随伴法は 1 つの出力の感応度だけを与え、前進法は複数の出力の感応度を少ない追加の手間で与えます。 ↩

10. Giles（Oxford University、講義資料）の 25 ページ（"Adjoint approach"）。データは今の経路の分だけを保存すればよいので、メモリの要求は大きくないとしています。 ↩

11. Homescu（arXiv、2011 年）の 19 ページ（9 節）。評価ライブラリの複雑さのため、自動微分のツール、メモリの管理、チェックポインティングなどの技術が役に立つとしています。 ↩

12. Giles（Oxford University、講義資料）の 23〜24 ページ（"Adjoint approach"）。漸化式、$D_n$、$V_n = D_n^T V_{n+1}$、1 歩あたり前進 $O(m^3)$、後退 $O(m^2)$。$F_n$、$f$ は Giles の記号です。 ↩ ↩²

13. Giles（Oxford University、講義資料）の 26〜27 ページ（"Adjoint approach"）。$B_n$ はパラメータごとに異なり $V_n$ は共通なので、後退は $m^2 + m \times$（パラメータ数）です。 ↩

14. Homescu（arXiv、2011 年）の 16 ページ（8.1 節）。Giles と Glasserman の 2006 年の論文の紹介で、約 10 倍、5 倍、25 倍の記述と、同じ段落の "several orders of magnitude" の記述があります。 ↩

15. Homescu（arXiv、2011 年）の 17 ページ（8.1 節）。バスケットのデフォルト・オプションで、バンプに比べ 20 名で約 100 倍、40 名で約 500 倍の速さとあります。 ↩

16. Homescu（arXiv、2011 年）の 17 ページ（8.1 節）。Capriotti、Lee、Peacock の 2011 年の論文の紹介で、後退モード 40 秒未満、有限差分は約 1 時間 40 分とあります。 ↩

17. Homescu（arXiv、2011 年）の 16 ページ（7 節）。目的関数 $F = \sum (\text{ModelPrice}[j] - \text{MarketPrice}[j])^2$ の勾配に価格の感応度が現れ、随伴で求められます。 ↩

18. Homescu（arXiv、2011 年）の 19 ページ（8.2 節）。Kaebe、Maruhn、Sachs の 2009 年の論文の紹介で、3 時間超と 10 分未満の比較があります。連続の式から随伴を作る方法（ContAdj）です。 ↩

19. Homescu（arXiv、2011 年）の 6 ページ（2.3 節）。自動微分の勾配を有限差分の勾配と比べること、前進と後退の勾配が機械精度で同一と期待されること。 ↩ ↩²

20. Homescu（arXiv、2011 年）の 19〜20 ページ（9.1 節）。2010 年の Baxter の発表の紹介で、各ルーチンを計算の関数と随伴の関数で表し、逆の順に呼ぶ例があります。 ↩

21. Giles（Oxford University、講義資料）の 11 ページ（"Pathwise sensitivities"）。連続で区分的に微分できるペイオフと係数が条件で、不連続なペイオフは扱えません。 ↩

22. Giles（Oxford University、講義資料）の 20〜21 ページ（"Discontinuous payoffs"）。デジタルの区分線形の近似、条件付き期待値、Vibrato Monte Carlo。バリアは条件付き期待値の例です。 ↩

23. Homescu（arXiv、2011 年）の 3 ページ（1 節）。連続の随伴と離散の随伴の呼び方、離散の随伴が系統的で開発期間を減らせるため好まれること。 ↩

24. Giles（Oxford University、講義資料）の 19 ページ（"Automatic Differentiation"）。ソースコードから新しいコードを生成する方式と、値と感応度の組の型で演算を再定義する方式（演算子のオーバーロード）。 ↩

25. Cont, "Model uncertainty and its impact on the pricing of derivative instruments"（Newton Institute のプレプリント）の要旨。オプションの価格モデルの選び方の不確かさが、オプションのポートフォリオの評価の「モデル・リスク」につながりうるとしています。 ↩