影響関数（influence function）の直感的な理解

影響関数（influence function） $\mathcal{I}_{\text {up, params}}$ は Koh, P. W., & Liang, P. (2017) で定義されている関数である。

$\displaystyle \mathcal{I}_{\text {up, params}}(z) \stackrel{\text {def}}{=} -H_{\hat{\theta}}^{-1} \nabla_\theta L(z, \hat{\theta})$

ただし、 $L \colon \Theta^d \to \mathbb{R}$ は損失関数、 $\theta$ はパラメータベクトル、 $\hat{\theta} \in \Theta$ は $\hat{\theta} \stackrel{\text { def }}{=} \arg \min _{\theta} \mathbb{E}_i [ L\left(z_i, \theta\right) ]$ 、 $H$ は $L$ のヘッセ行列である。

$H_{\hat{\theta}} \mathcal{I}_{\text {up, params}}(z) + \nabla_\theta L(z, \hat{\theta}) = 0$ であるから、影響関数の $i$ 番目に対応する要素 $\mathcal{I}_{\text{up, params}}^{i}(z)$ について、次の等式が成立する。

$\displaystyle \sum_j \frac{\partial^2 L}{\partial \theta_i \partial \theta_j} \mathcal{I}_{\text{up, params}}^{i}(z) + \frac{\partial L}{\partial \theta_i} = 0$

すなわち、損失関数の二階微分についてすべてのパラメータについて期待値を取ったときに元の損失関数の一階微分と等しくなるような分布もどきが影響関数（ベクトル）である、ということができる。

参考文献

Koh, P. W., & Liang, P. (2017). Understanding Black-box Predictions via Influence Functions. arXiv, 1703.04730. Retrieved from https://arxiv.org/abs/1703.04730v3