機械学習とボルテラ級数展開の関係

どうも、Kumaです。

最近、ニューラルネットワーク(以下、NN)に少し触れる機会があります。

そこで少し気づいたことについて紹介します。

NNは（かなり多様な）非線形フィルタを実現できるとされています。

しかし非線形フィルタはこれまでもずっと研究されてきています。
有名なものとしては、ボルテラ級数があります。これは二変数の畳込みフィルタです。すなわち、1変数の畳込みを

$\displaystyle y(n) = \sum_{i} h(i)x(n-i)$

とするとき、二次のボルテラ級数とは二次の畳み込みであって

$\displaystyle y(n) = \sum_{i,j} h(i,j)x(n-i)x(n-j)$

となります。N次も同様に定義できます。

ボルテラ級数は、次数を増やしていけば、（計算量を別にすれば[1]）かなり広い非線形システムを近似できそうです！[2]

さて、ボルテラ級数というクラシカルな方法と、NNのような新しい方法は無関係な技術なのでしょうか？
私にはそうは思えません。両者はかなり似た計算をしています。

調べてみたところ、先行研究がありました。
今回の記事の目的はこれを紹介したかったということです。

[計測自動制御学会論文集　Vol.31,No.9,1408/1415(1995) ] ニュニラルネットワークのVolterra核推定と構造同定への応用横山誠・多氣昌生 渡辺敦・高橋治文

www.jstage.jst.go.jp -------------------------------------------------------------------------------------------------------------------------
そこで本論では,まずVolterra級数モデルのパラメトリゼーションから出発し,ANNを含んだ非線形モデルを導入する.
そして,本モデルの特別なモデルが,現在広く用いられているANNを含んだモデルの特別な場合に相当することを示す.
つぎに,本モデルのANN中のパラメータとVolterra核のパラメータの関係を示す.
したがって,本モデルによってシステムを同定した後,ANN中パラメータを用いることによって,容易に任意のVolterra核が算出でき,Volterra級数モデルが得られることが示される.
すなわち,このVolterra級数モデルを用いることによって,学習同定後に同定対象の動特性を解析することができる.
--------------------------------------------------------------------------------------------------------------------------
つまり、NNはボルテラ級数展開の枠組みで捉えられるということになります。

すべての機械学習モデルがこの方法で書けるのかどうかは分かりません。
（たぶんそんなに簡単ではないと信じている）
また、ボルテラで書ければ全てが「わかった」と思えるわけでもありません。

ただ、工学で使われている技術が何らかの言葉でgeneralizeできるというときに、私はとてもワクワクするのでした。

それでは。

[1] Kumaの理解では、これは畳みこみの一種ですので、Fourier変換して積に落とし込むとより高速に計算できますが。

[2]しかし、一般に未知の非線形システムに対して「何次まで用意すれば十分な精度が出るのか」は既知でないことがほとんどです。非線形性が強くない領域では摂動法も有用ですが、やはり何次まで取ればいいのかはケースバイケースです。