actions

放射基底関数

函数近似English版において、各々適当な点に関して球対称となる実数値函数からなる基底を考えるとき、各基底函数放射基底関数: radial basis functionRBF動径基底関数)と呼ばれる。一般に、函数 φ動径函数あるいは球対称 (radial) であるとは、φ(x) = φ(テンプレート:Norm), すなわちその値が偏角成分に依存せず動径成分(つまり原点からの距離)のみに依存して決まることを言う。従って動径基底函数は適当な点 c中心として、c からの距離のみに依存して決まる (φ(x; c) = φ(テンプレート:Norm))。ここで、ノルムはふつうユークリッド距離で考えるが、べつの距離函数を取ることもできる。

動径基底函数の和としての近似の過程は、単純な種類のニューラルネットワークとしても解釈することができる。これはもともとは David Broomhead と David Lowe による1988年の結果[1][2](これは1977年に始まるMichael J. D. Powell の独創的な研究[3][4][5]に由来する)によって表面化した文脈に属する。

動径基底函数はサポートベクターマシンにおける核函数English版としても用いられる[6]

RBFの種類

以下では中心 c からの距離を r = テンプレート:Norm と書くことにすれば、よく使われる放射基底関数として次を挙げることができる。

  • ガウシアンRBF:
    [math]\phi(r) = e^{-(\varepsilon r)^2}[/math]
  • 多重二乗 (Multiquadric) RBF:
    [math]\phi(r) = \sqrt{1 + (\varepsilon r)^2} [/math]
  • 逆二乗 (Inverse quadratic) RBF:
    [math]\phi(r) = \frac{1}{1+(\varepsilon r)^2} [/math]
  • 逆多重二乗 (Inverse multiquadric) RBF:
    [math]\phi(r) = \frac{1}{\sqrt{1 + (\varepsilon r)^2}} [/math]
  • 多重調和スプラインEnglish版RBF:
    [math]\phi(r) = r^k,\; k=1,3,5,\dots[/math]
    [math]\phi(r) = r^k \ln(r),\; k=2,4,6,\dots [/math]
  • 薄板スプラインEnglish版RBF (多重調和スプラインの特別の場合):
    [math]\phi(r) = r^2 \ln(r)\;[/math]

RBFネットワーク

放射基底関数は次の形式の関数近似English版の構築に使われることが多い。

[math]y(\mathbf{x}) = \sum_{i=1}^N w_i \, \phi(||\mathbf{x} - \mathbf{c}_i||),[/math]

ここで、この近似関数 y(x) は N 個の放射基底関数の総和で表され、個々の放射基底関数はそれぞれ異なる中心点 ci を持ち、それぞれ固有の係数 wi で重み付けされている。この種の近似手法は、十分に単純なカオス的振る舞いを示す時系列の予測や非線形系制御に使われる。

これはまた、RBFネットワークEnglish版と呼ばれる単純な単層ニューラルネットワークにも利用されている。この場合、放射基底関数群がネットワークの活性化関数の役割を果たす。コンパクトな区間の任意の連続関数は、放射基底関数の個数が十分大きければ、基本的にそれらの総和の形式で任意の正確度で表すことができる。

ファイル:Unnormalized radial basis functions.svg
2つの1次元入力のガウス関数型の正規化されていない放射基底関数。中心点は c1=0.75 と c2=3.25

重み付けの見積もり

各放射基底関数の重み付けは、ニューラルネットワークの標準的な反復学習によって学習可能である。しかし、それら関数の総和は線形であるため、線形最小二乗法を使えば学習前に重み付けを見積もることが可能である。

参考文献

  1. Radial Basis Function networks
  2. Broomhead, David H.; Lowe, David (1988). “Multivariable Functional Interpolation and Adaptive Networks”. Complex Systems 2: 321--355. オリジナルの2014年7月14日時点によるアーカイブ。. https://web.archive.org/web/20140714173428/https://www.complex-systems.com/pdf/02-3-5.pdf. 
  3. Michael J. D. Powell (1977). “Restart procedures for the conjugate gradient method”. Mathematical Programming (Springer) 12 (1): 241--254. http://link.springer.com/content/pdf/10.1007/BF01593790.pdf. 
  4. テンプレート:Cite thesis
  5. Broomhead & Lowe 1988, p. 347: "We would like to thank Professor M.J.D. Powell at the Department of Applied Mathematics and Theoretical Physics at Cambridge University for providing the initial stimulus for this work."
  6. VanderPlas, Jake (2015年5月6日). “Introduction to Support Vector Machines”. [O'Reilly]. . 14 May 2015閲覧.

関連文献

テンプレート:More footnotes

  • Buhmann, Martin D. (2003), Radial Basis Functions: Theory and Implementations, Cambridge University Press, ISBN 978-0-521-63338-3 .
  • Hardy, R.L., Multiquadric equations of topography and other irregular surfaces. Journal of Geophysical Research, 76(8):1905–1915, 1971.
  • Hardy, R.L., 1990, Theory and applications of the multiquadric-biharmonic method, 20 years of Discovery, 1968 1988, Comp. math Applic. Vol 19, no. 8/9, pp. 163 208
  • Press, WH; Teukolsky, SA; Vetterling, WT; Flannery, BP (2007), “Section 3.7.1. Radial Basis Function Interpolation”, Numerical Recipes: The Art of Scientific Computing (3rd ed.), New York: Cambridge University Press, ISBN 978-0-521-88068-8, http://apps.nrbook.com/empanel/index.html?pg=139 
  • Sirayanone, S., 1988, Comparative studies of kriging, multiquadric-biharmonic, and other methods for solving mineral resource problems, PhD. Dissertation, Dept. of Earth Sciences,Iowa State University, Ames, Iowa.
  • Sirayanone S. and Hardy, R.L., "The Multiquadric-biharmonic Method as Used for Mineral Resources, Meteorological, and Other Applications," Journal of Applied Sciences and Computations Vol. 1, pp. 437–475, 1995.

外部リンク