冰冰点灯,照亮我家门前~
欢迎进入nnetinfo
用户名:
密码:
深圳学习数据分析,数据挖掘,请联系yahushuxue@163.com~
nnetinfo : 本网发布神经网络相关的学习与研讨内容。
当前位置:教学区
一篇文章读懂径向基神经网络原理(上)
作者:梁小h   日期:2015-11-02 14:28:29.0

     径向基神经网络(RBF)常见的有精确径向基,径向基,概率神经网络,广义回归神经网络.网上已经有非常

多文章讲述这几种网络,本文企图主要讲述径向基神经网络的思想,数学表达式,参数意义,和讲述matlab里

的径向基是实现(不是工具箱的使用方法,是工具箱的实现原理).

     开始,径向基神经网络原理吧!

 

    有一组原始数据点:

x 1 2 3 4 5 6
y(x*x/6) 0.167 0.667 1.5 0.667 4.167 6

    现在要找到一条光滑曲线拟合这6个数据点,RBF的解决思路如下图:

                     

       从图中可以看到,RBF神经网络解决该问题的思想就是,以6个原始数据点(图中蓝色的点)为中心,

生成了6个钟型函数(rbf)(实际只需要其中5个),6个钟型函数叠加后就是一条我们所需要的,能够拟

合原始数据点的光滑曲线(绿色)。

      为了更深入理解径向基神经网络原理,下面来探究它的数学表达式.

 

模型的数学表达式:

       径向基神经网的数学表达式可以简略表达为:

                                          

                                       其中是径向基函数

                   注:式子中含有上标(i),本文所有上标(i)都代表是第i个样本,并无任何计算意义。

         上面的式子有些抽象,举个具体的例子:

         2个输入,1个输出,3个训练样本的径向基神经网络可写成三个钟型函数的叠加:

                           式(1)

         a:一个影响钟型函数肥瘦程度的常数.

       :第(j)个样本中第i个变量的值.

        W和b:分别是待解的权重和阈值.

 

        下面让我们以神经网络结构的角度理解径向基神经网络神经理:

 

 

网络拓扑图

         把每个钟型函数看作一个隐节点,那么上例的网络拓扑图如下(只有3个样本,所以隐节点也是3个):

                                        

                                          再次说明,传递函数rbf:

            对应的,数学表达式可以统一写神经网络结构的形式:

                                   

            参数举例说明:   :第2层(隐层)的第3个神经元与下一层(输出层)的第1个神经元的权值。

                                      :隐层第3个节点的阈值。

 

         需要注意,输入层到隐层的权值和隐层的阈值的计算方法不再与BP神经网络相同,权值和输入使用欧

氏距离函数dist计算,隐层的阈值再与它们相乘。

 

 

精确径向基:

        现在问题来了,式(1)中的w1和b怎么求?

         很简单,因为当输入x知道时,在式中形如的部分都可以计算成一个常数,

所以上式就成了一个线性方程,假设现在有3个样本,那么就会有3个这样的线性方程组成方程组:

                            

                                     再一次,上标(i)代表是第i个样本的值,只是一个标识,没任何计算意义。

          只要解这个方程组就可以得到w和b的值了。因为未知数个数大于方程的个数,肯定能求得一个w,满足

上式的,因此网络在训练数据上的预测误差会为0,所以称这种网络为精确径向基,是最基本的径向基网络。

                           

在matlab里用newrbe构建精确径向基神经网络.想了解在matlab的实现方式请参考文章:

《精确径向基(matlab工具箱)》

想根据精确径向基神经网络原理,自己编写代码实现精确径向基神经网络,请参考文章:

《精确径向基myNewrbe(动手写自己的代码)》   

                                                                                                 未完,待续。

 

  相关链接:    一篇文章读懂径向基神经网络原理(下)