神经网络学习之M-P模型

概念

所谓M-P模型,其实是按照生物神经元的结构和工作原理构造出来的一个抽象和简化了的模型,它实际上就是对单个神经元的一种建模。



生物神经元模型

1. 每个神经元都是一个多输入单输出的信息处理单元;

2. 神经元输入分兴奋性输入和抑制性输入两种类型;

3. 神经元具有空间整合特性和阈值特性(兴奋和抑制,超过阈值为兴奋,低于是抑制);

4. 神经元输入与输出间有固定的时滞,主要取决于突触延搁;


按照生物神经元,我们建立M-P模型。为了使得建模更加简单,以便于进行形式化表达,我们忽略时间整合作用、不应期等复杂因素,并把神经元的突触时延和强度当成常数。下图就是一个M-P模型的示意图。


M-P模型的示意图

生物神经元模型与人工构造的MP模型的一个对比

两者对比

结合M-P模型示意图来看,对于某一个神经元j,它可能接受同时接受了许多个输入信号,用χi表示。

由于生物神经元具有不同的突触性质和突触强度,所以对神经元的影响不同,我们用权值ωij来表示,其大小则代表了突出的不同连接强度。

θj表示为一个阈值(threshold),或称为偏置(bias),超过阈值为兴奋,低于是抑制。

由于累加性,我们对全部输入信号进行累加整合,相当于生物神经元中的膜电位(水的变化总量),其值就为:

净激活,后边可简化



基本MP模型

                      

激发函数的介绍


基本模型

由于累加性,我们对全部输入信号进行累加整合,相当于生物神经元中的膜电位(水的变化总量),其值就为


net'j(t)称为净激活(net activation)

所以可以简化为,若将阈值看成是神经元j的一个输入x0的权重w0j,则上面的式子可以简化为:

简化后的公式

若用X表示输入向量,用W表示权重向量,即:


向量形式

则神经元的输出可以表示为向量相乘的形式:


向量形式公式

M-P模型在人工神经网络中的地位

首先M-P模型是所有人工神经元中第一个被建立起来的,它在多个方面都显示出生物神经元所具有的基本特性。

其次,目前其它形式的人工神经元已有很多,但大多数都是在M-P模型的基础上经过不同的修正,改进变换而发展起来。因此M-P人工神经元是整个人工神经网的基础。

对M-P人工神经元进行改进的主要方式有如下几个方面:

1、神经元的内部改造:对人工神经元取不同的非线性函数;

2、对输入和输出做不同的限制:离散的(某些离散点)和连续的(整个实数域)。

3、神经网络的结构上的改造:人工神经元之间的联接形式不同。

4、算法的改进:在人工神经网络权值和阈值取求的方法上不同。

5、其它形式的改造。

几种典型的激活函数(Activation Function)

线性函数

三个线性激活函数

非线性

非线性的激活函数

对称型阶跃函数

阶跃函数


阶跃函数

高斯函数: 是可微的,分一维和高维,用下式表示:如图(a)和(b)


(a)


(b)


一维


二维
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 200,045评论 5 468
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 84,114评论 2 377
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 147,120评论 0 332
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 53,902评论 1 272
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 62,828评论 5 360
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,132评论 1 277
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,590评论 3 390
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,258评论 0 254
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,408评论 1 294
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,335评论 2 317
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,385评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,068评论 3 315
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,660评论 3 303
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,747评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,967评论 1 255
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,406评论 2 346
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 41,970评论 2 341

推荐阅读更多精彩内容

  • 前几天看到一个段子:女孩失恋了找了男孩一起喝酒,恰逢下起了大雨,女孩认为是老天都在替她难过,男孩却说老天是在为他难...
    m宝啊啊宝m阅读 226评论 0 1
  • 不知什么时候,楼下的梅花谢了,一瓣一瓣地零落在小路旁,花坛里,坚守在枝头上的花朵也萎蔫了,像老人皱褶的面颊,颜色由...
    逸行客阅读 594评论 0 5
  • 电脑上的手机助手里的软件版,但不知道怎么导入图片,所以可能看起来会比较枯燥,不过应该只有我自己会看,或许以后...
    孔阳若光阅读 601评论 1 1
  • 目录君觉得有个爱人真好 十七章简介 也许,在所爱的人身边,每个人都会变成一个开心的孩子。袁笑开心地和倪若在海南度着...
    苏寂然阅读 536评论 2 8