神经网络理论的发展与前沿问题

冬青

原文地址：http://blog.sina.com.cn/s/blog_6264e23a01014qeh.html

刘永红

　　摘　要　系统地论述了神经网络理论发展的历史和现状，在此基础上，对其主要发展趋向和所涉及的前沿问题进行了阐述．文中还作了一定的评论，并提出了新的观点．
　　关键词　神经网络理论，神经计算，进化计算，基于神经科学和数学的研究

THE DEVELOPMENT AND FORWORD PROBLEMS
OF NEURAL NETWORK THEORY

LIU Yonghong

(Dept. of Automation, Wuhan University of Technology, Wuhan 430 070)

Abstract　This is a survey paper of the development and forwo rd problems of neural network theory. It is divided into four parts: 1. Introduc tion to neural network; 2. The history and present condition; 3. The development trend and forword problems; 4. Conclusions. In the paper, a new comment and vie w for neural network theory is presented.
Key words　neural network theory, neural computing, evolutionary computing, study based on neurosciences and mathematics


1　引言

　　神经网络是一门活跃的边缘性交叉学科.研究它的发展过程和前沿问题，具有重要的理论意 义.
　　神经网络理论是巨量信息并行处理和大规模平行计算的基础，神经网络既是高度非线性动力 学系统，又是自适应组织系统，可用来描述认知、决策及控制的智能行为．它的中心问题是 智能的认知和模拟．从解剖学和生理学来看，人脑是一个复杂的并行系统，它不同于传统 的Neumann式计算机，更重要的是它具有“认知”“意识”和“感情”等高级脑功能 ．我们以人工方法摸拟这些功能，毫无疑问，有助于加深对思维及智能的认识．80年代初， 神经网络的崛起，已对认知和智力的本质的基础研究乃至计算机产业都产生了空前的刺激 和极大的推动作用．
　　近十年来，神经网络理论与实践有了引人注目的进展，它再一次拓展了计算概念的内涵，使 神经计算、进化计算成为新的学科，神经网络的软件模拟得到了广泛的应用．近几年来科技 发达国家的主要公司对神经网络芯片、生物芯片独有情钟．例如Intel公司、IBM公司、AT &T公司和HNC公司等已取得了多项专利，已有产品进入市场，被国防、企业和科研部门选 用，公众手中也拥有神经网络实用化的工具，其商业化令人鼓舞．尽管神经计算机、光学神 经计算机和生物计算机等研制工作的艰巨性和长期性，但有一点可以使人欣慰：它现在还只 是初露锋芒，有巨大的潜力与机会，前景是美好的．
　　事实上，探究大脑—思维—计算之间的关系还刚刚开始，道路还十分漫长，关于脑的计算原 理及其复杂性；关于学习、联想和记忆过程的机理及其模拟等方面的研究已受到人们的关注 ，它未来的发展必将是激动人心的．神经网络理论的前沿问题将渗透在21世纪科学的挑战性 问题中，可能取得重大的突破．

2　发展历史及现状

　　神经网络诞生半个多世纪以来，经历了5个阶段：
　　(1)奠基阶段.早在40年代初，神经解剖学、神经生理学、心理学以及人脑神 经元的电生理的研究等都富有成果．其中，神经生物学家McCulloch提倡数字化具有特 别意义．他与青年数学家Pitts合作［1］，从人脑信息处理观点出发，采用数理 模型的方法研究了脑细胞的动作和结构及其生物神经元的一些基本生理特性，他们提出了第 一个神经计算模型，即神经元的阈值元件模型，简称MP模型，他们认识到了模拟大脑可 用于逻辑运行的网络，有一些结点，及结点与结点之间相互联系，构成一个简单神经网络模 型．其主要贡献在于，结点的并行计算能力很强，为计算神经行为的某此方面提供了可能性 ，从而开创了神经网络的研究．这一革命性的思想，产生了很大影响．
　　举例说，数学家Kleene在此基础上抽象成一种有限自动机理论．Wiener是控制论的创 始人之一，1948年他出版了著名专著Cybernetics［2］,探讨了动物和机器的控制 和通讯问题，他在1961年增补了两章内容，主要是讨论学习和自生殖问题，他选择机器学习 下棋问题作为研究对象，对脑电波与自组织系统进行了探索．尤其是，MP模型是最终导致 Neumann电子计算机诞生的重要因素之一，数学家Neumann［3］是现代计算机科学 的创始人之一，又是最初的神经网络设想者之一．他研究了自我繁衍自动机，而且证明了至 少存在一种确实能够自我繁衍的分子自动机模型，1966年他提出了元胞自动机，可用来模拟 生命系统所具有的自复制功能，还可用来模拟其他的自然现象．但有很多元胞自动机也并不 一定对某个连续系统的离散化描述得好．于是，Neumann又设想一种新的计算机：基于 自动机理论、自然和人工智能知识的计算机．
　　此外，数学家Turing建立了通用计算机的抽象模型［4，5］，他和Post ［6］都证明了一个重要定理：原则上存在着一种“万能自动机”，它能识别任何别的自 动机能够识别的符号串．Turing机理论，为带有存贮程序的计算机的形式程序语言的发 明提供了理论框架．重要的是，他研究了算法而不是公理系统的效率．并行处理和串行处理 在原则上尽管相同，但区别在于，整个计算的效率或速度不同．值得注意的是，Turing 机和逻辑神经网络之间或多或少的等价值得到了证明，使人们对于大脑和计算机之间的类似 性的信念进一步加强了．可惜当时人们认为这种类似都是基于逻辑单元的相似性，而作为信 息处理工具的神经系统，人们还缺乏认识．
　　1949年神经生物学家Hebb［7］的论著The Organization of Behavior，对大脑神经细胞、学习与条件反射作了大胆地假设，称为Hebb学习规则．他的基本思想是，假 设大脑经常在突触上做微妙的变化，突触联系强度可变是学习和记忆的基础，其强化过程导 致了大脑自组织形成细胞集合(几千个神经元的子结合)，其中循环神经冲动会自我强化，并继续循环，任何一个神经元同属于多个细胞集合，可以说，细胞集合是大脑思维信息的基本 量子．他给出了突触调节模型，描述了分布记忆，它后来被称为关联论(connectionist )．由于这种模型是被动学习过程，并只适用于正交矢量的情况，后来研究者把突触的变化 与突触前后电位相关联，在他的基础上作了变形和扩充．说明Hebb对神经网络的发展起 到了重大的推动作用，至今仍然被人们引证．
　　50年代初，神经网络理论具备了初步模拟实验的条件．Rochester，Holland与IBM公司的研究人员合作，他们通过网络吸取经验来调节强度，以这种方式模拟Hebb的学习规则，在IBM701计算机上运行，取得了成功，终于出现了许多突现现象，几乎有大脑的处理风格．但，最大规模的模拟神经网络也只有1000个神经元，而每个神经元又只有16个结合点．再 往下做试验，便受到计算机的限制．Hebb的学习规则理论还影响了正在IBM实习的 研究生McCarthy，他参入IBM的一个小组，探讨有关游戏的智能程序，后来他成为 人工智能的主要创始人之一．人工智能的另一个主要创始人Minsky于1954年对神经系统 如何能够学习进行了研究，并把这种想法写入他的博士论文中，后来他对Rosenblatt建 立的感知器(Perceptron)的学习模型作了深入分析．
　　1952年英国生物学家Hodgkin和Huxley建立了长枪乌贼巨大轴索非线性动力学微分方程 ，简称H-H方程，形如　　

　　　　　　　　　
　　　　　　　　　

解释略．由于Hodgkin和Huxley研究的成果有重大理论及应用价值，他们荣获了诺贝尔生理医学奖．他们的著名方程引起了许多学者的关注，方程中包含了丰富的内容，对理论和实践产生了极大的作用，有些学者对H-H方程研究得到了很多有意义的结果．如，发现了神经膜中所发生的非线性现象：自激振荡、混沌及多重稳定性等，几乎都可用这个方程来 描述．
　　1954年生理学家Eccles提出了真实突触的分流模型［8］，并通过突触的电生理实验得到证实．其重要意义是，为神经网络模拟突触的功能提供了原型和生理学的证据．1956年Uttley发明了一种由处理单元组成的推理机，他称这种处理单元为信息子(informo n)，用推理机模拟行为及条件反射现象．它是一种线性分离器，利用Shannon的熵值与输 入输出概率之比的自然对数来调节其输入参数．他在70年代中期把它应用于自适应模式识别 ，他认为这种模型是实际神经系统的工作原理，并出版了专著Information Transmission in the Nervous System．
　　(2)第一次高潮阶段．　1958年计算机科学家Rosenblatt［9］基于MP模型，增加了学习机制，推广了MP模型．他证明了两层感知器能够将输入分为两类，假如这两种类型是线性并可分，也就是一个超平面能将输入空间分割，其感知器收敛定理：输入和输出层之间的权重的调节正比于计算输出值与期望输出之差．他提出的感知器模型，首次把神经网络理论付诸工程实现．例如，1957年到1958年间在他的帅领下完成了第一台真正的神经计算机，即：Mark Ⅰ的感知器．他还指出了带隐层处理元件的3层感知 器这一重要的研究方向，并尝试将两层感知器推广到3层．但他未能找到比较严格的数学方法来训练隐层处理单元．这种感知器是一种学习和自组织的心理学模型，其结构体现了神经生理学的知识．当模型的学习环境有噪音时，内部结构有相应的随机联系，这种感知器的学习规则是突触强化律，它可能应用在模式识别和联想记忆等方面．可以说，他的模型包含了一些现代神经计算机的基本原理，而且是神经网络方法和技术上的重大突破，他是现代神经网络的主要建构者之一．Rosenblatt之举激发了许多学者对神经网络研究的极大兴趣． 美国上百家有影响的实验室纷纷投入这个领域，军方给予巨额资金资助，如，对声纳波识别 ，迅速确定敌方的潜水艇位置，经过一段时间的研究终于获得了一定的成果．这些事实说明 ，神经网络形成了首次高潮．
　　1960年Widrow和Hoff提出了自适应线性元件ADACINE网络模型［10］，是一 种连续取值的线性网络，主要用于自适应系统．他们研究了一定条件下输入为线性可分问题 ，期望响应与计算响应的误差可能搜索到全局最小值，网络经过训练抵消通信中的回波和噪 声，它还可应用在天气预报方面．这是第一个对实际问题起作用的神经网络．他们还对3层 网络进行过尝试，但仍给不出数学解．可以说，他们对分段线性网络的训练有一定作用，是 自适应控制的理论基础．Widrow等人在70年代，以此为基础扩充了ADALINE的学习能力 ，80年代他们得到了一种多层学习算法．
　　在神经网络中，出现一种持续不衰减的周期性兴奋波，称为回响(reverberation)现象 ．人们关心的问题是产生回响的条件，网络的参数对回响的周期、幅度等性质的影响，以及 如何通过外部来控制回响波．从而利用神经网络的节律性，并解释脑电波中的α节律．1961 年意大利科学家Caianiello基于神经元模型，引入了不应期特性，提出一个神经方程 　　


式中1［.］是单位阶跃函数，Si是第i个神经元所受到的外界刺激，θi是第i个神经元的阈值，t-r是过去的某一时刻，H是影响网络所持续的最长时间，Wij(r)是影响权重，它有兴奋性和抑制性两种输入．该方程同时考虑神经元的空间和时间性质，而且取离散值，用网络内部结构不变的方式来描述神经网络中的回响现象．它的局限性在于，不能反映学习和记忆过程．由于该方程中出现一个非线性函数，所以用它研究回响现象时，就会 遇到一个在非线性系统中求周期解的问题，而这是一个相当复杂的问题．随后，Caianiello根据Hebb假说，发展了他自己的模型，描述了学习和记忆过程中重复强化因素，以及遗忘过程为饱和性质，给出了一种记忆方程


　　有趣的是，Cainaniello对脑的某一状态所对应不同的参数作了举例说明．比如，对应于理解、联想、忘记、睡眠和梦等出现的情况．但他给出的方程组很难求出定量解，并且还未与神经系统的结构相结合，仅仅对神经系统的功能作一些定性分析．当然，他的非线性时变方程组，在一些简化的特殊条件下可以得到解析解．所以许多学者在计算机上用模拟方法研究这个相当复杂的问题．
　　1962年Rosenblatt对他的感知器作了总结［11］．还有些科学家采用其它数学模 型，如，用代数、矩阵等方法来研究神经网络．值得一提的是，我国中科院生物物理所在19 65年提出用矩阵法描述一些神经网络模型．他们重点研究视觉系统信息传递过程和加工的机 理以及建立有关数学模型．此外，Fogel、Owens和Walsh在1966年出版了一本关于进化规 划的专著Artificial Intelligience Through Simulated Evolution．由于该书所提倡的 思想方法根本不合当时人工智能的主流，受到学术界的怀疑，一直到90年代初才被人们重视 ．
　　60年代中、后期，Grossberg［12，13］从信息处理的角度，研究了思维和大脑结合的理论问题，运用数学方法研究自组织性、自稳定性和自调节性，以及直接存取信息的有关模型．他建立了一种神网络结构，即：他给出的内星(instar)、外星(outstar)和雪崩(av alanche)为最小的结构．他提出的雪崩网可用于空间模式的学习和回忆以及时间模式的处 理方面，如，执行连续语音识别和控制机器人手臂的运动．他的这些成果，对当时影响很大 ，有些学者与Grossberg合作，他组建的自适应系统中心取得了丰硕的成果，几乎涉及到 神经网络的各个领域．日本神经网络理论家Amari注重生物神经网络的行为与严格的数学 描述相结合，尤其是对信任分配问题的研究，得到许多重要结果．Willshaw等人［14］提出了一种模型：存贮输入信号和只给出部分输入，恢复较完整的信号，即全息音( holophone)模型．这为利用光学原理实现神经网络奠定了理论基础，为全息图与联想记 忆关系的本质问题的研究开辟了一条新途径．Nilsson对多层机，即具有隐层的广义认 知机作了精辟论述［15］，他认为网络计算过程实质上是一种坐标变换或是一种映射．他已对这类系统的结构和功能有比较清楚的认识．但他没有给出一种实用的学习算法．那时，尚无人知道训练由多层阈值逻辑单元(TLUs)组成的多层机的实用方法．60年代，美国在视感控制方面曾热过一阵子，由于识别视觉特征的功能一直得不到增强，于是受到冷落，主要是缺乏理论的正确指导．不言而喻，要解决这样复杂的问题就应该建立它的基本理 论．直到80年代初，Ullman指出了似运动机制的计算理论、Marr的视觉理论，他们为 这一领域的发展奠定了坚实的理论基础．
　　(3) 坚持阶段．　神经网络理论那遥远但并非遥不可及的目标着实吸引了很多人的目光，美国军方 认为神经网络工程应当比“原子弹工程”更重要，并对它的投资兴趣非常大，而对其实践的 效果也比较满意．这时，Minsky警觉的是，人工智能的发展与前途问题．以顺序离符号推导为其基本特征与神经网络大相径庭．他引发学术界的争议，导致对人工智能投资的增加．他从感知器的功能及局限性入手，在数学上进行了分析，证明了感知器不能实现XOR 逻辑函数问题，也不能实现其它的谓词函数．他认识到感知器式的简单神经网络对 认知群不变性无能为力．1969年Minsky和Papert在MIT出版了一本论著Percertrons，对 当时与感知器有关的研究及其发展产生了恶劣的影响，有些学者把研究兴趣转移到人工智能 或数字计算机有关的理论和应用方面．这样，推动了人工智能的发展，使它占了主导地位．美国在此后15年里从未资助神经网络研究课题，前苏联有关研究机构也受到感染，终止了已经资助的神经网络研究的课题．
　　Minsky对感知器的评论有一定启发性．然而更多的是他的偏爱和误导．美国科学家Simon 甚至在1984年出版的一本论著Patterns and Operators： The Foundation of Data Re presentation中还在判感知器死刑．说明他对神经网络理论在70年代至80年代初有关 感知器方面的成果缺乏了解．更遗憾的是，Minsky和Papert没有看到日本科学家Amari 在1967年对信任分配问题的数学求解这一重要成果．如果他们知道，写那本书就会谨慎，也 就绝对不会产生当时那种影响．后来，Minsky出席了首届国际神经网络会议(1987年)，他 发表演说：过去他对Rosenblatt提出的感知器下的结论太早又太死，在客观上，阻碍了神 经网络的发展．
　　最有意义的是，仍然有少数天才的具有远见卓识的科学家在坚持不断的研究神经网络理论， 有的科学家在此期间投入到这个领域，带来了新的活力．他们取得了理论上的一系列重要成 果．举例如下：
　　Holland于1960年卷入基因遗传算法及选择问题的数学方法分析和基本理论的研究中，经过长期探索与实践，建立了遗传算法理论［16，17］．遗传算法是一种借鉴生物界自然选择和自然遗传机制的高度并行、随机、自适应搜索算法，从而开拓了神经网络理论的一个新的研究方向．然而，当时产生共鸣的只有他指导的博士和人工智能中少数的学者，在计算机科学世界里没有把他的“古怪”的理论真的当一回事．与此同时，Holland 也没有把自己的理论应用到会引起广泛注意的那些实用问题并可争取到不少的投资．他从不对自己的理论外廓喧染，而是只顾那种兴趣以及他的研究进展．当然，Holland的研究与人工智能的主流研究方向正相反．他认为学习问题和来自环境的反馈问题是生物进化的 根本问题，竞争比连贯一致更为本质．他设计的分类器系统的规则会随时间而改变和进化， 这很重要，并在计算机上模拟了突现模型，系统具有开采—探险式学习能力．后来，他的一 名学生Goldberg博士在1983年将这个理论成功的应用到煤气管道的模拟系统上. 在一些 心理学实验中他的理论也得到了验证．
　　1974年Stein, Lenng, Mangeron和Oguztoreli提出了一种连续的神经元模型［18］，采用泛函微分方程来描述各种普通类型的神经元的基本特征，方程形如


式中把t时刻规范化的轴突冲动频x(t) (0≤x(t)≤1)和神经细胞的输入f(t)联系起来．常数 a＞0, 0＜p＜q和b是个别神经元的特性或某特殊类神经元的特性．若b值取负(通常情况)， 则积分项表示抑制新冲动的产生．1976年Heiden研究这个方程的性质，他引入变量，即


把他们的方程化为3维动力系统，形如


　　Heiden得到了一些重要的结论［19］．如，该系统可化为竞争系统，方程至少有一周期轨道，其Floquet特征乘数的模不大于1和系统存在唯一的渐近稳定的周期轨道等，表明神经元中存在振荡行为，并且还是循环的．
　　1976年Grossberg［20］提出自适应共振理论(ART)，这是感知器较完善的模型，即superrised学习方式．本质上说，仍是一种unsuperrised学习方式．随后，他与Carpen ter一起研究ART网络，它有两种结构ART1和ART2，能够识别或分类任意多个复杂的二元输入图像，其学习过程有自组织和自稳定的特征，一般认为它是一种先进的学习模型．
　　类似的情形：Werbos［21］提出的BP理论以及提出的反向传播原理；Fukushima ［22］提出了视觉图象识别的Neocognitron模型，后来他重新定义了Neocognitron; Am ari［23］对神经网络的数学理论研究受到一些学者的关注；Feldmann，Ballard，Ru melhart和McClelland等学者致力于连续机制，并行分布处理(PDP)的计算原则和算法研究， 他们提出了许多重要的概念和模型；Rechenber提出了进化随机策略，并成功的应用到物体风洞试验中；Kohonen出版了一本专著Associative Memory-A System Theoretic Approach (1977年)，他阐述了全息存储器与联想存储器的关系，详细讨论了矩阵联想存储器，这两 种存储都是线性的，并以互联想的方式工作，实现起来比较容易．
　　上述研究成果的影响在扩大，坚定的神经网络理论家仍在继续研究，为掀起第二次高潮作好 了准备．可以肯定，神经网络理论在坚持阶段不仅有活力，它的独立性非常强，许多论文和专著将逐步融入科学知识中．
　　(4) 第二次高潮阶段．　Kohonen提出了自组织映射网络模型［24-26］，映射具有拓扑性质，对一维、二维是正确的，并在计算机上进行了模拟，通过实例 所展示的自适应学习效果显著．他认为有可能推广到更高维的情况．当时，他的自组织网络 的局部与全局稳定性问题还没有得到解决．值得一提的是，Hinton和Anderson的著作Para llel Models of Associative Memory产生了一定的影响．由于理想的神经元连接组成的理 论模型也具有联想存储功能，因此特别有意义．这类神经网络从40年代初就有学者在研究． 当然，不同时期总有新的认识．1982年生物物理学家Hopfield［27］详细阐述了它的 特性，他对网络存储器描述得更加精细，他认识到这种算法是将联想存储器问题归结为求某 个评价函数极小值的问题，适合于递归过程求解，并引入Lyapunov函数进行分析．在网络中 ，节点间以一种随机异步处理方式相互访问，并修正自身输出值，可用神经网络来实现，从 而这类网络的稳定性有了判据，其模式具有联想记忆和优化计算的功能．并给出系统运动方 程，即Hopfield神经网络的神经元模型是一组非线性微分方程


其中ui是第i个神经元的膜电位，Ci、Ri分别是输入电容和电阻，Ii是电路外的输 入电流，Tij是第J个神经元对第i神经元的联系强度，f(u)是u的非线性函数，一般 取S型曲线或阶跃函数．他构造出Lyapunov函数，并证明了在Tij=Tji情况下，网络在平衡点附近的稳定性，并对这种模型以电子电路来实现．这样，研究取得了重大的突破，对神经网络理论的发展产生了深远的影响．1982年Hopfield向美国科学院提交了关于神经网络的报告，其主要内容是，建议收集和重视以前对神经网络所做的许多研究工作，他指出了各种模型的实用性．从此，第二次高潮的序幕拉开了．
　　Marr开辟了视觉和神经科学研究的新篇章，他的视觉计算理论对视觉信息加工的过程进 行了全面、系统和深刻的描述，对计算理论、算法、神经实现机制及其硬件所组成的3个层 次作了阐述．1982年Marr［28］的著作Vision使许多学者受益，被认为是最具权 威性和经典性的著作．在Marr的理论框架的启示下，Hopfield于1982年至1986年提出了 神经网络集体运算功能的理论框架［29-31］，随后，引起许多学者研究Hopfield 网络的热潮，对它作改进、提高、补充、变形等，至今仍在进行，推动了神经网络的发展 ．例如：1986年Lee［32］引入高阶突触连接，使这一网络的存储有相当大的提 高，并且收敛快，但随着阶数的增加，连接键的数目急剧增加，实现起来就越困难，得不到 技术的支持．Lapedes［33］提出的主—从网络是对它的发展，并充分利用了联 想记忆及制约优化双重功能，还可推广到环境随时间变化的动态情况，但对于大N，主网络 的维数很高，也成为一个实际困难；一些研究者发现,Hopfield网络中的平衡点位置未知，即使给出一具体平衡位置，用他的方法也不能确定其稳定性，只得到极小值点满足的必要条件，而非充分条件．Hopfield网络在求解TSP问题上也存在一些问题，需要改进． 另外，有些学者试图建立实用稳定性，有一定理由，它可以体现容错能力．
　　1983年Kirkpatrick等人［34］首先认识到模拟退火算法可应用于NP完全组合优化问题的求解．这种思想最早是由Metropolis等人在1953年提出的，即固体热平衡问题，通过模拟高温物体退火过程的方法，来找全局最优或近似全局最优，并给出了算法的 接受准则．这是一种很有效的近似算法．实际上，它是基于Monte Carlo迭代法的一种启 发式随机搜索算法．1984年Hinton等人［35，36］提出了Boltzmann机模型，借用 统计物理学中的概念和方法，引入了模拟退火方法，可用于设计分类和学习算法方面，并首 次表明多层网络是可训练的．它是一种神经网络连接模型，即由有限个被称之为单元的神经 元经一定强度的连接构成，又是一种神经计算机模型．Sejnowski［37］于1986年 对它进行了改进，提出了高阶Boltzmann机和快速退火等．这些成为随机神经网络的基本 理论．
　　Poggio等人［38，39］以Marr视觉理论为基础，对视觉算法进行了研究，在1984 年和1985年他提出了初级视觉的正则化方法，使视觉计算的研究有了突破性进展．我国生物 物理学家汪云九提出了视觉神经元的广义Gabor函数(EG)模型，以及有关立体视觉、纹 理检测、运动方向检测、超视觉度现象的计算模型．汪云九等人还建立了初级视觉神经动力 学框架，他们开辟了一条新的途径．
　　Hecht-Nielsen是一位地道的学者式企业家，他是神经计算机最早的设计者之一，对神 经网络理论、应用及商业化作出了重要贡献．早在1979年，他开始制定Motorola神经计 算的研究与发展计划，在此基础上，于1983年又进一步制定了TRW的计划，构造了一种 对传网络的多层模式识别神经网络，主要适用图象压缩和统计分析，他还成功设计了一种神 经计算机称为TRW MarkⅢ，1987年将它投入商业应用，并且设计了Grossberg式时 空匹配滤波器．他在1988年证明了反向传播算法对于多种映射的收敛性［40］．
　　1986年Rumelhart和McClelland 合著的Parallel Distributed Processing: Exploratio n in the Microstructures of Cognition两卷书出版，对神经网络的进展起了极大的推 动作用．它展示了PDP研究集团的最高水平，包括了物理学、数学、分子生物学、神经 科学、心理学和计算机科学等许多相关学科的著名学者从不同研究方向或领域取得的成果． 他们建立了并行分布处理理论，主要致力于认知的微观研究．尤其是，Rumelhart提出 了多层网络Back-Propagation法或称Error Propagation法，这就是后来著名的BP算法 ，受到许多学者的重视．
　　此外，我国系统科学家钱学森在80年代初倡导研究“思维科学”．1986年他主编的论文 集《关于思维科学》出版［41］，书中有关神经网络方面的论文：刘觐龙对“思 维神经基础”的探讨；洪加威对“思维的一个确定型离散数学模型”的研究；陈霖的长篇文 章“拓扑性质检测”．这本书引起了国内学术界有关人士的极大反响．
　　1987年在圣地雅哥召开了首届国际神经网络大会，国际神经网络联合会(INNS)宣告成立 ．嗣后，INSS创办的刊物Journal Neural Networks问世，还诞生十几种国际著名的神经 网络学术刊物．神经网络理论经过半个多世纪的发展，人们看到它已经硕果累累．于是，美 国国防部高级预研计划局(DARPA)组织了一批专家、教授进行调研，走访了三千多位有关 研究者和著名学者，于1988年2月完成了一份长达三百多页的神经网络研究计划论证报告． 并从11月开始执行一项发展神经网络及其应用的八年计划，投资4亿美元．美国国家科学基 金会(NSF)于1987年拨款50万美元，1989年NSF、ONR & AFOSR投资达1千万美元．DARP A的看法是，神经网络是解决机器智能的唯一希望．世界上一些著名大学纷纷成立神经网络 研究所、制订有关教育计划．许多国家相应成立了神经网络学会，定期召开国际性、区域性 会议，如：1990年欧洲召开首届国际会议Parallel Problem Solving from Nature (PPSN), 1994年IEEE神经网络学会主持召开了第一届进化计算国际会议．
　　我国学术界大约在80年代中期关注神经网络领域，有一些科学家起到先导的作用，如中科 院生物物理所科学家汪云九，姚国正和齐翔林等［42］；北京大学非线性研究中心在 1988年9月发起举办了Beijing International Workshop on Neural Networks: Learning and Recognition, a Modern Approach．INNS秘书长Szu博士在会议期间作了神经网络一 系列讲座，后来这些内容出版了［43］．从这时起，我国有些数学家和计算机科学家 开始对这一领域产生兴趣，开展了一定的研究工作．
　　1989年召开了全国一个非正式的神经网络会议，1990年我国的八个学会联合在北京召开了神 经网络首届学术大会，国内新闻媒体纷纷报道这一重大盛会，这是我国神经网络发展以及走 向世界的良好开端．1991年在南京召开了中国神经网络学术大会(第二届)，会上成立了中国 神经网络学会．我国“863”高技术研究计划和“攀登”计划于1990年批准了人工神经网络 的3项课题，自然科学基金和国防科技预研基地也都把神经网络的研究列入选题指南．许多 全国性学术年会和一些学术刊物把神经网络理论及应用方面的论文列为重点．这些毫无疑问 ，为神经网络在我国发展创造了良好的条件，促使我们加快步伐缩短我国在这个领域的差距 ．INNS开始重视我国，把1992年国际神经网络学会、IEEE神经网络委员主办的国际性学术 会议IJCNN定在北京召开．
　　1988年Chua和Yang提出了细胞神经网络(CNN)模型［44，45］，它是一个大规模 非线性计算机仿真系统，具有细胞自动机的动力学特征．它的出现对神经网络理论的发展产 生了很大的影响．另外，Kosko建立了双向联想存储模型(BAM)［46～48］，它具 有非监督学习能力，是一种实时学习和回忆模式，并建立了它的全局稳定性的动力学系统．
　　Mead是VLSI系统的创建者，他和Conway、Mahowald等人合作，研制一种动物神经系统的电 子电路模拟，即称硅神经系统．如，在一方阵中含几千个光敏单元的VLSI芯片，它是以人的 视网膜中锥体细胞的方式来连接一块VLSI芯片．对此，他在1989年出版了专著Analog VLSI and Neural System Mead．Muhlenbein［49，50］提出了一种进化系统理论的形式模 型，是一种遗传神经网络模型．其基本思想是来源于Waddington在1974年发表的论文，对基 因型与表型关系进行了描述．Aleksander［51］提出了概率逻辑基于Markov chain 理论，对其收敛性、结构以及记忆容量等研究，为概率逻辑神经元网络的发展提供了新的方 法和途径．
　　上述例证说明，这次高潮吸引了许多科学家来研究神经网络理论，优秀论著，重大成果如雨 后春笋，新生长的应用领域受到工程技术人员的极大赞赏．
　　(5) 新发展阶段．　从神经网络理论的发展史看，它的高潮阶段是很容易度 过的．IJCNN91大会主席Rumelhart意识到这一点，在他的开幕词中有一个观点，神经网络 的发展已到了一个转折的时期，它的范围正在不断扩大，其应用领域几乎包括各个方面．半 个世纪以来，这门学科的理论和技术基础已达到了一定规模，笔者认为，神经网络到了新发 展阶段，需要不断完善和突破，使其技术和应用得到有力的支持．
　　90年代初，对神经网络的发展产生了很大的影响是诺贝尔奖获得者Edelman提出了Darwini sm模型，其主要3种形式是DarwinismⅠ、Ⅱ、Ⅲ．他建立了一种神经网络系统理论，例如 ，DarwinismⅢ的结构，其组成包括输入阵列、Darwin网络和Nallance网络，并且这两个网 络是并行的，而它们又包含了不同功能的一些子网络．他采用了Hebb权值修正规则，当一定 的运动刺激模式作用后，系统通过进化，学会扫描和跟踪目标．该系统中关于群(group)的 作用，他早在1984年就阐述了，即神经模式的选择阶段是群限制、群选择和群竞争．
　　1994年廖晓昕［52］对细胞神经网络建立了新的数学理论与基础，得出了一系列结 果．如，耗散性、平衡位置的数目及表示，平衡态的全局稳定性、区域稳定性、周期解的存 在性和吸引性等．使这个领域取得了新的进展，他认为该理论有巨大的潜在应用前景，它还 有待以此为基础来发展系统．
　　神经网络的光学方法，能充分发挥光学强大的互连能力和并行处理能力，提高神经网络实 现的规模，从而加强网络的自适应功能和学习功能，因此近来引起不少学者重视．Wunsch 在90 OSA年会提出一种Annual Meeting，用光电执行ART，它的主要计算强度由光学硬件完 成，光电ART单元的基本构件为双透镜组光学相关器，并采用光空间调节器完成二值纯相 位滤波和输入图象的二维Fourier变换，它的学习过程有自适应滤波和推理功能，可以把光 学有机组合在其中，具有快速和稳定的学习的特点，网络所需神经元数目大量减少，而且人 为调节参数也减少很多．1995年Jenkins等人［53］研究了光学神经网络(PNN)，建立 了光学二维并行互连与电子学混合的光学神经网络系统，实现了光学神经元，它是解决光学 实现相减和取阈问题的新动向．值得重视的是，90年代初，McAulay，Jewel等许多学者致力 于电子俘获材料应用于光学神经网络的研究［54，55］，在光存储等方面取得一定成 果，受到人们的关注．最近，阮昊等人采用他们研制的Cas (Eu, Sm)电子浮获材料实现IPA( Interpattern Association)和Hopfield等那些互联权重不变的神经网络模型［56］ ，他们认为，采用这种方式还可实现如感知器等那些通过学习来改变互联权重的网络模型 ．这些，对光学神经网络的发展起到很大的推动作用．
　　对于不变性模式识别机制的理解，是对理论家的一大挑战，尤其是对于多目标的旋转不变 分类识别问题的研究，具有广泛的应用前景．最近，申金媛、母国光等人［57］提出 一种新方法，即基于联想存储级联WTA模型的旋转不变识别．当识别多个模式时就可联 想出一个模式，针对该问题，他们采用了全单极形式，对互连权重进行二值化截取，并把联 想存储模型与WTA模型级联起来，从而提高了存储容量和容错性，实现了多目标旋转不变分 类识别．他们选择四大类型飞行器作为仿真模拟，其方法可行和有效．
　　此外，Haken在1991年出版了一本论著Synergetic and Cognition：A Top-Down Approac h to Neural Nets．他把协同学引入神经网络．正如他认为的，这是研究和设计神 经网络的一种新颖方法．在他的理论框架中，强调整体性，认知过程是自发模式形成的，并 断言：模式识别就是模式形成．他提出了一个猜测：感知发动机模式的形成问题可以绕开模 式识别．他仍在摸索着如何才能使这种方法识别情节性景象和处理多意模式．
　　值得重视的是，吴佑寿等人［58］提出了一种激励函数可调的神 经网络模型，对神经网络理论的发展有重要意义．可以认为，先验知识不充分利用岂不可惜 ，但问题是先验知识有时不一定抓住了实质，存在一定局限性．因此，在设计激励函数可 调网络(TAF)时要谨慎．他们针对一个典型的模式分类难题，即双螺线问题来讨论TAF网 络的设计、激励函数的推导及其网络训练等，其实验结果表明这种网络方法的有效性和正确 性，尤其对一些可用数学描述的问题．另外，对模式识别中的手写汉字识别问题研究，有重 要的理论和应用价值．郝红卫和戴汝为［59］把统计识别方法与多层感知器网络综合 起来，他们提出了一种网络集成法，对4个不同手写汉字分类器进行集成．这个方法有一定 的推广性，对其它类似问题提供了一个范例．90年代，国内许多学者对Hopfield神经网络的 进一步研究很感兴趣，使它得到了一定的完善和发展．
　　90年代以来，人们较多地关注非线性系统的控制问题，通过神经网络方法来解决这类问题 ，已取得了突出的成果，它是一个重要的研究领域．1990年Narendra和Parthasarathy提出 了一种推广的动态神经网络系统及其连接权的学习算 法［60］，它可表示非线性特性，增强了鲁棒性．他们给出了一种新的辨识与控制方 案，以multilayer网络与recarrent网络统一的模型描述非线性动态系统，并提出了动态BP 参数在线调节方法．他们研究的是，假定对象为线性或非线性离散时间系统．有些学者对它 的学习算法计算量大和收敛速度慢进行了一定改进．值得重视的是，连续时间非线性动态系 统，如，仿射非线性系统可直接应用于广泛而真实的物理系统．值得一提的是，戴先中等人 ［61］提出了连续非线性系统的神经网络α阶逆系统控制方法，他们一方 面用静态神经网络逼近静态非线性函数；另一方面用积分器或微分器来体现系统的动态特性 ，并结合线性系统理论和方法，从而构成一种满足系统要求的复合控制器．可以说，这种控 制策略具有一定代表性和启发性．
　　Miller［62］等人基于Albus在1975年提出的小脑模型关节控制 器(CMAC)，研究了非线性动态系统控制问题，它具有局部逼近和修改权极小的 特点，可用于实时控制方面，但存在一个缺陷，即采用了间断超平面对非线性超曲的逼近， 有时出现精度不够，也有可能得不到相应的导数估计．这种方法一开始就被Miller［ 63］成功地应用于商用机器人的实时动态轨迹的跟踪控制中．Touretzky也成功应用于非 线性时间序列分析上．1992年Lane［64］对它作了改进，他采用高阶B-样条，使逼 近超平面的光滑性更好，虽然计算量有所增加，但在容忍范围之内，逼近精度有一定提高． 1993年Bulsari［65］提出以乘积Sigmoidal函数作为激发函数，给出了非线性系统用 神经网络逼近的构造性描述，得到了节点数目的一个上界估计．最近，朱文革［66］ 引入小波变换，并对其性质进行了分析．在Lp范数下，他也构造性证明了单个隐层前馈神 经网络逼近定理．1997年罗忠等人［67］对CMAC的收敛性以及hash编码对它的影响作 了矩阵分析和证明．另外，有些学者通过神经网络的训练来实现非线性系统的 状态反馈控制，其学习算法为非线性系统的学习控制提供了有效的方法．但它需要全状态反 馈信息，给实际应用带来了一定的困难，同时它的学习收敛速度还有待提高．
　　Davis在1991年编辑出版的Handbook of Genetic Algorithms，这本工具书对该领域的设 计和应用人员有很大的帮助．尤其是进化计算的概念在1992年形成，促进了这一理论的发展 ．1993年诞生了国际性杂志Evolutionary Computation．随后，IEEE神经网络委员会定期召 开进化计算国际会议．近几年它成为一个热点研究领域．1993年Yip和Pao提出了一种带区域 指引的进化模拟退火算法，他们将进化策略引入区域指引，它经过选优过程，最终达到求解 问题的目的．近几年有些学者对它进行了改进，如，蔚承建等人［68］在随机搜索过 程中引入区域指引，并采用Cauchy变异替换Gaussian变异产生后代，使算法的可收敛性及其 速度有所提高．他们将这种方法成功的应用于转动圆桌平衡摆盘问题的求解．值得一提的是 ，1997年张讲社等人［69］将Markov链表示遗传算法，并引进模拟退火的方法．还有 类似的混合法及其改进，如提高收敛速度，避免过早收敛，同时避免陷进局部极值的情况．
　　必须指出，神经网络的计算复杂性分析具有重要意义．有些学者产生了极大兴趣，如19 91年Hertz［70］探讨了神经计算理论；1992年Anthony［71］出版了一本论著 Computational Learing Theory； 1995年阎平凡［72］讨论了神经网络的容量、推 广能力、学习性及其计算复杂性．可以说，这方面的理论成果越多，对应用的作用就越大．
　　从上述各个阶段发展轨迹来看，神经网络理论有更强的数学性质和生物学特征，尤其是神经 科学、心理学和认识科学等方面提出一些重大问题，是向神经网络理论研究的新挑战，因而 也是它发展的最大机会．90年代神经网络理论日益变得更加外向，注视着自身与科学技术之 间的相互作用，不断产生具有重要意义的概念和方法，并形成良好的工具．

3　发展趋向及前沿问题

　　展望21世纪初，在近十年神经网络理论研究趋向的背景下，笔者认为神经网络理论的主要前 沿领域包括：
　　(1) 对智能和机器关系问题的认识将进一步增长．
　　研究人类智力一直是科学发展中最有意义，也是空前困难的挑战性问题．人脑是我们所知道 的唯一智能系统，它具有感知识别、学习、联想、记忆、推理等智能，80年代中期出现了“ 联结主义”的革命，或“并行分布处理(PDP)”，它又被普遍地称为神经网络，具有自学习 、自适应和自组织的特点，也是神经网络迫切需要增强的主要功能．进一步研究调节多层感 知器的算法，使建立的模型和学习算法成为适应性神经网络的有力工具，构建多层感知器与 自组织特征图级联想的复合网络，是增强网络解决实际问题能力的一个有效途径．重视联结 的可编程性问题和通用性问题的研究，从而促进智能科学的发展．我们通过不断探索人类智 能的本质以及联结机制，并用人工系统复现或部分复现，制造各种智能机器，这样，可使人 类有更多的时间和机会从事更为复杂、更富创造性的工作．
　　智能的产生和变化经过了漫长的进化过程，我们对智能处理的新方法的灵感主要来自神经科 学，例如学习、记忆实质上是突触的功能，而海兔的小系统神经元是研究学习记忆突触机 制的天然模型，在细胞和分子水平上研究，为我们提供真正的实证．又如，人类大脑的前额 叶高度发育，它几乎占了30%大脑的表面积 ，在其附近形成了人类才出现的语言运动区，它与智能发育可能密切相关，使神经系统的发 育同环境的关系更加密切，脑的可塑性很大，能主动适应环境还能主动改造环境，人类向制 造智能工具方向迈进正是这种主动性的反映．事实上，脑的可塑期越长，经验对脑的影响就 越大，而人类的认知过程很大程度上不仅受经验主义的影响，而且还接受理性主义的模型和 解释．因此，对于智能和机器的关系，应该从进化的角度，把智能活动看成动态发展的过程，并合理的发挥经验的作用．同时还应该从环境与社会约束以及历史文化约束的角度加深对 它的理解与分析．
　　神经网络是由大量处理单元组成的非线性、自适应、自组织系统，它是现代神经科学研究成 果的基础上提出的，试图模拟神经网络加工、记忆信息的方式，设计一种新的机器，使之具 有人脑风格的信息处理能力．智能理论所面对的课题来自“环境—问题—目的”，有极大的 诱惑力与压力，它的发展方向就将是，把基于联结主义的神经网络理论、基于符号主义的人 工智能专家系统理论和基于进化论的人工生命这三大研究领域，在共同追求的总目标下，自 发而有机的结合起来．在这里我们只想重复一下我们的信念并推测：在21世纪初，智能的机 器实现问题的研究将有新的进展和突破．
　　(2) 神经计算和进化计算将有重大的发展．
　　计算和算法是人类自古以来十分重视的研究领域，本世纪30年代，符号逻辑方面的研究非常 活跃．例如Church、Kleene、Godel、Post、Turing等数学家都给出了可计算性算法的精确 数学定义，对后来的计算和算法的发展影响很大．50年代数学家Markov发展了Post系统．80 年代以后，神经网络理论在计算理论方面取得了引 人注目的成果，形成了神经计算和进化计算新概念，激起了许多理论家的强烈兴趣，如前所 述，大规模平行计算是对基于Turing机的离散符号理论的根本性的冲击，但90年代人们更多 的是批评的接受它，并将两者结合起来，近年来，神经计算和进化计算领域很活跃，有新的 发展动向，在从系统层次向细胞层次转化里，正在建立数学理论基础．随着人们不断探索新 的计算和算法，将推动计算理论向计算智能化方向发展，在21世纪人类将全面进入信息社会 ，对信息的获取、处理和传输问题；对网络路由优化问题；对数据安全和保密问题等等将有 新的要求，这些将成为社会运行的首要任务，因此，神经计算和进化计算与高速信息网络理 论联系将更加密切，并在计算机网络领域中发挥巨大的作用，例如，大范围计算机网络的自 组织功能实现就要进行进化计算．
　　现有的一些神经网络模型并没有攻克组合爆炸问题，只是把计算量转交给了学习算法来完成 ，具体说，增加处理机数目一般不能明显增加近似求解的规模．可以说，有些神经网络模型 的计算(学习)时间与神经元有多少事实上关系不太大，却与学习的样本有明显的依赖关系． 值得注意的是，尽管采用大规模并行处理机是神经网络计算的重要特征，但我们还应寻找其 它有效方法，建立具有计算复杂性、网络容错性和坚韧性的计算理论．
　　人类的思维方式正在转变：从线性思维转到非线性思维．神经元、神经网络都有非线性、非 局域性、非定常性、非凸性和混沌等特性，我们在计算智能的层次上研究非线性动力系统、 混 沌神经网络以及对神经网络的数理研究．进一步研究自适应性子波、非线性神经场的兴奋 模式、神经集团的宏观力学等．因为，非线性问题的研究是神经网络理论发展的一个最大 动力，也是它面临的最大挑战．此外，神经网络与各种控制方法有机结合具有很大发展前景 ， 建模算法和控制系统的稳定性等研究仍为热点问题，而容忍控制、可塑性研究可能成为新的 热点问题．开展进化并行算法的稳定性分析及误差估计方面的研究将会促进进化计算的发展 ．把学习性并行算法与计算复杂性联系起 来，必须分析这些网络模型的计算复杂性以及正确性，从而确定计算是否经济合理．关注神 经信息处理和脑能量两个方面以及它们的综合分析研究的最新动态，吸收当代脑构象等各种 新技术和新方法．例如，在1994年Science杂志上，生物化学家Adleman发表了 一篇论文：Molecular Computation of Solutions to Combinatorial Problems， 他采用 超并行的DNA求解组合问题，他是DNA计算的创建者之一，随后，他制造的超并行DNA计算机T T-100取得了技术上的突破．这一具有重大价值的理论和方法，是对NP完全问题和数据加密 标准系统等发起了最猛烈的攻击．因此，神经网络在DNA序列分析上的应用会更受人们的关 注．
　　很明显，离散符号计算、神经计算和进化计算相互促进．从道理上说，也许最终导致这3种 计算统一起来，这算得上是我们回避不了的一个重大难题．预计在21世纪初，关于这个领域 的研究会产生新的概念和方法．尤其是视觉计算方面会得到充分地发展．我们应当抓住这个 机会，力求取得重大意义的理论和应用成果．
　　(3) 神经网络结构和神经元芯片的作用将不断扩大．
　　神经网络结构的研究是神经网络的实现以及成功地实现应用的前提，又是优越的物理前提． 它体现了算法和结构的统一，是硬件和软件的混合体，这种硬软混合结构模型可以为意识的 作用和基本机制提供解释．未来的研究主要是针对信息处理功能体，将系统、结构、电路、 器件和材料等方面的知识有机结合起来，建构有关的新概念和新技术，如，结晶功能体、最 子效应功能体、高分子功能体等．在硬件实现上，研究材料的结构和组织，使它具有自然地 进行信息处理的能力，如，神经元系统、自组织系统等．目前有些学者正在研究从硬件技术 到应用之间的映射理论，将会出现一些新的方法．
　　神经计算机的主要特征是具有并行分布式处理、学习功能，这是一种提高计算性能的有效途 径，使计算机的功能向智能化发展，与人的大脑的功能相似，并具有专家的特点，比普通人 的反应更敏捷，思考更周密．光学神经计算机具有神经元之间的连接不仅数量巨大而且结合 强度可以动态控制，因为光波的传播无交叉失真，传播容量大，并可能实现超高速运算，这 是一个重要 的发展领域，其基础科学涉及到激光物理学、非线性光学、光紊乱现象分析等，这些与神 经网络之间在数学构造上存在着类似性．近年来，人们采用交叉光互连技术，保证了它们之 间 没有串扰，它有着广阔的发展前景．在技术上主要有超高速、大规模的光连接问题和学习 的 收敛以及稳定性问题，可望使之得到突破性进展；另一种是采用LSI技术制作硅神经芯片， 以及二维VLSI技术用于处理具有局部和规则连接问题．在未来一、二十年里半导体神经网络 芯片仍将是智能计算机 硬件的主要载体，而大量的神经元器件，如何实现互不干扰的高密度、高交叉互连，这个问 题可望尽早得到解决．此外，生物器件的研究正处于探索之中，研究这种模型的理论根据是 ，当硅集成块和元件间的距离如果接近0.01微米时，电子从邻近元件逸入的概率将很有限， 便产生“隧道效应”的现象，它是高集成电路块工作不可靠的原因之一．而生物芯片由于元 件是分子大小的，其包装密度可成数量级增加，它的信号传播方式是孤电子，将不会有损耗 ，并且几乎不产生热．因此，它有更诱人的前景．随着大量神经计算机和神经元芯片应用于 高科技领域，给神经网络理论和方法赋予新的内容，同时也会提出一些新的理论课题 ，这 是神经网络迅速发展的一个动力．

4　结束语

　　近年来，我国“863”计划、攻关计划、“攀登”计划和国家自然科学基金等，都对神经网 络的研究给予了资助，吸引了大量的优秀青年人才从事神经网络领域的研究工作，促进我国 在这个领域取得世界上的领先地位．
　　由于神经网络学科的范围很广泛，本文只能在那些有发展前途的领域中，在联结主义提供的 各种机会中，列举出少数几个方向，并作出推测．应该说明的是，除了上述列举的以外，还 有形形色色的、规模可观的研究工作正在进行．总之，在21世纪科学技术发展征程中，神经 网络理论的发展将与日俱增．

注释：国家自然科学基金资助

作者简介：刘永红，男，35岁，硕士生，讲师．研究领域为神经网络理论、智能控制等．

作者单位：武汉工业大学自动化系　武汉　430070

参考文献

1　McCulloch W S, Pitts W. A Logical Calculus of the Ideas Immanent in Nervous
　　Activity, Bulletin of Mathematical Biophysics, 1943, (5):115～133
2　N.维纳著，郝季仁译，控制论，科学出版，1985
3　Von Neumann J. The General and Logical Theory of Automata, Cerebral Mechanisms in
　　Behavior; The Hixon Sympsium, 1951
4　Turing A M. On Computable Numbers, with an Application to the Entscheidungs
　　problem, Proc. London Math. Soc., 1936, 2(42):230～265; (43):544～546
5　Turing A M. Systems of Logic Based on Ordinals, Proc. London Math. Soc., 19 39,2
　　(45):161～228
6　Post E L. Finite Combinatory Process-formulation I, J.Symbolic Logic, 1936,
　　(1):103～105
7　Hebb D O. The Organization of Behavior, New York:Wiley, 1949
8　Eccles J C. Cholinergic and Inhibitory Synapses in A Pathway from Motor-axon
　　Collaterals to Motorneurones, J.Physiol., 1954,(126):524
9　Rosenblatt, F., The Perceptron: A Probabilistic Model for Information storage
　　and Organization in The Brain. Psychological Review, 1958, (65):386～408
10　Widrow B, M E Hoff. Adaptive Switching Circuits. 1960 IRE WESCON con vertion
　　record: part 4. computers: Man-machine Systems, Los Angeles:96～104
11　Rosenblatt F. Principles of Neurody Namics: Perceptrons and The Theory of Brain
　　Mechanisms, Spartan, New York, 1962
12　Grossberg S. On the Serial Learning of Lists, Math. Biosci., 1969,(4):201～253
13　Grossberg S. Some Networks that Can Lean, Remenber, and Reproduce any Number of
　　Compialted Space-time Patterns, Ⅱ, stud. Appl. Math. 1970,(49):135～166
14　Willshaw D J, Buneman O P. Longuest-higgins, H.C Nature 1969,(222):960
15　Nilsson N J. Learning Machines: Foundations of Trainuble Pattern Classifying
　　Systems, McGraw-hill, New York,1965
16　Holland J H. Genetic Algorithms and the Optimal Allocations of Trials, SIAM
　　Journal of Computing, 1973,(2):88～105
17　Holland J H. Adaptation in Natural and Artificial Systems, Ann Arbor: The
　　University of Michigan Press, 1975
18　Stein R B, Leung K V, Mangeron D, Oguztoreli M N. Improved Neuronal Model s for
　　Studying Neural Networks, Kybernetik, 1974,(15):1～9
19　Heiden U. an der, Existence of Periodic Solutions of a Nerve Equation, Biol .
　　Cybern., 1976,(21):37～39
20　Grossberg S. Aaptive Pattern Classification and Universal Recoding: Part I :
　　Parallel Development and Coding of Neural Feature Detectors, Biological Cybern
　　etics, 1976,(23):121～134
21　Werbos P. Beyond Regression: New Tools for Prediction and Analysis in the
　　Behavioral Sciences. Ph D Dissertation, Harvard University,1974
22　Fukushima K. Neocognitron: A Self-organizing Multilayered Neural Network.
　　Biological Cybernetics, 1980,(36):193～202
23　Amari. S-I., Characteristics of Random Nets of Analog Neuron-like Elements ,
　　IEEE Transactions on Systems, Man and Cybernetics, 1972a, SMC-2:643～657
24　Kohonen T. Automatic formation of Topological Maps in Self-orgnizing Systems:
　　Proceedings of the 2nd Scandinavian Conf. on Image Analysis, 1981:214～220
25　Kohonen T. Self-organizing formation of Topologically Correct Feature Maps ,
　　Biol. Cybern. 1982,(43):59～69
26　Kohonen T. Self-organization and Associative Memory. Berlin: Springer-Verlag,
　　1984
27　Hopfield J J. Neural Networks and Physical Systems with Emergent Collective
　　Computational Abilities, Proc. Natl. Acad. Sci., USA, 1982,(79):2254～2558
28　Marr D. Vision, San Francisco: W.H.Freeman, 1982
29　Hopfield J J. Neurons with Graded Respone have Collective Computational Pr
　　operties Like those of Twostate Neurons, Proc. Natl, Acad. Sci., 1984,(81):3088
　　～3092
30　Hopfield J J, Tank D W. Neural Computation of Decisions in Optimization Prob
　　lems, Biol. Cybern. 1985,(52):141～152
31　Hopfield J J, Tank D W. Computing with Neural Circuits: A Model, Scien ce, 1986,
　　(233):625～633
32　Lee Y C. Physica 22D, 1986,86.,276
33　Lapedes A. Physica 22D,1986,247
34　Kirkpatrick S, Gellat Jr C D, Veechi M P. Optimization by Simulated An nealing.
　　Science, 1983,220(4598):671～681
35　Hinton G E, Sejuowski T J, Ackley D H. Boltzmann Machiues: Cotraint Satisfaction
　　Networks that Learn, Carnegie-Mellon University, Tech, Report CMU-CS -84-119,
　　1984
36　Ackley D, Hinton G, Sejnowski T. A Learning Algorithm for Boltzmann machines.
　　Cognitive Science, 1985,(9):147～169
37　Sejnowski T. Higher Order Boltzmann Machines. In: Denker J ed. AIP Conf
　　Prpoceeding 151:Neural Networks for Comptuing, New Youk: American Institute of
　　Phys ics, 1986,398～403
38　Poggio T, et al. An analog model of Computation for Ill-posed Problems of Early
　　Vision. Artif Intell Lab Memo, 783,MIT, 1984
39　Poggio T, et al. Computational Vision and Regularization Theory. Neture (Lond),
　　1985,(3):314～319
40　Hecht-Nielsen, R., The Theory of Backpropagation Neural Network, In Review, 1988
41　钱学森 (主编)， 关于思维科学，上海人民出版社，1986
42　姚国正，汪云九，神经网络的集合运算，信息与控制，1989，18(2)：31 ～40
43　斯华龄［美］，电脑人脑化：神经网络—第六代计算机(普及本)，北京大学出版社，19 92
44　Chua L O, Yang L. Cellular Neural Networks: Theory. IEEE Transactions on
　　Circuits and Systems, 1988,(35):1257～1272
45　Chua L O, Yang L. Cellular Neural Networks: Application, IEEE Transactions on
　　Circuits and Systems 1988, (35):1273～1290
46　Kosko B. Adaptive Bidirectional Associative Memories, Appl. Opt., 1987,26
　　(23):4947～4860
47　Kosko B. Constructing an Associative Memory, Byte, 1987,12(10):1 37～144
48　Kosko B. Bidirectional Associative Memories, IEEE Trans. on Man, Systems and
　　Cybernitics, 1988,(18):49～59
49　Muhlenbein H. Parallel Genetic Algorithms, Population Genetics and Combina
　　torial Optimization, in J.D.Schaffer, Ed. Proceedings of the Third International
　　Conference on Genetic Algorithms (ICGA), 1989,416～421
50　Muhlenbein H. Limitations of Multi-layer Perceptron Networks-steps Towards
　　Genetic Neural Networks, Parallel Computing, 1990,(14):249～260
51　Aleksander I. The Logic of Connectionist Systems, Neural Computing Archite
　　ctures, MIT Press, 1989
52　廖晓昕. 细胞神经网络的数学理论(Ⅰ)、(Ⅱ),中国科学(A辑)，1994，24 (9)：902～910；
　　24(10)：1037～1046
53　Jenkins B K, A R Tanguay. Jr. Optical Architectures for Neural Network
　　Implementation, Handbook of Neural Computing and Neural Networks, MIT Press,
　　Bosto n, 1995:673～677
54　McAulay A D, Wang J, Ma C. Optical Heteroassociative Memory Using Spatial Light
　　Rebroadcasters. Appl, Opt., 1990,29(14):2067～2073
55　Jewel J L, Lee Y H, Scherer A, et al. Surface Emitting Microlasers for Photonic
　　Switching and Interclip Connection. Opt. Eng., 1990,29(3):2 10～214
56　阮昊，陈述春，戴凤妹，千福熹. 利用电子俘获材料实现光学IPA神经网络模型，光学学报,
　　1997，17(6)：766～771
57　申金媛，常胜江，张延火斤，母国光. 基于联想存储级 联WTA模型的旋转不变识别，光学学
　　报，1997，17(10)：1352～1356
58　吴佑寿，赵明生，丁晓青. 一种激励函数可调的新人工神经网络及应用，中国科学(E辑)，
　　1997，27(1)：55～60
59　郝红卫，戴汝为. 集成手写汉字识别方法与系统，中国科学(E辑)， 1997，27(16)：556～
　　559
60　Narendra K, Parthasarathy K. Identification and Control of Dynamical Systems
　　Using Neural Networks. IEEE Trans on Neural Networks, Mar.1990,1(1):4～27
61　戴先中，刘军，冯纯伯. 连续非线性系统的神经网络α阶逆系统控制方法，自动化学报 ，
　　1998，24(4)：463～468
62　Miller W T. Real-time Application of Neural Networks for Sensor-based Control
　　of Robots. with Vision, IEEE, Trans. Syst., Man, Cybern., 1989,(19):825～831
63　Miller T W, et al. (Eds), Neural Networks for Control, Cambridge, MA, MIT Press,
　　1990
64　Lane S　H, et al. Theory and Development of Higher Order CMAC Neural Ne tworks,
　　in Special Issue on Neural Networks in Control Systems, (Antsaklis, P.J. ,Ed.),
　　IEEE Control Systems Magazine 1992,12(2):23～30
65　Bnlsari A. Some Analytical Solutions to the General Approximation Problem for
　　Feedforward Neural Networks. Neural Networks 1993,(6):991～996
66　朱文革. 广义小波变换及其在人工神经网络中的应用，应用数学学报，1997，20 (2)
67　罗忠，谢永斌，朱重光. CMAC学习过程收敛性研究，自动化学报，1997，23(4)：455～461
68　蔚承建，姚更生更生，何振 亚. 改进的进化计算及其应用，自动化学报，1998，24(2)：
　　262～265
69　张讲社，徐宗本，梁怡. 整体退火遗传算法及其收敛充要条件，中国科学(E辑)，1997 ，
　　　27(2)：154～164
70　Hertz J, et al. Introduction to Theory of Neural Compution. Sant Fee Complexity
　　Science Series, 1991:156
71　Anthony M, Biggs N. Computational Learning Theory. Combridge University Press,
　　1992
72　阎平凡. 人工神经网络的容量、学习与计算复杂性，电子学报，1995，23 (4)：63～67
73　钟义信，杨义先. 中国神经网络首届学术大会论文集，北京，1990
74　焦李成. 神经网络计算，西安电子科技大学出版社，1993
75　史忠植. 神经计算，电子工业出版社，1993