基金项目：本文受国家自然科学基金资助项目，编号：61741111；福建省自然科学基金高校联合面上项目，编号：2019J01815、2019J01816；江西省自然科学基金资助项目，编号：20161BAB212031、20181BAB202011；福建省中青年教师教育科研项目，编号：JT180486、JAT170504；莆田市科技局项目，编号：2018ZP10、2018RP4004；以及莆田学院引进人才科研启动费项目资助，编号：2018088

基于分类的神经网络研究与展望

闻辉¹ 贾冬顺²（¹莆田学院信息工程学院  福建莆田  351100；²东方地球物理公司辽河物探处  辽宁盘锦  124010）

摘 要：本文介绍了神经网络作为分类器的优点，概述了神经网络的主要发展历程，然后对神经网络面临的问题和挑战进行了分析，给出了深度神经网络与传统机器学习的关系，最后并对神经网络的发展和应用前景进行了总结。

关键词：分类；神经网络；深度神经网络；机器学习

分类是一种重要的模式识别和数据挖掘技术，它是人类活动中最常见的决策任务之一。科学、工业和医学等领域中的许多问题都可以视为分类问题。当前，用于分类的神经网络算法及模型已经广泛应用于科学、工业和医学等不同领域中。尽管各种神经网络算法及模型已经取得了较大发展，但由于算法及模型的差异性，以及不同的非线性问题所呈现出的多样性和复杂性，传统的神经网络分类器在某些复杂问题上其网络性能往往是有限的。针对不同的非线性问题，如何建立更有效的网络结构及算法模型，改善其分类性能一直是许多研究人员追求的目标。

一、神经网络的发展概述

自1943年科学家McCulloch和Pitts提出基于形式神经元的M-P神经网络模型，直到1986年，Rumelhart等人^[1]提出一种按照误差反向传播（BP）训练多层前馈神经网络，直到当前深度学习网络的兴起，神经网络经历了几轮新的浪潮。

BP神经网络模型的提出引起了至今仍是最广泛应用的神经网络模型之一。通过对输入样本采用并行分布式的处理方式，并且无需预先给出输入输出映射关系的数学表达，其学习规则采用基于误差反向传播的梯度下降方法来迭代更新网络权值，由此使得网络输出的误差平方和达到最小。

自BP神经网络提出之后， 1995年，Vapnik^[2]等人在统计学习理论的基础上提出通过引入核函数来替代内积的方法，称之为支持向量机（SVM），在核机器学习领域掀起了新的研究热潮。

以上提到的网络模型中，网络隐藏层往往只有一层，对于复杂的模式分类问题，其泛化性能有限。2006年，Hinton^[3]提出了深度置信网络（DBN），DBN是一种基于无监督学习的多层前馈神经网络模型，它由一系列受限波尔兹曼机组成，并首次提出了深度学习的概念。Lecun^[4]等人提出的卷积神经网络（CNN）通过利用空间相对关系来减少网络参数数目，以此来提高训练性能。深度学习的本质是通过对观测数据分层特征表示的基础上，以进一步实现将观测数据的低级特征抽象成高级特征表示。从当前的研究进展来看，当数据样本充足、网络的隐藏层足够深，即使网络未预处理，深度学习也能够获得很好的结果，从这个意义上来说，深度学习网络与大数据呈现一种相辅相成的紧密联系。深度学习网络的提出掀起了智能信息领域新的研究浪潮。

在深度学习网络快速发展的过程中，浅层神经网络也一直在不断的发展并完善其算法特点。很多优化学习算法包括各种聚类算法、模糊优化方法、K近邻算法、Boosting算法、敏感性分析方法、粒子群优化算法、进化算法等，被引入到各种神经网络模型优化之中,这些方法的提出进一步促进了神经网络的发展和应用。

二、神经网络面临的问题及挑战

尽管各种神经网络算法及模型已经取得了较大发展，当前神经网络的研究仍然面临着许多问题和挑战，以下我们列出了神经网络研究领域的几个重要问题：

1.网络结构的设计。神经网络结构的结构设计主要包括确定合适的网络层数、确定合适的网络隐节点个数及完成网络各层节点的有效连接方式。在设计网络结构时，网络结构模型不能过于简单或者复杂。

2.学习算法的设计。在所设计的网络结构基础上，设计出相应的学习算法是改善神经网络分类器性能的关键所在。

3.泛化性能。神经网络的泛化性能与除了与网络结构紧密相关，还与训练集的规模、分类问题自身的复杂程度以及学习算法等多种因素有关。泛化性能一直神经网络关注的重点问题。

4.对不同非线性问题的适应能力。实际的分类问题中还面临着样本属性丢失、样本数据污染、样本集规模过小或样本空间维数过高等问题，如何更好地适应这些非线性问题，也是一项具有挑战性的工作。

三、深度学习与传统机器学习之间的关系

在已有的各种神经网络当中，深度学习网络是当前智能信息领域的研究热点。关于深度学习技术是否会取代传统的机器学习方法这一问题，在“微软亚洲研究院创研论坛——CVPR 2017论文分享会”^[5]上，中国科学院计算技术研究所研究员陈熙霖给出以下观点：很多问题是风马牛不相及的，有些问题可能用深度学习确实很有效，但有些问题却不一定会得到结论。运用深度学习时需要考虑问题的背景。北京大学信息科学技术学院教授林宙辰指出：在小数据方面，深度学习并不具有很强的优势，因此还是需要掌握传统方法。

而关于深度学习是否会取代传统机器学习算法这一问题，深度学习大佬Yoshua Bengio 在Quora论坛上进一步给出深度神经网络与传统的机器学习方法是一种相辅相成的关系。

四、总结与展望

神经网络作为机器学习中的一个重要领域，尤其是当前热门的卷积神经网络、生成对抗网络、以及近来新提出的胶囊网络等深度神经网络发展进一步促进了人工智能在不同领域的推广应用。随着计算机硬件性能的不断提升以及网络结构的不断优化，神经网络的学术研究与实际应用也必将取得更大的成功。

参考文献：

[1]Rumelhart DE,Hinton GE,Williams RJ.Learning representations of back-propagating errors.Nature,1986,323:533-536

[2]Vapnik VN.The Nature of Stastical learning Theory,New York:Springer-Verlag,1995

[3]Hinton GE,Osindero S,Teh Y.A fast learning algorithm for deep belief nets.Neural Computation,2006,18:1527-1554

[4]Lecun Y,Bottou L,Bengio Y.Gradient-based learning applied to document recognition.Proceedings of the IEEE，1998,86(11):2278-2324

[5]计算机视觉，路在何方.微软亚洲研究院创研论坛——CVPR 2017论文分享会.https://weibo.com/ttarticle/p/show?id=2309404121144000181511#_0,2017年6月