深度学习的基本概念
1绪论
基本的深度学习相当于函数逼近问题，即函数或曲面的拟合 ，所不同的是，这里用作基函数的是非线性的神经网络函数，而原来数学中的用的则是多项式、三角不等式等。
由于神经网络的非线性和复杂性，它有更强的表达能力，即能够从给定的神经网络函数族中可能找到对特定数据集拟合得更好的神经网络。这里既涉及设计合适的神经网络类型，也涉及从该类型中的神经网络中找出好的（即拟合误差小的）特定神经网络的方法。后者正是数学中最优化分支所研究的问题。从数学角度来说，目前深度学习中所用的优化算法还是属于比较简单的梯度下降法。
但是恰恰由于神经网络的非线性复杂性，使得能够通过大量的标注数据经过深度学习可以得到一个误差结果很小的神经网络，但是要用它来解释却十分的困难。近来也有学者发现，一个精度很高的神经网络，改变它的几个参数，就会使该网络的精度明显下降。换言之，深度学习方法的鲁棒性也有待研究。
2.机器学习、深度学习和人工神经网络的关系
深度学习以神经网络为主要模型。深度学习一开始用来解决机器学习中的表示学习问题。但是由于其强大的能力，深度学习越来越多的用来解决一些通用的人工智能问题，比如决策、推理等。
从根源上来说，**深度学习是机器学习的一个分支，**是指一类问题以及解决这类问题的方法。指从有限样例中通过算法总结出一般性的规律，并可应用到新的未知数据上。
其次，深度学习采用的模型一般比较复杂，指样本的原始输入到输出目标 之间的数据流经过多个线性或非线性的组件（component）．因为每个组件都会对信息进行加工，并进而影响后续的组件，所以当我们最后得到输出结果时，我们并不清楚其中每个组件的贡献是多少．这个问题叫作贡献度分配问题（Credit Assignment Problem，CAP）[Minsky, 1961]． 贡献度分配问题也经 常翻译为信用分配问题或功劳分配问题．在深度学习中，贡献度分配问题是 一个很关键的问题，这关系到如何学习每个组件中的参数。
目前，一种可以比较好解决贡献度分配问题的模型是人工神经网络。神经网络和深度学习并不等价，深度学习可以采用神经网络模型，也可以采用其他模型（比如深度信念网络是一种概率图模型）.但是由于神经网络模型可以比较容易地解决贡献度分配问题，因此神经网络模型成为深度学习中主要采用的模型。
2.1人工智能
人工智能是计算机科学的一个分支，主要研究、开发用于模拟、延伸和扩展人类智能的理论、方法、技术及应用系统等．和很多其他学科不同，人工智能这个学科的诞生有着明确的标志性事件，就是1956 年的达特茅斯（Dartmouth）会议．在这次会议上，“人工智能”被提出并作为本研究领域的名称．同时，人工智能研究的使命也得以确定．John McCarthy 提出了人工智能的定义：人工智能就是要让机器的行为看起来就像是人所表现出的智能行为一样．
目前，人工智能的主要领域大体上可以分为以下几个方面：
（1）感知：：模拟人的感知能力，对外部刺激信息（视觉和语音等）进行感 知和加工．主要研究领域包括语音信息处理和计算机视觉等．
（2）学习:模拟人的学习能力，主要研究如何从样例或从与环境的交互中 进行学习．主要研究领域包括监督学习、无监督学习和强化学习等．
（3）认知:模拟人的认知能力，主要研究领域包括知识表示、自然语言理 解、推理、规划、决策等．
2.2深度学习
深度学习是将原始的数据特征通过多步的特征转换得到一种特征表示，并进一步输入到预测函数得到最终结果．和“浅层学习”不同，深度学习需要解决的关键问题是贡献度分配问题（Credit Assignment Problem，CAP）[Minsky, 1961]，即一个系统中不同的组件（component）或其参数对最终系统输出结果的贡献或影响．以下围棋为例，每当下完一盘棋，最后的结果要么赢要么输．我们会思考哪几步棋导致了最后的胜利，或者又是哪几步棋导致了最后的败局．如何判断每一步棋的贡献就是贡献度分配问题，这是一个非常困难的问题．从某种意义上讲，深度学习可以看作一种强化学习（Reinforcement Learning，RL），每个内部组件并不能直接得到监督信息，需要通过整个模型的最终监督信息（奖励）得到，并且有一定的延时性。
目前，深度学习采用的模型主要是神经网络模型，其主要原因是神经网络模型可以使用误差反向传播算法，从而可以比较好地解决贡献度分配问题．只要是超过一层的神经网络都会存在贡献度分配问题，因此可以将超过一层的神经网络都看作深度学习模型．随着深度学习的快速发展，模型深度也从早期的5 ∼ 10层增加到目前的数百层．随着模型深度的不断增加，其特征表示的能力也越来越强，从而使后续的预测更加容易。
