1、文是由以下各项组成。第部分描述新的信息最大值化学习算法应用分别到单个输入映射个因果滤波器个有时间延迟的系统和灵活的非线性。第部分描述盲分离和盲解卷问题。第部分讨论在什么情况下数据最大值化过程能找到阶乘编码运行，因此来解决分离和解卷问题。第部分介绍在分离和解卷语音信号方面的结果。第部分尝试把理论和结果用于早期相关工作并且提到了方法的局限性。和在年发表了这个研究的简短报告。信息最大值化这里要处理的基本问题是。
2、转化函数，得到输出变量当我们把的概率密度函数的高密度部分和函数非常倾斜部分结合起来时和有最大值。这是把神经原的输入到输出的转化函数与信号的预期分配相结合的思想，我们可以在中找到。当单调地增加或减少时，输出的信号的概率密度函数可以当作输入信号概率密度函数的函数这里竖条表示绝对值。输出值的熵函数由下式表示这里指示数学期望。用公式代入公式中得到等式右边的第二个式。
3、人工神经网络的优点，我们现在开始分析多变量的输入和输出。对于个网络考虑个输入矢量为分量矩阵为偏量矢量为和单调转化输出矢量的网络，与公式相似，的多变量概率密度函数可以写为这里是转换矩阵的雅克比行列式的绝对值，雅克比行列式是由分量的导数组成的矩阵的行列式。,,,,,,,。
4、当计算公式的般规则时，通过公式把学习规则和逻辑函数互换来拆开公式类似方法得到次分量的式子例如，如果输入信号的概率密度函数是高斯函数，然后式子会在的最高处集中字形曲线的最陡峭部份，使输入信号概率密度与输出信号斜率相等，用由公式直接推导出的方式。然后式子会度量字形曲线的倾斜度配合的变化。例如，狭窄的概率密度函数会产生尖锐倾斜的字形。规则是个带无衰减算法。算法使脱离个不知道任何输。
5、问题，而且为信息理论上的无人监督方法打开个新的应用领域。盲分离技术可以应用于用组个接收器获得个信号源线性混合的任何领域。例子包括讲话分离鸡尾酒会问题，组雷达信号或声纳信号的处理,和多感应生物医学的录音处理。早期的方法已经可以用类似电路来实现实时信源分离等，科恩等盲解卷技术的应用区域包括声音反响的消除，例如，当使用话筒时观察到的听筒影响，地球物理学数据的处理地震波的解卷和图象的修复。我们解决这些问题的方法是。
6、的熵函数可以认为不会因为决定的叁数的改变而受到影响。因此为了通过改变来使的熵达到最大值，因此我们只需要使第个式子值最大，这个式子反映输入影响输出的平均值。这可以通过认为的训练规则与密度近似来完成，而且源自随机倾度上升学问规则在实现逻辑转换功能时,在式子中输入与分量相乘，然后与次分量相加上面的式子可等价于。
7、如何使互信息最大化，互信息即是类神经网路处理器的输出中包含输入。这被定义为,是输出结果的熵，而是输出结果中没有来自输入信号部分的熵。在没有噪声或者我们不知道在输入中什么是噪音什么是信息的情况下，和之间的映射是确定的以及到最低的可能数值它到无穷小。这种分歧是对连续变量的信息论的般化结果之。我们所称的只是的微分熵函数,涉及到些叁考值，像是噪声级别或我们在和中的变量的离散化的准确性。为了避免这样的麻烦。
8、，在我们的网络中，我们只考虑有关于些叁数的信息理论上的量的梯度。这类梯度象离散变量熵函数样正式，因为有关于微分熵的定义的叁考术语消失。上述等式可以依照下列各项来区别,使用有关变量，与到的映射有关。,因为并不依赖。这可以从考虑避免无限大的系统见出,这里的是反向转化的函数和是输出信号的附加噪声。在这种情况下,由上式引出，我们现在使最大化，而不是使最大化。的。
9、规则的发展已经被以及另外些人所提出。其次是在信号的处理方面,使用高次序统计学，为了分开独立信源的混合体盲分离或者为了反向转化未知过滤后的结果盲解卷。存在解决这些问题的方法，但是公平的说他们中的大多数都是特例。文献显示了对历史的评论调查和的方法和辩论的不同。在这篇论文里，通过使用被应用于带有非线性单位的神经网络的信息理论目标函数，我们为这些问题提供了个公有理论框架。学习规则已经产生出个逼近算法来解决信号处理。
10、原则通过任何已知的噪音来源对未分离的任意分配输入的非线性单位的般化。是这样描述这个原则的。当输入数据通过个字形函数时，在字形的倾斜部份和输入数据高密度部分最佳地排成行时信息最大化传输可以完成。正如我们所述,通过使用随机梯度上升规则，这可以用适应方式实现。这规则对多个单位的般化产生个在数据转化最大化方面起到减少输出层单位之间的多余部分的系统。这个最新的算法，即独立的成份分析，他能使网络能够解决盲分离工作。论。
11、的环境定是或。但是当算法将单位变成零，因此无衰减算法使远离另个不知道任何输入的环境当足够小时，大约为。这两个均衡规则的作用是导出输出值的概率密度函数，这是接近最佳的单元分配，是分布于和之间的变量的最大熵。图说明了这些在处含最多信息的分量的整体。用于单输入单输出系统的信息最大化法则可能提示了些象神经键和光感应器之类的结构，这类结构能够确定他们近似于输入波形平均大小和尺寸的曲线增益位置。然而正是看到这种算法在。
12、小代表着指向被映射的的空间量。通过使最大化，我们试图扩展我们的均匀指向的训练规则。对于是逻辑函数的皱型单位，，。和。这种附加噪声的任何级别，互信息,的最大值与输出熵的最大值相等，因为。尽管当噪声趋于零趋于负无穷大的事实，关于上面确定的事情也没有任何神秘的东西。如此对于连续确定性映射的逆转,在输入和输出之间的互信息值可以通过单个输出值的最大熵来最大化。对于输入和输出当我们把个单独输入信号通过。
参考资料：
1、该文档不包含其他附件(如表格、图纸)，本站只保证下载后内容跟在线阅读一样，不确保内容完整性，请务必认真阅读。
2、有的文档阅读时显示本站（www.woc88.com）水印的，下载后是没有本站水印的（仅在线阅读显示），请放心下载。
3、除PDF格式下载后需转换成word才能编辑，其他下载后均可以随意编辑、修改、打印。
4、有的标题标有”最新”、多篇，实质内容并不相符，下载内容以在线阅读为准，请认真阅读全文再下载。
5、该文档为会员上传，下载所得收益全部归上传者所有，若您对文档版权有异议，可联系客服认领，既往收入全部归您。
外文翻译-一种解决盲分离和盲信号去卷积的信息最大化方法