您当前位置:首页 > p2p

【信息图】神经网络动物园前序:Cell与层之间如何连接

发布时间:2019-07-11 08:38:00编辑:it技术社区网阅读次数:

  [导读]继赢得了新的神经网络动物园引进了让我们大饱眼福,看到各种各样的神经网络模型。今天带来更基本的描述:组合式神经网络模型层的基本单位是怎么样的?通过信息图表,笔者介绍的最基本单位,短期和长期记忆单元,一进门循环机组,等。

\

\

  动物园示出了不同类型的神经网络和各种网络层的神经基本单元之间的神经网络连接。然而,它并没有真正显示了每个基本单元工作。许多类型的基本单元的我最初分配不同的颜色,以网络区分开来,但现在我发现,这些基本单位都或多或少地以同样的方式工作,所以这里只需要提供图像的基本单位是不足以形容。

\

  一个基本的神经网络单元一个非常简单的,这是你传统的前馈架构将看到的那种。由其他神经元连接到重量单位,我。?。,它可以连接到前一个元素中的所有神经层。每个连接都有其自身的重量,它通常只是一个随机数。权重可以是消极的,积极的,非常小,非常大,或者零。所述基本单元的每个值由相应的连接权重连接,然后通过将所有得到的值。此外,还增加了偏置(偏置)。偏差单元可以从在零输出被抓地防止,并且某些操作可被加速,减少了解决问题所需的神经元数目。偏差是一个数字,有时(通常为1或-1),有时可变。然后,通过激活函数的总和,并将结果值成为单元格的值。

  卷积单元非常像前给进单元中,不同之处在于它们通常连接到只有几个先前层的神经元的。所有单元通常用来存储空间信息,因为它们不连接到几个单元随机地,而是连接到一个特定的距离。这使得他们有一些地方信息数据(E。G。,图像和声音(但主要是图像))常实用。去卷积(解卷积)指相反:它们往往通过部分解码的空间信息以连接到下一层。两个单位的克隆细胞(克隆),通常有很多的培训; 克隆每个单元都有其自身的重量,但这样的连接是完全一样的。这些单元可被认为是具有位于单独的网络相同的结构的克隆。常规装置基本相同,但在其使用的不同。

  池和内插(插值)单元通常与卷积单元组合。这些单位是不是真正的单位,但更原始的操作。池单元接收传入的连接,并且可以决定哪个连接。在图像中,可以缩小图像中被认为是,你将无法看到所有的像素,像素必须明白,以保持并丢弃像素。插值单元执行相反的操作:一些他们收到的信息,并映射到更多信息。通过在图片提供,像,像一个小的解决方案的其他信息。内插单元,而不是在单元电池的唯一反向操作,但它们是相对常见的,因为它们很容易实现。两者都在图像去卷积和卷积单元连接。

  单元平均和标准偏差(几乎只发生这两个配对的概率单位)表示用于概率分布。意思是平均值,从平均(双向)标准差多远。例如,一个特定的图像单元的概率可以包括关于多少红色像素信息。例如,平均值可以为0。如图5所示,标准偏差0.2。当这些概率从细胞中取样,这些值可以在高斯随机数发生器输入,0.4-0.6和结果之间的任何值通常可能的,远离零。5价值将越来越少见(但仍可能)。它们通常完全连接到下一层或多层,和他们没有偏见。

  环不仅在水平连接单元,而且在时间。其存储先前值的每个内部单元。他们喜欢基本单元被更新,但具有额外的权重:装置,连接到先前的值,多数也连接到所有单元的同一层中的时间。并非常存储先前重量的值之间的权重的电流值等的易失性存储器(例如。g。,RAM),具有某些属性继承两个“状态”,如果不是供给消失。因为以前的值是通过所述激活值传递,并且每个更新激活值通过激活函数传递给其它权重一起,信息将继续被丢失。事实上,保留率如此之低,再经过四五次,只要迭代,几乎所有的信息都将丢失。

  短期和长期记忆单元是用来应对的信息回路单元快速流失问题。LSTM单元由逻辑回路,如何从存储单元复制到计算机设计。最后电流值和输出电流的最终值和“存储单元”的状态:与所述两状态单元存储RNN,LSTM单元存储四个相比。他们有三个“门”:输入,输出,忘记自己是唯一的传统输入。每个这些门具有其自身的重量,装置,连接到这种类型的设置单元需要四个权重(而不是仅一个)。门功能很像流门,而不是栅栏门:让一切通过,只是一点点信息都可以通过,或让任何东西流过。这可以通过由值从0到1输入信息来实现,存储在的所述阈值的值。

  然后,输入栅极允许确定多少要添加到输入单元格的值。门的输出确定该网络的其余部分可以看到有多少的输出值。忘记在门没有连接到前一个值的输出单元,但被连接到先前值存储单元。它决定了你多少要保持存储单元的最后状态。它未连接到输出端,所以信息的损失会更少,因为没有激活功能被放置在循环。

  循环单元是门单元LSTM的变化。他们还用门来消除信息的损失,但只有两个门:更新并重新启动。这使得他们的对手的表现,也稍快,因为它们使用更少的连接数。本质上讲,有单元和GRU LSTM单元之间的两个不同之处:GRU单元不具有指由门的输出隐藏的状态和输入它们被组合成单个门,忘记更新门。该想法是,如果你要允许大量的新的信息,你可能会忘记一些旧信息 。

  形成神经元连接的图案的基本方法是连接到所有的所有内容。这可以在Hopfield网络和玻尔兹曼机中可以看出。当然,这意味着连接的数量呈指数级增长,但并不如预期的表现,将是一般。这就是所谓的完全(或全部)连接。

  一段时间后,人们发现,将网络分成不同的层是一个有用的特征,其中,所述层是一组或神经元的几个基团,其不连接到彼此的定义,但只从与相关联的其他神经元组。这个概念已经在玻尔兹曼机已使用。使用层,现在被广泛应用于任意层数的想法,可以在几乎所有目前的架构中找到。(也许,混淆)这也称为完全连接或完全连接,因为事实上完全连接的网络是不常见的。

  比完全连接层卷积连接层更加约束:我们每个神经元仅连接到另一组中关元件的神经。如果一到的信息直接馈送到网络(例如。g。每个像素中的神经元),和包含在声波的图像信息将是非常大的。这个想法来自于卷积连接观察:空间可能是信息的保留重要。从本质上说,这是一个很好的猜测,因为它在许多基于图像和声音的神经网络应用中。然而,这种安排是完全连接的层小于表现。从本质上说,它是一个“重要的”过滤器模式,该模式确定的数据包的紧密分组是重要的; 卷积连接是理想的降维。在什么样的空间,你仍然可以从神经元连接取决于执行,但范围比4或5元以上很少使用。注意,“空间”,通常指的是二维空间,这就是为什么大多数表达原因三维显示被连接的神经元片段; 连接范围将被应用到的所有尺寸。

  另一种选择当然神经元随机连接,。这也带来了两个主要的改变:通过允许所有可能的连接的一部分,或连接一些神经元的不同层之间。大型网络连接有助于减少网络的线性性能,并且可能会遇到层的性能问题是连接完全有用。在某些情况下,稍微稀疏的连接层的神经元可以有更好的表现,特别是在需要存储大量的信息,但多少信息进行交换任何情况下(有点类似于连接层的卷积的有效性,但随后随机)。该系统被连接到一个非常稀疏的(1或2%)将被使用,如ELM,ESN和图LSM。特别是在网络加速,这是因为显著越神经元被连接时,每单位重量载体的更少的能量的装置,以及更少的重复模式的情况下。

  时间延迟没有被连接到从所述神经元层的连接信息获取(通常从与其相同的层,甚至加入到本身)之间,但是从前面的层(主要是先前迭代)。这允许暂时存储相关信息(时间,顺序或排列)。这些类型的连接往往需要频繁手动复位,以清除网络“状态”。与传统连接的主要区别是,即使网络不训练,这些连接也在发生变化。

  下图显示了上述类型和网络连接的一个小样本。当我连接到最后弄清楚是怎么回事,我会用它(使用LSTM或GRU细胞特别相关的):

本文链接:【信息图】神经网络动物园前序:Cell与层之间如何连接

友情链接:

大悲咒经文 观音心经 佛经