Osheep

时光不回头,当下最重要。

30 行 JavaScript 代码搭建神经网络

《30 行 JavaScript 代码搭建神经网络》

简评:本文中,原文作者 Scrimba 的创始人 Per Harald Borgen 将会展示如何利用 Synaptic.js 来创建和训练神经网络,从而使我们可以在 Node.js 和浏览器中进行深度学习。

题图:一幅由 Google Dream 神经网络创建的光怪陆离

我们将尝试搭建最简单的神经网络之一 —— 一个用于解决 XOR方程 的神经网络。

看代码之前呢,我们先温习一下神经网络的基础知识:

神经元和突触

构建神经网络的第一个块是神经元。神经元就像一个函数,它需要输入,然后返回输出。

有许多不同类型的神经元。我们的网络将使用 sigmoid 神经元,不管给定任何输入,都会输出 0 或者 1。

下图是一个 Sigmoid 函数,输入 5 输出 1。箭头称为突触,将神经元连接到网络中的其他层。

《30 行 JavaScript 代码搭建神经网络》

那么,会什么左边的输入是 5 呢?因为它是连接到到神经元的三个突触的总和。

输入乘以它们的权重就是人造神经元的总输入。

《30 行 JavaScript 代码搭建神经网络》

由于这是一个 Sigmoid 神经元,它能将任何值压缩在 0 和 1 之间。

如果将这些神经元的网络连接在一起,那么一个神经网络就诞生了。神经元通过突触相互连接,从输入到输出:

《30 行 JavaScript 代码搭建神经网络》

这个神经网络的目标是训练它来进行事件概括,例如识别手写数字或垃圾邮件。你只需要用大量例子来训练网络,之后就能让网络预测正确的答案。

在每次预测之后,根据预测的错误,调整权重和偏差值,以便网络在下一次会更准确地猜测。这种学习过程称为 backpropagation(反向传播),做几千次就差不多了。

backpropagation 技术就不展开了,感兴趣的话可以查看以下资料:

代码

有了基本概念后,现在我们开始 coding。

第一件事就是创建图层。我们使用 new Layer() 来实现。传递给函数的数字决定了每层应该有多少个神经元:

const { Layer, Network } = window.synaptic;

var inputLayer = new Layer(2);
var hiddenLayer = new Layer(3);
var outputLayer = new Layer(1);

接下来,我们将这些层连接在一起并实例化一个新的网络,如下所示:

inputLayer.project(hiddenLayer);
hiddenLayer.project(outputLayer);

var myNetwork = new Network({
 input: inputLayer,
 hidden: [hiddenLayer],
 output: outputLayer
});

这是一个 2-3-1 网络,可以像这样可视化:

《30 行 JavaScript 代码搭建神经网络》

现在我们来训练网络:

// train the network - learn XOR

var learningRate = .3;

for (var i = 0; i < 20000; i++) {
  // 0,0 => 0
  myNetwork.activate([0,0]);
  myNetwork.propagate(learningRate, [0]);

  // 0,1 => 1
  myNetwork.activate([0,1]);
  myNetwork.propagate(learningRate, [1]);

  // 1,0 => 1
  myNetwork.activate([1,0]);
  myNetwork.propagate(learningRate, [1]);

  // 1,1 => 0
  myNetwork.activate([1,1]);
  myNetwork.propagate(learningRate, [0]);
}

这里我们运行 20000 次,每次我们都向前和向后四次,传递可能的四个输入:[0,0] [0,1] [1,0] [1,1] 。

我们从 myNetwork.activate([0,0]) 开始。数据 [0,0] 是正向传播,也称为激活网络。在每次向前传播之后,我们需要进行反向传播,网络会更新权重和偏差。

反向传播是用这一行代码完成的:

myNetwork.propagate(learningRate, [0])

learningRate 是一个常数,告诉网络每次应该调整多少权重。参数 0 表示当输入 [0,0] 时正确的输出。

之后网络将自己的预测与正确的标签进行比较,然后就知道什么是对的了。

这个比较将作为校正权重和偏差值的基础,以便下次猜测会更准确一些。

完成 20000 次学习后,我们就可以检查下网络的学习情况:

console.log(myNetwork.activate([0,0])); 
-> [0.015020775950893527]
console.log(myNetwork.activate([0,1]));
->[0.9815816381088985]
console.log(myNetwork.activate([1,0]));
-> [0.9871822457132193]
console.log(myNetwork.activate([1,1]));
-> [0.012950087641929467]

如果我们将这些输入值四舍五入到最接近的整数,我们将得到 XOR 方程的正确答案。

这是个很初级的神经网络,不过也足够自己开始玩 Synaptic 了,感兴趣的话还可以看这个 wiki,里面有很多很好的教程。

原文链接:How to create a Neural Network in JavaScript in only 30 lines of code
推荐阅读:

点赞