fast.ai 深度学习笔记:第一部分第四课

  • 时间:
  • 浏览:0

作者:Hiromi Suenaga

learn - 这将显示我们都歌词 最后加进去去的层。 哪些地方地方是我们都歌词 在precompute=True时训练的层

(0),(4): BatchNorm将在上一课中介绍

(2): Linear层仅仅是矩阵乘法。 这是另1个 饱含 1024 行和 512 列的矩阵,有时候 它将接受 1024 个激活并输出 512 个激活。

出于较小的数值精度因为,事实证明最好直接使用 softmax 的 log 而有的是 softmax [15:03]。这可是我 为哪些地方我们都歌词 歌词 从模型中得到预测时,我们都歌词 还要执行np.exp(log_preds)

学生的文章:

原文:Deep Learning 2: Part 1 Lesson 4

(1),(5):Dropout

(7): Softmax - 激活函数,返回最大为 1 的数字,每个数字在 0 和 1 之间:

(3): ReLU - 可是我 用零替换负数

(6): Linear - 第1个线性层,可是我 另1个 线性层获取 512 个激活并将它们乘以 512 乘 120 的新矩阵并输出 120 个激活