LSTM神经网络输入输出究竟是怎样的?
创始人
2024-11-08 04:18:30
LSTM神经网络输入输出究竟是怎样的?

常规feedforward输入和输出:矩阵输入矩阵形状:(n_samples,dim_input)输出矩阵形状:(n_samples,dim_output)注:真正测试/训练的时候,网络的输入和输出就是向量而已。加入n_samples这个维度是为了可以实现一次训练多个样本,求出平均梯度来更新权重,这个叫做Mini-batchgradientdescent。如果n_samples等于1,那么这种更新方式叫做StochasticGradientDescent(SGD)。Feedforward的输入输出的本质都是单个向量。常规Recurrent(RNN/LSTM/GRU)输入和输出:张量输入张量形状:(time_steps,n_samples,dim_input)输出张量形状:(time_steps,n_samples,dim_output)注:同样是保留了Mini-batchgradientdescent的训练方式,但不同之处在于多了timestep这个维度。Recurrent的任意时刻的输入的本质还是单个向量,只不过是将不同时刻的向量按顺序输入网络。所以你可能更愿意理解为一串向量asequenceofvectors,或者是矩阵。

相关内容

热门资讯

美光科技称AI热潮驱动“前所未... 1月19日,据报道,美光科技公司表示,过去一季度的存储芯片短缺情况持续加剧,并重申因AI基础设施对高...
东方七日谈|AI浪潮下的“双向... 人民日报中央厨房-大江东工作室 沈文敏 开年,上海迅速打响“开门炮”:MiniMax、天数智芯、壁...
开源JavaScript库jQ... 2006 年 1 月 14 日,John Resig 在纽约市的 BarCamp 推出了一个名为 j...
【AI数读报告】贵阳“幸福清单... 漫步贵阳,老旧小区焕然一新,便民市场烟火升腾,“15分钟生活圈”托起日常所需。“十四五”以来,贵阳着...