循环神经网络 输出 解释 观测 ·隐含状态更新 ht =(Whhht-1+WhxXt-1+bn) ·观察更新 ot=(Whoht +bo) D2L.ai
循环神经网络 • 隐含状态更新 • 观察更新 x h 观测 解释 �! = �(�""�!#$ + �"%�!#$ + �") �! = �(�"&�! + �&) 输出 o
代码.… D2L.ai
代码 …
实现RNN语言模型 D2L.ai
实现RNN语言模型
输入编码 需要将输入标记映射到向量 ·选择颗粒度（单词，字符，音节） ·映射到单热门编码的向量 nd.one_hot(nd.array([0,2]),vocab_size) [[1.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0. 0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.] [0.0.1.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0. 0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.] <NDArray 2x43 @cpu(0)> ·再乘以嵌入矩阵W D2L.ai
输入编码 • 需要将输入标记映射到向量 • 选择颗粒度（单词，字符，音节） • 映射到单热门编码的向量 • 再乘以嵌入矩阵 W
输入编码 H TI M 0 0 0 0 0 0 简洁向量V 01- 0 0 0 00 0 0 0 0 嵌入矩阵W 嵌入向量v D2L.ai
输入编码 简洁向量 � 嵌入矩阵 � T H E _ T I M E 1 0 0 0 0 0 0 1 0 0 0 0 0 0 1 0 0 0 0 0 0 1 0 0 1 0 0 0 0 0 0 0 0 0 1 0 0 0 0 0 0 1 0 0 1 0 0 0 嵌入向量 �’