在所謂的 seq2seq 問(wèn)題中，如機(jī)器翻譯（如 第 10.5 節(jié)所述），其中輸入和輸出均由可變長(zhǎng)度的未對(duì)齊序列組成，我們通常依賴(lài)編碼器-解碼器架構(gòu)（第10.6 節(jié)）。在本節(jié)中，我們將演示編碼器-解碼器架構(gòu)在機(jī)器翻譯任務(wù)中的應(yīng)用，其中編碼器和解碼器均作為 RNN 實(shí)現(xiàn)（ Cho等人，2014 年，Sutskever等人，2014 年）。

在這里，編碼器 RNN 將可變長(zhǎng)度序列作為輸入并將其轉(zhuǎn)換為固定形狀的隱藏狀態(tài)。稍后，在 第 11 節(jié)中，我們將介紹注意力機(jī)制，它允許我們?cè)L問(wèn)編碼輸入，而無(wú)需將整個(gè)輸入壓縮為單個(gè)固定長(zhǎng)度的表示形式。

然后，為了生成輸出序列，一次一個(gè)標(biāo)記，由一個(gè)單獨(dú)的 RNN 組成的解碼器模型將在給定輸入序列和輸出中的前一個(gè)標(biāo)記的情況下預(yù)測(cè)每個(gè)連續(xù)的目標(biāo)標(biāo)記。在訓(xùn)練期間，解碼器通常會(huì)以官方“ground-truth”標(biāo)簽中的前面標(biāo)記為條件。然而，在測(cè)試時(shí)，我們希望根據(jù)已經(jīng)預(yù)測(cè)的標(biāo)記來(lái)調(diào)節(jié)解碼器的每個(gè)輸出。請(qǐng)注意，如果我們忽略編碼器，則 seq2seq 架構(gòu)中的解碼器的行為就像普通語(yǔ)言模型一樣。圖 10.7.1說(shuō)明了如何在機(jī)器翻譯中使用兩個(gè) RNN 進(jìn)行序列到序列學(xué)習(xí)。

圖 10.7.1使用 RNN 編碼器和 RNN 解碼器進(jìn)行序列到序列學(xué)習(xí)。

在圖 10.7.1中，特殊的“”標(biāo)記標(biāo)志著序列的結(jié)束。一旦生成此令牌，我們的模型就可以停止進(jìn)行預(yù)測(cè)。在 RNN 解碼器的初始時(shí)間步，有兩個(gè)特殊的設(shè)計(jì)決策需要注意：首先，我們以特殊的序列開(kāi)始“”標(biāo)記開(kāi)始每個(gè)輸入。其次，我們可以在每個(gè)解碼時(shí)間步將編碼器的最終隱藏狀態(tài)輸入解碼器（Cho等人，2014 年）。在其他一些設(shè)計(jì)中，例如Sutskever等人。( 2014 )，RNN 編碼器的最終隱藏狀態(tài)僅在第一個(gè)解碼步驟用于啟動(dòng)解碼器的隱藏狀態(tài)。

import collections
import math
import torch
from torch import nn
from torch.nn import functional as F
from d2l import torch as d2l

import collections
import math
from mxnet import autograd, gluon, init, np, npx
from mxnet.gluon import nn, rnn
from d2l import mxnet as d2l

npx.set_np()

import collections
import math
from functools import partial
import jax
import optax
from flax import linen as nn
from jax import numpy as jnp
from d2l import jax as d2l

import collections
import math
import tensorflow as tf
from d2l import tensorflow as d2l

def init_seq2seq(module): #@save
  """Initialize weights for Seq2Seq."""
  if type(module) == nn.Linear:
     nn.init.xavier_uniform_(module.weight)
  if type(module) == nn.GRU:
    for param in module._flat_weights_names:
      if "weight" in param:
        nn.init.xavier_uniform_(module._parameters[param])

class Seq2SeqEncoder(d2l.Encoder): #@save
  """The RNN encoder for sequence to sequence learning."""
  def __init__(self, vocab_size, embed_size, num_hiddens, num_layers,
         dropout=0):
    super().__init__()
    self.embedding = nn.Embedding(vocab_size, embed_size)
    self.rnn = d2l.GRU(embed_size, num_hiddens, num_layers, dropout)
    self.apply(init_seq2seq)

  def forward(self, X, *args):
    # X shape: (batch_size, num_steps)
    embs = self.embedding(X.t().type(torch.in