← 生成AIパスポート オリジナル問題集 トップへ
問 17
第2章: 生成AI（ジェネレーティブAI）2017年に発表されたTransformerモデルと、その後に登場した派生モデルに関する記述として、最も適切なものはどれか。
ATransformerは自己注意力（Self-Attention）で文中の単語同士の関連度を計算する仕組みを中核とし、GPTモデルやBERTモデルなどの派生モデルを生んだ正解
BTransformerはRNNのリカレント層をさらに発展させたモデルであり、文中の単語を先頭から1つずつ順番に処理していく点に最大の特徴がある
CBERTモデルはOpenAIが開発した自己回帰型のモデルであり、直前までの単語の並びから次に来る単語を1つずつ予測していく文章生成のタスクだけに特化している
DTransformerには単語の位置情報を扱う仕組みが存在しないため、語順が意味を持つ言語の処理には利用できない