Attentionとは何を行う仕組みか？
- 情報の重要度に重みをつける仕組み
- 入力を分類する機構
- 活性化関数の一種
- 誤差関数の一種
正解！
不正解...
正解は情報の重要度に重みをつける仕組みです。
問題に戻る
Attentionで主に行われる処理は？
- 情報の関連度を計算する
- 勾配を補正する
- 重みを削除する
- 正規化を行う
正解！
不正解...
正解は情報の関連度を計算するです。
Attentionは、各入力の関連度を計算し、重要度に応じた処理を行います。
問題に戻る
AttentionがRNNと比較して得意とする処理は？
- 長期依存関係の学習
- 活性化の向上
- 正則化
- 入力の前処理
正解！
不正解...
正解は長期依存関係の学習です。
Attentionは、RNNの苦手な長期依存関係の情報も直接参照できる点が強みです。
問題に戻る
Attentionを活用した代表的なディープラーニングモデルは？
- Transformer
- CNN
- LSTM
- GRU
正解！
不正解...
正解はTransformerです。
TransformerはAttention機構を活用した代表的なモデルです。
問題に戻る
入力系列内の各要素間の関係を計算するAttentionの種類は？
- Self-Attention
- Cross-Attention
- Batch-Attention
- Feature-Attention
正解！
不正解...
正解はSelf-Attentionです。
Self-Attentionは、同一系列内の単語同士の関連性を捉えるAttentionです。
問題に戻る
エンコーダーとデコーダーの情報を関連付けるAttentionは？
- Encoder-Decoder Attention
- Self-Attention
- Input-Attention
- Positional-Attention
正解！
不正解...
正解はEncoder-Decoder Attentionです。
Encoder-Decoder Attention（Source Target Attention）は、エンコーダーとデコーダー間の関連を学習します。
問題に戻る
Attentionの計算に使われる3つの構成要素は？
- クエリ
- キー
- バリュー
- すべて正しい
正解！
不正解...
正解はすべて正しいです。
Attentionでは、クエリ・キー・バリューの3つのベクトルを用いて重みを計算します。
問題に戻る
異なる表現空間で複数のAttentionを並列に行う仕組みは？
- Multi-Head Attention
- Batch-Attention
- Drop-Attention
- Dense-Attention
正解！
不正解...
正解はMulti-Head Attentionです。
Multi-Head Attentionは、異なる視点から情報の関連度を同時に学習するための仕組みです。
問題に戻る
系列の順序情報を付与するために用いられる手法は？
- 位置エンコーディング
- 勾配消失
- 活性化関数
- 学習率スケジューリング
正解！
不正解...
正解は位置エンコーディングです。
Transformerは順序情報を直接扱わないため、位置エンコーディングで順序情報を付与します。
問題に戻る
Attentionと組み合わせて機械翻訳などに使われるモデル構成は？
- Seq2Seq
- ResNet
- VGGNet
- LeNet
正解！
不正解...
正解はSeq2Seqです。
Seq2Seqは、エンコーダーとデコーダーの構成を持ち、Attentionと組み合わせて翻訳などに使われます。
問題に戻る
Attentionは、入力情報の中で重要な部分に重点を置く仕組みです。