マルチヘッド・セルフアテンション

マルチヘッドアテンションにより、Transformer は複数のことに同時に注目できます。入力 X（n トークン × d 列）と d × d の重み行列について：

Q = X × w_q、K = X × w_k、V = X × w_v
d 列を num_heads 個のヘッドに分けます。各ヘッドは連続する d_k = d / num_heads 列を持ちます（ヘッド h は列 h×d_k から (h+1)×d_k - 1 を使う）。
各ヘッドで、その列だけを使ってスケールド・ドット積アテンションを実行します。トークン i について、そのヘッドの列で score_j = (Q_i · K_j) / √d_k を計算し、n 個すべてのトークン j でソフトマックスをとり、出力 = Σ weight_j × V_j（そのヘッドの列）。
各ヘッドの出力を元の列に戻し（連結し）、w_o を掛けます。

multi_head_attention(x, w_q, w_k, w_v, w_o, num_heads) を実装してください。

入力

x: n × d の入力行列。

w_q, w_k, w_v, w_o: d × d の重み行列。

num_heads: ヘッドの数（d はこの数で割り切れる）。

出力

n × d の出力行列を返してください。

制約

1 ≤ n ≤ 30、1 ≤ d ≤ 32、1 ≤ num_heads ≤ d で、d は num_heads で割り切れる

-5 ≤ 各値 ≤ 5

例

例 1

入力：
x = [
    [1.0, 0.0],
    [0.0, 1.0]
]
w_k = [
    [1.0, 0.0],
    [0.0, 1.0]
]
w_o = [
    [1.0, 0.0],
    [0.0, 1.0]
]
w_q = [
    [0.0, 0.0],
    [0.0, 0.0]
]
w_v = [
    [1.0, 0.0],
    [0.0, 1.0]
]
num_heads = 1

期待される出力：
[
    [0.5, 0.5],
    [0.5, 0.5]
]

解説

w_q がすべて 0 なので、スコアはすべて 0 となり、各トークンは値の行の平均になります。V = X なので、両方の行が [0.5, 0.5] になります。

例 2

入力：
x = [
    [2.0, 4.0]
]
w_k = [
    [1.0, 0.0],
    [0.0, 1.0]
]
w_o = [
    [0.0, 1.0],
    [1.0, 0.0]
]
w_q = [
    [1.0, 0.0],
    [0.0, 1.0]
]
w_v = [
    [1.0, 0.0],
    [0.0, 1.0]
]
num_heads = 2

期待される出力：
[
    [4.0, 2.0]
]

解説

トークンが1つだけなので各ヘッドは自分自身だけに注目し、連結した出力は V = [2, 4] です。w_o が2つの列を入れ替えるので [4, 2] になります。

参考資料

提出せずにサンプルテストでコードを確認できます。

例 1 未実行

入力：

x = [
    [1.0, 0.0],
    [0.0, 1.0]
]
w_k = [
    [1.0, 0.0],
    [0.0, 1.0]
]
w_o = [
    [1.0, 0.0],
    [0.0, 1.0]
]
w_q = [
    [0.0, 0.0],
    [0.0, 0.0]
]
w_v = [
    [1.0, 0.0],
    [0.0, 1.0]
]
num_heads = 1

期待される出力：

[
    [0.5, 0.5],
    [0.5, 0.5]
]

あなたの出力

例 2 未実行

入力：

x = [
    [2.0, 4.0]
]
w_k = [
    [1.0, 0.0],
    [0.0, 1.0]
]
w_o = [
    [0.0, 1.0],
    [1.0, 0.0]
]
w_q = [
    [1.0, 0.0],
    [0.0, 1.0]
]
w_v = [
    [1.0, 0.0],
    [0.0, 1.0]
]
num_heads = 2

期待される出力：

[
    [4.0, 2.0]
]

あなたの出力

提出時に非公開テスト4件も実行されます。

C#オンラインコンパイラ＆デバッガー

C#コードをオンラインで作成、コンパイル、実行、デバッグできます。Visual Studioなしで、複数ファイルIDEのブレークポイント、ステップ実行、オブジェクト確認を利用できます。

バージョン

プリインストール済みライブラリ

🚀 350,747 合計実行 (1 今月)

出力

C#のコーディングチャレンジで練習

このエディタで実践的な問題を解こう。サンプルテストを実行し、提出してAIコードレビューを受けられます。

すべてのC#チャレンジ

簡単

Average of Three

Average three whole numbers.

学べること算術除算

BeginnerLearning-pathVariables

解答を見る（1 件）

簡単

Rectangle Perimeter

Compute the perimeter of a rectangle from its sides.

学べること算術戻り値

BeginnerLearning-pathVariables

解答を見る（1 件）

中級

遺伝的アルゴリズムの 1 世代

トーナメント選択、一点交叉、突然変異でビット列の次の世代を作ります。

学べること遺伝的アルゴリズム進化的探索

OptimizationSimulationai

まだ解答がありません

簡単

ε-greedy による多腕バンディット

ε-greedy な行動選択で、多腕バンディットの探索と活用のバランスを取ります。

学べること探索と活用バンディット

強化学習ai機械学習

まだ解答がありません

簡単

マルコフ連鎖の状態分布

マルコフ連鎖の遷移行列を使って、確率分布を指定したステップ数だけ伝播させます。

学べることマルコフ連鎖確率

Simulationaimath

まだ解答がありません

中級

価値反復法

ベルマン最適方程式による更新を繰り返し、マルコフ決定過程の各状態の価値を計算します。

学べることベルマン方程式マルコフ決定過程

強化学習ai機械学習

まだ解答がありません

中級

Q 学習の更新

経験の列に Q 学習の更新を適用し、報酬が前の状態へさかのぼって伝わる様子を見ます。

学べること Q 学習割引報酬

強化学習ai機械学習

まだ解答がありません

中級

アルファベータ枝刈り

アルファベータ枝刈り付きのミニマックスでゲーム木を評価し、実際に調べた葉の数を数えます。

学べることアルファベータ枝刈りゲーム探索

RecursionTreesai

まだ解答がありません

中級

ミニマックスで三目並べ

ミニマックスでゲーム木全体を探索し、三目並べの完璧な一手を選びます。

学べることミニマックスゲーム木

Recursionai

まだ解答がありません

中級

重み付きグリッド上の A* 探索

ゲームやロボットの経路探索を支える A* で、地形コストのグリッドを横切る最安の経路を求めます。

学べること A* 探索ヒューリスティック

GraphsGridsShortest-pathai

まだ解答がありません

中級

温度と Top-K によるサンプリング

言語モデルと同じように、上位 k 個のロジットを残し、温度を適用してから次のトークンをサンプリングします。

学べることテキスト生成サンプリング

ai機械学習

まだ解答がありません

中級

レイヤー正規化

各行を平均 0、分散 1 に正規化してからスケーリングとシフトを行います。すべての Transformer ブロックで使われます。

学べることレイヤー正規化Transformer

ニューラルネットワークai機械学習

まだ解答がありません

🔷 この C# / .NET オンライン実行ツールについて

CodeUtility C# Executor は、ブラウザ上で本物の C# コードをそのまま書いて実行できるツールです — インストール、Visual Studio のセットアップ、.NET SDK は不要です。安全なサンドボックスで動作し、 .NET ランタイムと C# 9 以降を含むモダンな C# 言語バージョンに対応しています。

このツールは内部で dotnet-script を用いてコードをコンパイル・実行し、.NET 本来の挙動で動かせます。 LINQ、async/await、パターンマッチ、ジェネリクスといった基本から高度な C# 機能まで試せます。

シンプルなスクリプト、関数、ロジックの流れを検証したり、クラス、構造体、継承、インターフェイスなどの概念を — 余計なもののない快適なコーディング環境で探索できます。

C# を学習中でも、アルゴリズムを検証中でも、.NET の機能を実験中でも、CodeUtility C# Executor なら、どのブラウザからでも C# コードをすぐに安全・確実に実行できます。

単なるコードランナーではありません

同じ実行環境で、複数ファイル対応エディター、分離された実行ターミナル、ランタイム別ライブラリ、永続ワークスペース、共有、リアルタイム共同作業を利用できます。

この実行環境の使い方

ランタイムを選択し、ファイルを開くか作成してコードを記述し、［実行］を選択します。出力はターミナルに表示されます。サインインしたユーザーは、ワークスペースにファイルを保存し、ライブラリをインストールして、共有を通じて共同作業できます。

バージョンを選択して現在のファイルを編集するか、ワークスペース内の別のファイルを開きます。
コードを実行し、求められた場合はターミナルに入力して、保存された実行履歴を確認します。
複数のコードスニペットが必要な作業では、ライブラリ、ワークスペースツール、共有、チャットを利用します。

コーディングを開始する

バージョン実行する前にランタイムを選択します。インストールされたライブラリは、選択した言語バージョンに属します。
「開いているファイル」には、開いていないテキストファイルがリストされます。1 つを選択すると、利用可能なエディタータブで開きます。
「実行」は、プログラムで使用可能なワークスペースを使用してアクティブなファイルを実行します。
Stop は、制限時間前に現在の実行を終了します。
詳細モードでは、ファイルエクスプローラーと移動可能でサイズ変更可能なターミナルを備えた IDE レイアウトが開きます。

ワークスペースとライブラリ

新しいファイルは、選択した親ディレクトリにファイルを作成し、エディタで開きます。
新しいフォルダーは、サポートされているネストの深さまでのディレクトリを作成します。
ファイルをアップロードすると、1 つ以上の安全なファイルがディレクトリに追加されます。
ダウンロードでは、ファイルまたは圧縮されたディレクトリがデバイスに保存されます。
コピーは、ワークスペースファイルまたはディレクトリを複製します。
[名前の変更] を実行すると、ファイル名が変更され、開いているタブと履歴が更新されます。
Move は項目を再配置します。ファイルやディレクトリもドラッグできます。
削除は、確認後に項目を削除し、開いているエディタータブを閉じます。
プリインストールされたライブラリには、このランタイムにすでに含まれているパッケージが表示されます。
Add Lib は、アカウントと選択したランタイム用のプライベートパッケージをインストールします。

ターミナルとサポート

実行履歴により、前と次の保存された出力が開きます。
出力をコピーすると、現在の端末テキストがコピーされます。
出力をクリアすると、確認後に保存されている実行出力がすべて削除されます。
Explain ではアクティブなコードを要約します。
[最近] では、最近の説明と結果が開きます。
設定により、フォント、テーマ、表示されるツールバーボタンが変更されます。

共有とコラボレーション

共有は、現在のファイル、ディレクトリ、またはワークスペース全体をスナップショットまたはライブワークスペースとして公開します。リンクへのアクセスと変更を保存できるユーザーを制御します。
ログには、共有ワークスペースに保存されたコラボレーターのアクションが記録されます。
チャットを共有すると、サインインした参加者はメッセージを送信したり、メンバーにメンションしたり、コードブロックを共有したり、オンラインまたは入力中のメンバーを確認したりできます。
ライブコラボレーションでは、コラボレーターのカーソルと保存されたファイルの更新が表示されます。表示専用ユーザーは、最新バージョンをロードすることも、一時的な編集を保存することもできます。

割り当てと制限

実行時間は、サーバーの実行ごとに 20 秒に制限されます。より早く終了したい場合は、「停止」を使用します。
ワークスペースストレージでは、サインインしているユーザーのワークスペースと言語ごとに、ファイル 100 個、ディレクトリ 100 個、合計 10 MiB が許可されます。
ファイルとフォルダーは、ファイルごとに 1 MiB、ネストされたディレクトリレベルは 5 に制限されます。コードによって生成されたファイルは、同じクォータに従います。
プライベートライブラリは、アカウントおよびランタイムごとにインストールされるパッケージが 10 個に制限されています。
共有スナップショットには、ファイルあたり 1 MiB、合計 2 MiB まで、最大 100 個のファイルを含めることができます。
共有の招待は、共有ごとに最大 25 人をサポートし、アクセス権と保存権限は個別に管理されます。
チャットの共有では、メッセージあたり 2,000 文字、共有あたり 10,000 メッセージが許可されます。
クォータの強制は、コードの実行中にも適用されます。ファイル数、サイズ、ストレージ、またはネストの制限を超える書き込みは安全に拒否されます。

知っておくと便利 信頼できるコードのみを実行し、パッケージをインストールしてください。実行は分離され制限されていますが、プログラムは強制クォータまで書き込み可能なワークスペース内のファイルを変更できます。

💡 C# の基本と、上で試せるサンプル

1. 変数と定数の宣言

C# では強い型付けの変数宣言を使います。コンパイル時の定数には const、実行時に決まる定数には readonly を使います。

int age = 30;
double pi = 3.14159;
char grade = 'A';
string name = "Alice";
bool isActive = true;

// 定数
const int MaxUsers = 100;
const string Company = "CodeUtility";

2. 条件分岐 (if / switch)

制御フローには if、else if、switch を使います。

int x = 2;
if (x == 1)
{
    Console.WriteLine("1");
}
else if (x == 2)
{
    Console.WriteLine("2");
}
else
{
    Console.WriteLine("その他");
}

switch (x)
{
    case 1:
        Console.WriteLine("1");
        break;
    case 2:
        Console.WriteLine("2");
        break;
    default:
        Console.WriteLine("その他");
        break;
}

3. ループ

C# は for、while、foreach ループをサポートします。

for (int i = 0; i < 3; i++)
{
    Console.WriteLine(i);
}

int n = 3;
while (n > 0)
{
    Console.WriteLine(n);
    n--;
}

4. 配列

配列は同じ型の要素を固定長で格納します。

int[] numbers = { 10, 20, 30 };
Console.WriteLine(numbers[1]);

5. リストの操作

動的なコレクションには List<T> を使います。

List<int> nums = new List<int> { 1, 2, 3 };
nums.Add(4);
nums.Remove(2);

foreach (int n in nums)
{
    Console.Write(n + " ");
}

6. コンソール入出力

基本的な入出力には Console.WriteLine と Console.ReadLine を使用します。

Console.Write("あなたの名前を入力してください: ");
string name = Console.ReadLine();
Console.WriteLine($"こんにちは、{name}！");

7. 関数

戻り値の型、名前、引数を指定してメソッドを定義します。

int Add(int a, int b)
{
    return a + b;
}

Console.WriteLine(Add(3, 4));

8. ディクショナリ

Dictionary<TKey, TValue> はキーと値のペアを保持します。

Dictionary<string, int> ages = new Dictionary<string, int>();
ages["Alice"] = 30;
Console.WriteLine(ages["Alice"]);

9. 例外処理

実行時エラーは try、catch、finally で扱います。

try
{
    throw new Exception("問題が発生しました");
}
catch (Exception ex)
{
    Console.WriteLine(ex.Message);
}

10. ファイル I/O

ファイル操作には File と StreamReader/StreamWriter を使います。

File.WriteAllText("file.txt", "Hello File");
string text = File.ReadAllText("file.txt");
Console.WriteLine(text);

11. 文字列操作

C# の文字列は Length、Substring、Contains などのメソッドを利用できます。

string message = "Hello World";
Console.WriteLine(message.Length);
Console.WriteLine(message.Substring(0, 5));
Console.WriteLine(message.Contains("World"));

12. クラスとオブジェクト

C# はクラスとオブジェクトによるオブジェクト指向をサポートします。

class Person
{
    public string Name;
    public Person(string name) => Name = name;
    public void Greet() => Console.WriteLine($"こんにちは、{Name}です");
}

Person p = new Person("Alice");
p.Greet();