多腕バンディットは、払い戻しのわからないスロットマシン (アーム) の列です。ε-greedy は探索と活用のバランスを取ります。確率 epsilon でランダムなアームを引き、それ以外は推定価値が最も高いアームを引きます。
テストできるように、乱数は与えられます。すべてのアームについて推定値 Q = 0、回数 N = 0 から始めます。各ステップ t で:
random_values[t]< epsilon なら探索: arm =random_arms[t]。そうでなければ活用: arm = Q が最も高いアーム (同点なら最も小さいインデックス)。- reward =
rewards[t][arm]を受け取ります。 - N[arm] ← N[arm] + 1、Q[arm] ← Q[arm] + (reward - Q[arm]) / N[arm] (逐次平均)。
epsilon_greedy(rewards, epsilon, random_values, random_arms) を実装してください。
入力
rewards: 1 ステップにつき 1 行で、そのステップに各アームが払う報酬。
epsilon: 探索する確率。
random_values: ステップごとの [0, 1) の乱数。
random_arms: 探索する場合に各ステップで引くアーム。
出力
最終的な推定値 Q をアームごとに 1 つずつ返します。
制約
1 ≤ ステップ数 ≤ 10,000、1 ≤ アーム数 ≤ 100
0 ≤ epsilon ≤ 1、-100 ≤ 各報酬 ≤ 100
例
入力：
epsilon = 0.1
rewards = [
[1.0, 3.0],
[1.0, 3.0],
[1.0, 3.0],
[1.0, 3.0]
]
random_arms = [0, 1, 0, 0]
random_values = [0.5, 0.05, 0.7, 0.9]
期待される出力：
[1.0, 3.0]解説
ステップ 0 は活用します。Q はどちらも 0 なのでアーム 0 を引き、Q = [1, 0]。ステップ 1 は探索 (0.05 < 0.1) でアーム 1 を試し、Q = [1, 3]。ステップ 2 と 3 はより良いアーム 1 を活用します。結果: [1, 3]。
入力：
epsilon = 0.0
rewards = [
[2.0, 5.0],
[4.0, 5.0],
[0.0, 5.0]
]
random_arms = [1, 1, 1]
random_values = [0.5, 0.5, 0.5]
期待される出力：
[2.0, 0.0]解説
epsilon = 0 ではエージェントは決して探索しません。アーム 0 を引き続け、平均は 2 → 3 → 2 と変わり、アーム 1 が 5 を払うことに気づきません。結果: [2, 0]。
参考資料
-
例 1 未実行入力：
epsilon = 0.1 rewards = [ [1.0, 3.0], [1.0, 3.0], [1.0, 3.0], [1.0, 3.0] ] random_arms = [0, 1, 0, 0] random_values = [0.5, 0.05, 0.7, 0.9]期待される出力：[1.0, 3.0]あなたの出力 -
例 2 未実行入力：
epsilon = 0.0 rewards = [ [2.0, 5.0], [4.0, 5.0], [0.0, 5.0] ] random_arms = [1, 1, 1] random_values = [0.5, 0.5, 0.5]期待される出力：[2.0, 0.0]あなたの出力
提出時に非公開テスト4件も実行されます。
C#オンラインコンパイラ＆デバッガー
C#コードをオンラインで作成、コンパイル、実行、デバッグできます。Visual Studioなしで、複数ファイルIDEのブレークポイント、ステップ実行、オブジェクト確認を利用できます。
🔷 この C# / .NET オンライン実行ツールについて
CodeUtility C# Executor は、ブラウザ上で本物の C# コードをそのまま書いて実行できるツールです — インストール、Visual Studio のセットアップ、.NET SDK は不要です。安全なサンドボックスで動作し、 .NET ランタイムと C# 9 以降を含むモダンな C# 言語バージョンに対応しています。
このツールは内部で dotnet-script を用いてコードをコンパイル・実行し、.NET 本来の挙動で動かせます。 LINQ、async/await、パターンマッチ、ジェネリクスといった基本から高度な C# 機能まで試せます。
シンプルなスクリプト、関数、ロジックの流れを検証したり、クラス、構造体、継承、インターフェイスなどの概念を — 余計なもののない快適なコーディング環境で探索できます。
C# を学習中でも、アルゴリズムを検証中でも、.NET の機能を実験中でも、CodeUtility C# Executor なら、どのブラウザからでも C# コードをすぐに安全・確実に実行できます。
同じ実行環境で、複数ファイル対応エディター、分離された実行ターミナル、ランタイム別ライブラリ、永続ワークスペース、共有、リアルタイム共同作業を利用できます。
この実行環境の使い方
ランタイムを選択し、ファイルを開くか作成してコードを記述し、［実行］を選択します。出力はターミナルに表示されます。サインインしたユーザーは、ワークスペースにファイルを保存し、ライブラリをインストールして、共有を通じて共同作業できます。
- バージョンを選択して現在のファイルを編集するか、ワークスペース内の別のファイルを開きます。
- コードを実行し、求められた場合はターミナルに入力して、保存された実行履歴を確認します。
- 複数のコードスニペットが必要な作業では、ライブラリ、ワークスペースツール、共有、チャットを利用します。
💡 C# の基本と、上で試せるサンプル
1. 変数と定数の宣言
C# では強い型付けの変数宣言を使います。コンパイル時の定数には const、実行時に決まる定数には readonly を使います。
int age = 30;
double pi = 3.14159;
char grade = 'A';
string name = "Alice";
bool isActive = true;
// 定数
const int MaxUsers = 100;
const string Company = "CodeUtility";2. 条件分岐 (if / switch)
制御フローには if、else if、switch を使います。
int x = 2;
if (x == 1)
{
Console.WriteLine("1");
}
else if (x == 2)
{
Console.WriteLine("2");
}
else
{
Console.WriteLine("その他");
}
switch (x)
{
case 1:
Console.WriteLine("1");
break;
case 2:
Console.WriteLine("2");
break;
default:
Console.WriteLine("その他");
break;
}3. ループ
C# は for、while、foreach ループをサポートします。
for (int i = 0; i < 3; i++)
{
Console.WriteLine(i);
}
int n = 3;
while (n > 0)
{
Console.WriteLine(n);
n--;
}4. 配列
配列は同じ型の要素を固定長で格納します。
int[] numbers = { 10, 20, 30 };
Console.WriteLine(numbers[1]);5. リストの操作
動的なコレクションには List<T> を使います。
List<int> nums = new List<int> { 1, 2, 3 };
nums.Add(4);
nums.Remove(2);
foreach (int n in nums)
{
Console.Write(n + " ");
}6. コンソール入出力
基本的な入出力には Console.WriteLine と Console.ReadLine を使用します。
Console.Write("あなたの名前を入力してください: ");
string name = Console.ReadLine();
Console.WriteLine($"こんにちは、{name}！");7. 関数
戻り値の型、名前、引数を指定してメソッドを定義します。
int Add(int a, int b)
{
return a + b;
}
Console.WriteLine(Add(3, 4));8. ディクショナリ
Dictionary<TKey, TValue> はキーと値のペアを保持します。
Dictionary<string, int> ages = new Dictionary<string, int>();
ages["Alice"] = 30;
Console.WriteLine(ages["Alice"]);9. 例外処理
実行時エラーは try、catch、finally で扱います。
try
{
throw new Exception("問題が発生しました");
}
catch (Exception ex)
{
Console.WriteLine(ex.Message);
}10. ファイル I/O
ファイル操作には File と StreamReader/StreamWriter を使います。
File.WriteAllText("file.txt", "Hello File");
string text = File.ReadAllText("file.txt");
Console.WriteLine(text);11. 文字列操作
C# の文字列は Length、Substring、Contains などのメソッドを利用できます。
string message = "Hello World";
Console.WriteLine(message.Length);
Console.WriteLine(message.Substring(0, 5));
Console.WriteLine(message.Contains("World"));12. クラスとオブジェクト
C# はクラスとオブジェクトによるオブジェクト指向をサポートします。
class Person
{
public string Name;
public Person(string name) => Name = name;
public void Greet() => Console.WriteLine($"こんにちは、{Name}です");
}
Person p = new Person("Alice");
p.Greet();