- Исполнители
-
Обучение
Учебный центр Python Запускаемые примеры, NumPy, pandas и другое Учебный центр C и C++ Указатели, память, STL и современный C++ Учебный центр C#Основы C#, ООП, LINQ, async и упражнения .NET Алгоритмы на Python Поиск, сортировка, рекурсия и визуализация O(n) Алгоритмы на C и C++ Сравнение реализаций на C и C++
- Задачи
Q-learning учится только на опыте, насколько хорошо каждое действие в каждом состоянии, Q(s, a). После действия a в состоянии s, получения reward и перехода в состояние s':
- target = reward, если эпизод закончился (
done= 1) - target = reward + gamma × максимум по a' от Q(s', a'), иначе
- Q(s, a) ← Q(s, a) + alpha × (target - Q(s, a))
Начните со всех значений Q, равных 0, и применяйте переходы по порядку.
Реализуйте q_learning(num_states, num_actions, transitions, alpha, gamma).
Входные данные
num_states, num_actions: Размер таблицы.
transitions: По одной строке [state, action, reward, next_state, done] на шаг.
alpha: Скорость обучения.
gamma: Коэффициент дисконтирования.
Выходные данные
Верните таблицу Q в виде матрицы с одной строкой на состояние и одним столбцом на действие.
Ограничения
1 ≤ num_states, num_actions ≤ 100, 0 ≤ число переходов ≤ 10 000
-100 ≤ reward ≤ 100, done равно 0 или 1
0 < alpha ≤ 1, 0 ≤ gamma ≤ 1
Примеры
Пример 1
Ввод:
alpha = 0.5
gamma = 0.9
num_states = 2
num_actions = 2
transitions = [
[0, 1, 0, 1, 0],
[1, 0, 10, 0, 1]
]
Ожидаемый вывод:
[
[0.0, 0.0],
[5.0, 0.0]
]Пояснение
На первом шаге награды ещё нет: target = 0 + 0.9 × max(Q[1]) = 0, поэтому Q[0][1] остаётся 0. Второй шаг завершает эпизод с наградой 10: Q[1][0] = 0 + 0.5 × (10 - 0) = 5.
Пример 2
Ввод:
alpha = 0.5
gamma = 0.9
num_states = 2
num_actions = 2
transitions = [
[1, 0, 10, 0, 1],
[0, 1, 0, 1, 0]
]
Ожидаемый вывод:
[
[0.0, 2.25],
[5.0, 0.0]
]Пояснение
Те же шаги в обратном порядке. Q[1][0] сначала становится 5, поэтому шаг из состояния 0 его видит: target = 0 + 0.9 × 5 = 4.5 и Q[0][1] = 0.5 × 4.5 = 2.25. Награда распространилась на одно состояние назад.
Ссылки
-
Пример 1 Не запущеноВвод:
alpha = 0.5 gamma = 0.9 num_states = 2 num_actions = 2 transitions = [ [0, 1, 0, 1, 0], [1, 0, 10, 0, 1] ]Ожидаемый вывод:[ [0.0, 0.0], [5.0, 0.0] ]Ваш вывод -
Пример 2 Не запущеноВвод:
alpha = 0.5 gamma = 0.9 num_states = 2 num_actions = 2 transitions = [ [1, 0, 10, 0, 1], [0, 1, 0, 1, 0] ]Ожидаемый вывод:[ [0.0, 2.25], [5.0, 0.0] ]Ваш вывод
При отправке также выполняются ещё 4 скрытых теста.
Онлайн-компилятор и отладчик C#
Пишите, компилируйте, запускайте и отлаживайте C# онлайн. Используйте точки останова, пошаговое выполнение и просмотр объектов в многофайловой IDE без Visual Studio.
🚀 350,747 всего выполнений (1 в этом месяце)
Практикуйте C# на задачах
Решайте задачи прямо в редакторе: запускайте тесты, отправляйте решение и получайте AI-рецензию.
🔷 Об этом онлайн-исполнителе C# / .NET
CodeUtility C# Executor позволяет писать и запускать настоящий C#‑код прямо в браузере - без установки, настройки Visual Studio или .NET SDK. Он работает в защищенной песочнице с поддержкой .NET runtime и современных версий языка C#, включая C# 9 и новее.
Этот инструмент использует dotnet-script под капотом, чтобы компилировать и выполнять ваш код с реальным поведением .NET, позволяя экспериментировать как с базовыми, так и с продвинутыми возможностями C#, такими как LINQ, async/await, сопоставление с образцом и обобщения.
Вы можете тестировать простые скрипты, функции и логические конструкции или изучать концепции классов, структур, наследования и интерфейсов - все это в чистой, не отвлекающей среде для кодинга.
Независимо от того, изучаете ли вы C#, тестируете алгоритмы или экспериментируете с возможностями .NET, CodeUtility C# Executor дает вам быстрый, безопасный и надежный способ мгновенно запускать C#‑код из любого браузера.
Больше, чем средство запуска кода
Используйте в одном исполнителе многофайловый редактор, изолированный терминал выполнения, библиотеки для выбранной среды, постоянные рабочие пространства, общий доступ и совместную работу в реальном времени.
Как пользоваться этим исполнителем?
Выберите среду выполнения, откройте или создайте файл, напишите код и нажмите «Запустить». Результат появится в терминале. Пользователи, вошедшие в систему, могут хранить файлы в рабочем пространстве, устанавливать библиотеки и совместно работать через общие ресурсы.
- Выберите версию и отредактируйте текущий файл или откройте другой файл рабочего пространства.
- Запустите код, при необходимости введите данные в терминале и просмотрите сохранённую историю запусков.
- Используйте библиотеки, инструменты рабочего пространства, общий доступ и чат, когда для задачи требуется несколько фрагментов кода.
💡 Основы C# и примеры, которые можно попробовать выше
1. Объявление переменных и констант
В C# используется строгая типизация переменных. Применяйте const для констант времени компиляции и readonly для констант времени выполнения.
int age = 30;
double pi = 3.14159;
char grade = 'A';
string name = "Alice";
bool isActive = true;
// Константы
const int MaxUsers = 100;
const string Company = "CodeUtility";2. Условия (if / switch)
Используйте if, else if и switch для управления потоком выполнения.
int x = 2;
if (x == 1)
{
Console.WriteLine("Один");
}
else if (x == 2)
{
Console.WriteLine("Два");
}
else
{
Console.WriteLine("Другое");
}
switch (x)
{
case 1:
Console.WriteLine("Один");
break;
case 2:
Console.WriteLine("Два");
break;
default:
Console.WriteLine("Другое");
break;
}3. Циклы
В C# поддерживаются циклы for, while и foreach.
for (int i = 0; i < 3; i++)
{
Console.WriteLine(i);
}
int n = 3;
while (n > 0)
{
Console.WriteLine(n);
n--;
}4. Массивы
Массивы хранят коллекции фиксированного размера из элементов одного типа.
int[] numbers = { 10, 20, 30 };
Console.WriteLine(numbers[1]);5. Работа со списками
Используйте List<T> для динамических коллекций.
List<int> nums = new List<int> { 1, 2, 3 };
nums.Add(4);
nums.Remove(2);
foreach (int n in nums)
{
Console.Write(n + " ");
}6. Ввод/вывод в консоли
Используйте Console.WriteLine и Console.ReadLine для базового ввода-вывода.
Console.Write("Введите ваше имя: ");
string name = Console.ReadLine();
Console.WriteLine($"Привет, {name}!");7. Функции
Определяйте методы, указывая тип возвращаемого значения, имя и параметры.
int Add(int a, int b)
{
return a + b;
}
Console.WriteLine(Add(3, 4));8. Словари
Dictionary<TKey, TValue> хранит пары ключ-значение.
Dictionary<string, int> ages = new Dictionary<string, int>();
ages["Alice"] = 30;
Console.WriteLine(ages["Alice"]);9. Обработка исключений
Обрабатывайте ошибки времени выполнения с помощью try, catch и finally.
try
{
throw new Exception("Что-то пошло не так");
}
catch (Exception ex)
{
Console.WriteLine(ex.Message);
}10. Работа с файлами
Используйте File и StreamReader/StreamWriter для операций с файлами.
File.WriteAllText("file.txt", "Привет, файл");
string text = File.ReadAllText("file.txt");
Console.WriteLine(text);11. Работа со строками
Строки в C# поддерживают методы Length, Substring, Contains и другие.
string message = "Hello World";
Console.WriteLine(message.Length);
Console.WriteLine(message.Substring(0, 5));
Console.WriteLine(message.Contains("World"));12. Классы и объекты
C# поддерживает объектно-ориентированное программирование через классы и объекты.
class Person
{
public string Name;
public Person(string name) => Name = name;
public void Greet() => Console.WriteLine($"Привет, я {Name}");
}
Person p = new Person("Alice");
p.Greet();