Q-Learning — Машинное Обучение — DATA SCIENCE (2024)

Дрессируя домашнее животное, вы вознаграждаете его за каждый правильный ответ. Вы можете пройти тот же тренинг, основанный на вознаграждении, для программного обеспечения или робота, чтобы программа эффективно выполняла поставленные задачи. Усиленное обучение – это уникальная техника искусственного интеллекта, позволяющая тренировать машины с помощью алгоритма машинного обучения. Давайте начнем детальное изучение алгоритма Q-обучения. Более того, мы можем открыть для себя, как работает мир усиленного обучения.

Усиление обучения

Вы можете использовать усиление обучения в машинном обучении и повысить производительность вашей модели. С помощью RL ваша модель выполняет различные действия по мере того, как вы максимизируете вознаграждение. Эта техника включает в себя различные станки и программное обеспечение, чтобы ваша модель могла развить идеальное поведение или направление в конкретной ситуации.
Обучение под наблюдением и усиление – это разные методики. В обучении под наблюдением, данные тренинга работают как ответы на решение. Эти типы моделей уже включают правильные ответы. Однако при обучении с помощью усиления алгоритм не включает правильных ответов, но агенты решают, как предпринять действия и выполнить различные функции в соответствии с поставленной задачей. Машина учится на опыте, не обращаясь за помощью к данным обучения.

Что такое Q-обучение?

Q-обучение – это алгоритм обучения, основанный на ценностях, и направленный на оптимизацию функции ценностей в соответствии с окружающей средой или проблемой. Q-обучение представляет собой качество, с которым модель находит свое следующее действие, улучшающее качество. Процесс может быть автоматическим и простым. Эта методика поражает воображение, когда Вы начинаете свой процесс обучения, направленный на повышение качества. Модель хранит все значения в таблице, которая является таблицей Q. Простыми словами, вы используете метод обучения для нахождения наилучшего решения. Ниже вы узнаете об учебном процессе, лежащем в основе Q-обучения.
Модель.

Обучающий процесс Q-обучения

Следующий пример игры поможет вам понять концепцию Q-обучения:

1. Инициализация

Ваш агент по игре в первый раз не будет включать в себя никаких знаний. Поэтому мы будем считать, что таблица Q равна нулю.

2. Исследование или Эксплуатация

На этом этапе ваш агент выберет любого из двух возможных способов. Если агент эксплуатирует, он будет собирать информацию из таблицы Q, или когда агент исследует, он будет пытаться сделать новые пути.
– Когда ваш агент работает на более высокое число в течение некоторого времени, необходимо использовать его.
– Когда у вашего агента нет никакого опыта, необходимо использовать новые способы.
Вы можете справиться с корректировкой между двумя условиями, разведкой и эксплуатацией, добавив эпсилон. Включите эпсилон в функцию стоимости. Когда мы начинаем с модели и не включаем никакой информации, вы должны предпочесть разведку. Однако, как только ваша модель начнет адаптироваться к окружающей среде, вам нужно будет проследить за разработкой. Простыми словами, агент предпримет действия на втором этапе, и выбор будет сделан в пользу разведки и добычи.

3. Измерение Награда

Когда агент решает, какое действие выбрать, он действует. Это приводит агента к следующему шагу – состоянию “S”. В этом состоянии агент выполняет четыре действия. Каждое из этих действий направляет агента к различным очкам вознаграждения. Например, если агент выбирает состояние “5” из состояния “1”, он будет двигаться дальше, основываясь на опыте этого состояния. Теперь агент может перейти в состояние 6 или 9, в зависимости от предыдущего опыта и возможного ожидания вознаграждения.

4. Обновить таблицу Q

Агент вычислит стоимость вознаграждения. Алгоритм будет использовать уравнение Беллмана для обновления значения в состоянии “S”. Вот некоторые терминологии
Скорость обучения – это константа, которая определяет вес, который необходимо добавить в Q-таблицу для генерации нового значения вместо старого.
Ставка дисконтирования-Дисконтная ставка является константой. Он дает скидку на то, какое вознаграждение вы получите в будущем. Простыми словами, ставка дисконтирования помогает уравновесить влияние будущих вознаграждений на новые ценности.
Как только агент пройдет через все эти этапы обучения, он достигнет обновленных значений в Q-Table. Теперь легко использовать Q-таблицу для отображения состояний. Каждый агент штата выберет действие, ведущее его к состоянию с наибольшим значением Q.

Глубокое Q-обучение

Глубокое изучение Q может помочь модели напрямую обновлять Q-таблицу соответствующими значениями и выполнять задачи более эффективно. Тем не менее, необходимо учитывать сложность модели как сложной среды, которая может значительно снизить производительность.
С другой стороны, время и ресурсы будут уравновешивать неосуществимость и неэффективность модели при модификации и обновлении Q-таблицы соответствующими значениями. Глубокое Q-обучение позволяет использовать стратегию Q-обучения путем интеграции искусственных нейронных сетей.

Как работает Глубокое Обучение Кью

Вы можете увеличить эффективность модели, оценив идеальную Q-функцию с помощью аппроксиматора функций. Используйте эту методику вместо того, чтобы использовать интегрированные значения для прямого вычисления Q-значений. Лучший метод для выбора прямо сейчас – это применение искусственных нейронных сетей.
Нейронная сеть поможет агенту выбрать состояние, получив входной сигнал. Этими входами являются состояния из среды. После получения входа нейронная сеть будет оценивать Q-значение. На основе этих Q-значений агент будет принимать решения.
Мы можем вычислить потери, сравнивая целевое значение и выход модели. Это возможно после выбора целевого значения. Для этого нам нужно использовать уравнение Беллмана:
Q*(s,a) = E [R t + 1 + γmaxa′q∗(s′,a′)
Теперь мы будем использовать стохастический градиентный спуск и алгоритм заднего плана, поэтому искусственная нейронная сеть обновляет значение, сводя к минимуму ошибки. Вы должны знать, что если у вас небольшое пространство состояний, вам нужно использовать стандартное Q-обучение вместо Deep Q Learning. Q-Learning вычислит оптимальные значения быстрее и эффективнее с малым пространством состояний.

Заключение

Усиление обучения заключается в решении вопроса о том, как агент будет учиться в условиях неопределенности путем принятия различных последовательностей решений. Некоторые многочисленные приемы и методы позволяют агенту определить свой путь и предпринять прогрессивные действия. Одним из таких методов усиления обучения является Q-обучение. Q-обучение в настоящее время является популярным, потому что эта стратегия является безмодельной.
Вы также можете поддержать свою модель Q-обучения с помощью Глубокого Обучения. Глубокое изучение включает в себя многочисленные искусственные нейронные сети, которые определяют подходящие веса, чтобы найти наилучшее решение. Q-обучение с помощью нейронных сетей – это глубокое QLearning. С помощью этих методов предприятия достигают многочисленных успехов в принятии решений и выполнении задач.