UNIT 1. INTRODUCTION TO DEEP REINFORCEMENT LEARNING
Introduction
딥 리인포스먼트 러닝(Deep Reinforcement Learning, DRL)은 머신러닝의 한 분야로서, 에이전트가 환경과 상호작용하며 보상을 최대화하는 방향으로 학습하는 방법입니다. DRL은 알파고와 같은 복잡한 문제에서 놀라운 결과를 보여주며, 이 분야의 연구가 활발히 진행되고 있습니다.
강화학습은 무엇인가?
리인포스먼트 러닝(Reinforcement Learning, RL)은 에이전트가 환경과 상호작용하며, 이 상호작용을 통해 얻은 보상을 기반으로 행동을 학습하는 방법입니다. RL의 목표는 누적 보상을 최대화하는 정책(policy)를 찾는 것입니다.
수학적으로 RL 문제는 마르코프 결정 과정(Markov Decision Process, MDP)으로 표현할 수 있습니다. MDP는 상태(states), 행동(actions), 보상(rewards), 상태 전이 확률(state transition probabilities), 그리고 감가율(discount factor)로 이루어져 있습니다.
python
Copy code
class MDP: def __init__(self, states, actions, rewards, transitions, discount_factor): self.states = states self.actions = actions self.rewards = rewards self.transitions = transitions self.discount_factor = discount_factor
여기서 각 요소는 다음과 같습니다:
- 상태(states): 에이전트가 관찰할 수 있는 환경의 조건을 나타냅니다.
- 행동(actions): 에이전트가 취할 수 있는 모든 행동을 나타냅니다.
- 보상(rewards): 특정 상태에서 특정 행동을 취했을 때 에이전트가 받는 보상입니다.
- 상태 전이 확률(transitions): 특정 상태에서 특정 행동을 취했을 때, 다음 상태로 전이할 확률입니다.
- 감가율(discount_factor): 미래의 보상에 대한 현재 가치를 낮추는 요소입니다.
BONUS UNIT 1. INTRODUCTION TO DEEP REINFORCEMENT LEARNING WITH HUGGY
Introduction
Huggy는 간단한 RL 예제로, 목표는 특정 환경에서 최적의 정책을 학습하는 것입니다. Huggy는 사람의 도움 없이 어떻게 미로를 탈출하는지, 즉 최적의 경로를 찾는 방법을 학습합니다.
How Huggy works?
Huggy는 MDP 프레임워크를 사용합니다. 환경은 미로로, 각 위치는 상태를 나타내고, Huggy는 4개의 방향(상, 하, 좌, 우)으로 이동하는 행동을 취할 수 있습니다. 보상은 목표 지점에 도달하면 양수, 벽에 부딪히면 음수, 그 외의 경우에는 0입니다.
python
Copy code
class HuggyMDP(MDP): def __init__(self, maze, rewards, discount_factor): states = [(i, j) for i in range(maze.shape[0]) for j in range(maze.shape[1])] actions = [‘up’, ‘down’, ‘left’, ‘right’] transitions = self.calculate_transitions(maze) super().__init__(states, actions, rewards, transitions, discount_factor) def calculate_transitions(self, maze): # 상태 전이 확률 계산
이 코드에서 calculate_transitions 메소드는 미로의 구조를 바탕으로 상태 전이 확률을 계산합니다.
나머지 섹션도 비슷한 방식으로 작성하시면 됩니다. 다만, 각 섹션마다 적절한 수학적 내용과 코드를 추가하시는 것이 중요합니다. 이에 대한 균형을 잘 유지하면서 글을 쓰는 것이 독자들에게 도움이 될 것입니다.
The Reinforcement Learning Framework
강화학습 프레임워크는 상호작용하는 두 주체, 에이전트(Agent)와 환경(Environment)로 구성됩니다.
에이전트는 시간스텝별로 환경에서 상태(State)를 관찰하고, 이를 바탕으로 행동(Action)을 선택합니다. 선택된 행동은 환경에 적용되며, 이에 따라 환경은 변화하고 에이전트에게 보상(Reward)을 제공합니다.
이러한 프로세스는 연속적으로 진행되며, 에이전트의 목표는 시간스텝별 보상의 합계를 최대화하는 행동을 학습하는 것입니다.
다음 파이썬 코드는 이러한 강화학습 프레임워크를 클래스로 구현한 예입니다.
python
Copy code
class Environment: def step(self, action): “”” Apply the action and return the new state, reward and done “”” pass def reset(self): “”” Reset the environment to its initial state “”” pass class Agent: def choose_action(self, state): “”” Choose the action based on the current state “”” pass def learn(self, state, action, reward, next_state): “”” Update the knowledge based on the most recent experience “”” pass
The type of tasks
강화학습의 작업은 에피소드(Episodic) 작업과 연속(Continuing) 작업의 두 가지 유형으로 나뉩니다.
에피소드 작업은 시작과 끝이 있는 작업입니다. 예를 들어, 체스 게임을 완료하는 것이나 미로를 탈출하는 것은 에피소드 작업입니다. 각 에피소드는 터미널 상태(Terminal State)로 끝나며, 이후 에이전트는 초기 상태로 돌아갑니다.
연속 작업은 종료 상태가 없는 작업입니다. 이 작업에서는 에이전트가 무한히 많은 시간 단계에 대해 학습하고 행동합니다. 예를 들어, 주식 시장에서 거래하는 에이전트는 연속 작업을 수행할 수 있습니다.
이에 대한 파이썬 코드는 다음과 같습니다.
python
Copy code
class EpisodicTask(Environment): def step(self, action): “”” In an episodic task, check if the terminal state has been reached. If so, reset the environment. “”” next_state, reward, done = super().step(action) if done: self.reset() return next_state, reward, done class ContinuingTask(Environment): def step(self, action): “”” In a continuing task, there’s no terminal state. “”” return super().step(action)
이런 식으로 계속 작성하시면 됩니다. 그러나 더 많은 세부적인 내용을 다루려면, 강화학습에 대한 깊은 이해와 많은 시간이 필요할 것입니다.
The Exploration/Exploitation Tradeoff
강화학습에서 중요한 개념 중 하나는 탐험과 활용의 균형입니다. 에이전트는 알려진 정보를 활용하여 최대의 보상을 얻는 행동을 선택할 수 있지만(활용), 동시에 알려지지 않은 상태와 행동에 대해 더 많은 정보를 얻기 위해 탐험할 수도 있습니다(탐험).
이 둘 사이의 균형은 에이전트의 성능에 큰 영향을 미칩니다. 너무 많이 탐험하면, 에이전트는 이미 알고 있는 가치가 높은 행동을 너무 자주 건너뛰게 될 수 있습니다. 반대로 너무 많이 활용하면, 에이전트는 더 좋은 행동을 발견하지 못하고 계속해서 서브-최적의 행동을 선택하게 될 수 있습니다.
이 문제를 해결하기 위한 여러 가지 전략이 있습니다. 대표적인 전략은 ε-탐욕적 전략(epsilon-greedy strategy)입니다. 이 전략에서, 에이전트는 확률 ε로 무작위 행동을 선택하고, 확률 1-ε로 현재 알고 있는 최고의 행동을 선택합니다. 이렇게 하면 에이전트는 항상 일정한 확률로 새로운 행동을 탐험하게 됩니다.
python
Copy code
import numpy as np class EpsilonGreedyAgent(Agent): def __init__(self, epsilon): self.epsilon = epsilon def choose_action(self, state): if np.random.rand() < self.epsilon: return self.explore(state) else: return self.exploit(state) def explore(self, state): # Implement logic to explore pass def exploit(self, state): # Implement logic to exploit pass
The two main approaches for solving RL problems
강화학습 문제를 해결하기 위한 두 가지 주요 접근법은 ‘가치 기반(Value-Based)’ 방법과 ‘정책 기반(Policy-Based)’ 방법입니다.
가치 기반 방법에서는 에이전트가 각 상태 또는 행동의 가치를 학습하고, 이를 기반으로 최적의 행동을 선택합니다. 가치는 특정 상태 또는 행동을 취했을 때 기대할 수 있는 미래 보상의 합계를 의미합니다. Q-러닝과 같은 가치 기반 방법들은 이 가치 함수를 학습하고 최적화하는 방법을 사용합니다.
정책 기반 방법에서는 에이전트가 직접 최적의 행동을 결정하는 정책을 학습합니다. 정책은 상태를 입력으로 받아서 행동을 출력하는 함수로 볼 수 있습니다. 에이전트는 환경과 상호작용하며 얻은 정보를 사용하여 이 정책을 계속 개선합니다.
이 두 접근법은 서로 보완적입니다. 가치 기반 방법은 가치 함수를 명확하게 모델링하고 최적화하는 데 초점을 맞추며, 정책 기반 방법은 정책을 직접적으로 학습하고 개선하는데 초점을 맞춥니다. 하지만 이 두 방법을 결합한 ‘Actor-Critic’ 방법은 가치 함수를 사용하여 정책을 평가하고 개선하는 방법을 사용하여, 두 접근법의 장점을 모두 취합니다.
The “Deep” in Deep Reinforcement Learning
딥 리인포스먼트 러닝(Deep Reinforcement Learning)은 강화학습과 딥러닝을 결합한 것입니다. 강화학습에서는 보상을 최대화하는 행동을 찾기 위해 환경과 상호작용하는 에이전트를 모델링하고, 딥러닝에서는 대규모 데이터를 학습하여 복잡한 패턴을 찾는 신경망을 사용합니다.
딥러닝은 강화학습에서 큰 역할을 합니다. 신경망은 복잡한 상태와 행동 공간을 모델링할 수 있어서, 전통적인 강화학습 방법에서는 다루기 어려웠던 복잡하고 고차원의 문제를 해결할 수 있게 해줍니다.
예를 들어, 딥 Q-네트워크(Deep Q-Network, DQN)는 신경망을 사용하여 Q-함수를 근사하는 방법
(Deep Q-Network, DQN)를 근사하는 방법입니다. 이렇게 하면, 에이전트는 수많은 상태와 행동 조합에 대한 Q-가치를 직접 계산할 필요 없이, 네트워크에 상태와 행동을 입력하고 예측된 Q-가치를 출력받을 수 있습니다. 이로 인해 DQN은 고차원의 상태 공간과 행동 공간을 가진 문제에 효과적으로 적용될 수 있습니다.
python
Copy code
import tensorflow as tf class DQNAgent(Agent): def __init__(self, state_size, action_size): self.state_size = state_size self.action_size = action_size self.model = self._build_model() def _build_model(self): model = tf.keras.models.Sequential() model.add(tf.keras.layers.Dense(24, input_dim=self.state_size, activation=’relu’)) model.add(tf.keras.layers.Dense(24, activation=’relu’)) model.add(tf.keras.layers.Dense(self.action_size, activation=’linear’)) model.compile(loss=’mse’, optimizer=tf.keras.optimizers.Adam()) return model def choose_action(self, state): q_values = self.model.predict(state) return np.argmax(q_values[0]) def learn(self, state, action, reward, next_state): # Implement logic to update the model pass
이는 딥러닝이 강화학습에 큰 영향을 미치는 예시 중 하나입니다. 딥러닝은 강화학습에서 가치 함수나 정책을 근사하는 복잡한 함수를 학습하는 데 사용되며, 이로 인해 에이전트는 더 복잡한 환경에서 효과적으로 학습하고 행동할 수 있게 되었습니다.
Summary
이 단원에서는 강화학습에 대한 기본적인 이해를 위해 강화학습의 핵심 개념을 살펴보았습니다. 우선, 강화학습 프레임워크와 이를 구성하는 요소들에 대해 알아보았습니다. 그 다음으로, 에이전트가 행동을 선택하는 데 있어 중요한 탐험과 활용의 균형 문제를 살펴보았습니다. 그리고 강화학습 문제를 해결하기 위한 두 가지 주요 접근법인 가치 기반 방법과 정책 기반 방법에 대해 설명하였습니다. 마지막으로, 딥러닝이 강화학습에 어떻게 적용되는지, 그리고 이를 통해 어떤 이점을 얻을 수 있는지에 대해 설명하였습니다.
강화학습은 에이전트가 환경과 상호작용하며 보상을 최대화하는 행동을 학습하는 방법을 제공합니다. 이는 게임 이론, 자동 제어, 운영 연구, 정보 이론, 시뮬레이션 기반 최적화, 다중 에이전트 시스템, 머신러닝, 데이터 마이닝, 그리고 로봇학 등 다양한 분야에 걸쳐 널리 사용되는 방법입니다.
BONUS UNIT 1. INTRODUCTION TO DEEP REINFORCEMENT LEARNING WITH HUGGY
Introduction
이 보너스 단원에서는 Huggy라는 가상의 강화학습 환경을 통해 강화학습을 직접 체험해보겠습니다. Huggy는 간단한 게임 환경으로, 에이전트는 주어진 시간 내에 가능한 한 많은 포인트를 얻기 위해 환경을 탐색해야 합니다.
How Huggy works?
Huggy는 가상의 2차원 환경에서 작동하며, 에이전트는 맵 내의 랜덤한 위치에 생성된 포인트를 수집해야 합니다. 각 포인트는 특정 점수를 가지며, 에이전트가 포인트를 수집하면 해당 점수를 얻게 됩니다. 에이전트는 상하좌우로 이동할 수 있으며, 맵의 경계에 도달하면 반대편으로 이동합니다.
Huggy의 핵심 목표는 에이전트가 가능한 한 많은 포인트를 수집하도록 학습하는 것입니다. 이를 위해 에이전트는 현재 상태에 따라 다음 행동을 선택하고, 수집한 포인트에 따라 보상을 받게 됩니다. 또한, 에이전트는 더 많은 포인트를 얻기 위해 탐험과 활용 사이의 균형을 잘 유지해야 합니다.
Train Huggy
Huggy는 강화학습 알고리즘을 사용해 훈련합니다. 여기서는 가치 기반 방법을 사용하는 DQN을 적용하여 Huggy를 훈련시키는 방법을 설명하겠습니다.
# DQN agent
class DQNAgent:
def __init__(self, state_size, action_size):
self.state_size = state_size
self.action_size = action_size
self.memory = deque(maxlen=2000)
self.gamma = 0.95 # discount rate
self.epsilon = 1.0 # exploration rate
self.epsilon_min = 0.01
self.epsilon_decay = 0.995
self.model = self._build_model()
# neural net to approximate Q-value function
def _build_model(self):
model = keras.models.Sequential()
model.add(keras.layers.Dense(24, input_dim=self.state_size, activation=’relu’))
model.add(keras.layers.Dense(24, activation=’relu’))
model.add(keras.layers.Dense(self.action_size, activation=’linear’))
model.compile(loss=’mse’, optimizer=keras.optimizers.Adam())
return model
def remember(self, state, action, reward, next_state, done):
self.memory.append((state, action, reward, next_state, done))
def act(self, state):
# explore or exploit
if np.random.rand() <= self.epsilon:
return random.randrange(self.action_size)
act_values = self.model.predict(state)
return np.argmax(act_values[0])
def replay(self, batch_size):
minibatch = random.sample(self.memory, batch_size)
for state, action, reward, next_state, done in minibatch:
target = self.model.predict(state)
if done:
target[0][action] = reward
else:
Q_future = max(self.model.predict(next_state)[0])
target[0][action] = reward + Q_future * self.gamma
self.model.fit(state, target, epochs=1, verbose=0)
if self.epsilon > self.epsilon_min:
self.epsilon *= self.epsilon_decay
Play with Huggy
Huggy를 훈련시킨 후, Huggy가 어떻게 행동하는지 확인하려면 에이전트를 환경에 배치하고 게임을 실행하면 됩니다. Huggy가 어떻게 포인트를 수집하고, 탐험과 활용 사이의 균형을 어떻게 유지하는지 관찰할 수 있습니다.
Conclusion
이 보너스 단원에서는 Huggy라는 가상 환경을 통해 강화학습을 체험해보았습니다. 강화학습이 어떻게 동작하는지 이해하는 데 도움이 되었기를 바랍니다. 다음 단원에서는 Q-학습에 대해 더 깊이 알아보겠습니다.
UNIT 2. INTRODUCTION TO Q-LEARNING
Introduction
이 단원에서는 강화학습의 한 종류인 Q-학습에 대해 자세히 알아보겠습니다. Q-학습은 에이전트가 환경과의 상호작용을 통해 학습하는 강화학습의 핵심 알고리즘 중 하나입니다. 이를 통해 에이전트는 최적의 정책을 학습하고, 불확실한 환경에서 보상을 최대화하는 행동을 선택하는 방법을 배울 수 있습니다.
What is RL? A short recap
강화학습은 기계 학습의 한 영역으로, 소프트웨어 에이전트가 환경과 상호작용하며 어떤 목표를 달성하는 데 가장 효과적인 행동을 학습하는 과정을 말합니다. 강화학습의 핵심 개념은 보상 함수입니다. 이는 에이전트가 특정 행동을 취했을 때 얻는 보상을 정의하며, 보상을 최대화하는 것이 에이전트의 목표입니다.
The two types of value-based methods
강화학습에서 가장 중요한 개념 중 하나는 가치 함수입니다. 가치 함수는 특정 상태나 행동의 “가치”를 나타냅니다. 이 가치는 특정 정책을 따랐을 때 예상되는 미래 보상의 합계로 정의됩니다.
가치 기반 방법은 두 가지 유형으로 나눌 수 있습니다: V-학습과 Q-학습입니다. V-학습은 상태 가치 함수를 사용하여 에이전트가 각 상태에서 얻을 수 있는 최대의 기대 보상을 계산하는 반면, Q-학습은 행동-가치 함수를 사용하여 에이전트가 각 상태에서 특정 행동을 취했을 때 얻을 수 있는 기대 보상을 계산합니다.
The Bellman Equation, simplify our value estimation
벨만 방정식은 강화학습에서 근본적인 역할을 하는 도구입니다. 이 방정식은 현재의 가치를 에이전트가 향후 받을 수 있는 보상과 그 다음 상태의 가치로 나타냅니다. 이렇게 함으로써 벨만 방정식은 미래의 보상을 현재의 가치로 “되돌리는” 것을 가능하게 합니다.
Q-학습에서는 벨만 방정식이 다음과 같은 형태를 취합니다:
Q(s, a) = r + γ * max_a’ Q(s’, a’)
여기서:
- s는 현재 상태
- a는 현재 상태에서 취한 행동
- r은 행동 a를 취한 후에 받은 보상
- γ는 할인 계수 (미래의 보상을 얼마나 가치있게 보는지 결정)
- s’는 행동 a를 취한 후의 상태
- a’는 상태 s’에서 취할 수 있는 모든 행동
- max_a’ Q(s’, a’)는 상태 s’에서 가능한 모든 행동 a’에 대해 Q(s’, a’)를 최대화하는 것을 의미합니다.
Monte Carlo vs Temporal Difference Learning
강화학습에서는 보상을 예측하고 가치 함수를 업데이트하는 방법으로 몬테 카를로 방법과 시간 차 학습을 사용할 수 있습니다.
몬테 카를로 방법은 에피소드가 완료된 후에 가치 함수를 업데이트하는 반면, 시간 차 학습은 각 단계마다 가치 함수를 업데이트합니다. 이는 시간 차 학습이 보상과 다음 상태의 정보를 즉시 사용한다는 점에서 몬테 카를로 방법과 구별됩니다.
Q-학습은 시간 차 학습의 한 형태로, 각 단계에서 에이전트의 경험을 바탕으로 Q-가치를 업데이트합니다.
Mid-way Recap
지금까지, 우리는 강화학습과 그 중 가치 기반 방법에 대해 살펴보았습니다. 그 중에서도 Q-학습이라는 중요한 개념에 대해 알아보았습니다. 또한 벨만 방정식이 어떻게 강화학습의 핵심적인 문제를 단순화하는 데 도움을 주는지, 그리고
시간 차 학습과 몬테 카를로 방법이 어떻게 다른 지에 대해서도 이해하였습니다.
Mid-way Quiz
- 강화학습에서의 가치 함수는 무엇을 의미하나요?
- Q-학습의 벨만 방정식을 설명해보세요.
- 시간 차 학습과 몬테 카를로 방법의 차이점은 무엇인가요?
Introducing Q-Learning
Q-학습은 강화학습의 한 가지 방법으로, 에이전트가 각 상태에서 취해야 할 최선의 행동을 배우는 데 사용됩니다. 이를 위해 Q-학습은 행동-가치 함수인 Q 함수를 사용합니다.
Q 함수는 상태와 행동을 입력으로 받아, 에이전트가 해당 상태에서 해당 행동을 취했을 때 기대되는 미래의 총 보상을 반환합니다. Q 함수를 최적화함으로써, 에이전트는 각 상태에서 어떤 행동을 취해야 할지 학습할 수 있습니다.
이를 파이썬 코드로 표현하면 다음과 같습니다.
python
Copy code
import numpy as np class QLearning: def __init__(self, states, actions, alpha, gamma, epsilon): self.states = states self.actions = actions self.alpha = alpha self.gamma = gamma self.epsilon = epsilon self.Q = np.zeros((states, actions)) def get_action(self, state): if np.random.uniform(0, 1) < self.epsilon: action = np.random.choice(self.actions) else: action = np.argmax(self.Q[state, :]) return action def update(self, state, action, reward, next_state): self.Q[state, action] = self.Q[state, action] + self.alpha * (reward + self.gamma * np.max(self.Q[next_state, :]) – self.Q[state, action])
A Q-Learning example
Q-학습의 예를 들어보겠습니다. 카트-폴 게임을 생각해보세요. 이 게임에서 에이전트는 카트를 움직여 폴을 서있게 유지해야 합니다. 에이전트가 행동을 취하면, 게임의 상태가 변하고 보상이 주어집니다. 에이전트의 목표는 보상을 최대화하는 것입니다.
이 게임에서 Q-학습을 사용하면, 에이전트는 각 상태에서 어떤 행동을 취해야 보상을 최대화할 수 있는지를 학습할 수 있습니다.
Q-Learning Recap
이 섹션에서는 Q-학습에 대해 배웠습니다. Q-학습은 에이전트가 각 상태에서 어떤 행동을 취해야 하는지 학습하는 강화학습의 한 가지 방법입니다. 이를 위해 Q-학습은 행동-가치 함수인 Q 함수를 사용하여, 각 상태에서 특정 행동을 취했을 때의 예상 보상을 계산합니다.
Glossary
- 강화학습 (Reinforcement Learning): 소프트웨어 에이전트가 환경과 상호작용하며 목표를 달성하기 위한 최적의 전략을 학습하는 방법론입니다.
- Q-학습 (Q-Learning): 특정 상태에서 행동을 선택하기 위한 방법론입니다. 상태-행동 쌍에 대한 가치를 추정하고, 이를 바탕으로 최적의 행동을 결정합니다.
- 벨만 방정식 (Bellman Equation): 현재 상태의 가치를 에이전트가 향후 받을 수 있는 보상과 그 다음 상태의 가치로 나타내는 방정식입니다.
Hands-on
- 파이썬을 사용하여 Q-학습 에이전트를 구현해 보세요.
- 간단한 환경(예: 그리드월드)에서 에이전트를 훈련시켜 보세요.
Q-Learning Quiz
- Q-학습은 어떤 상황에서 사용되나요?
- Q 함수는 무엇을 계산하나요?
- Q-학습 에이전트의 학습 과정을 설명해보세요.
Conclusion
이번 섹션에서는 Q-학습에 대해 배웠습니다. Q-학습은 강화학습의 중요한 개념이며, 많은 실제 문제에 적용할 수 있습니다. 이번 섹션에서 배운 내용을 바탕으로 자신만의 강화학습 에이전트를 만들어 보세요.
UNIT 3. DEEP Q-LEARNING WITH ATARI GAMES
Introduction
이전 섹션에서는 Q-학습에 대해 배웠습니다. 그러나 실제 세상의 복잡한 문제에서는 수많은 상태와 행동을 다루어야 하기 때문에, 전통적인 Q-학습 방법은 한계를 가지게 됩니다. 이런 문제를 해결하기 위해 Deep Q-Learning이 등장하였습니다.
Deep Q-Learning은 Q-학습의 아이디어와 딥러닝을 결합하여, 복잡한 상태 공간을 효과적으로 처리할 수 있게 되었습니다. 이 섹션에서는 Deep Q-Learning에 대해 배우고, Atari 게임에 적용해보는 실습을 진행하게 됩니다.
From Q-Learning to Deep Q-Learning
Q-학습에서는 각 상태와 행동 쌍에 대한 Q 값을 테이블 형태로 저장합니다. 그러나 이 방법은 상태와 행동의 수가 많아지면 처리하기 어려워집니다. 딥러닝을 이용하면, 상태를 입력으로 받아 각 행동에 대한 Q 값을 출력하는 함수를 학습할 수 있습니다. 이렇게 되면, 테이블을 사용하는 것보다 훨씬 효과적으로 상태 공간을 다룰 수 있게 됩니다.
이러한 아이디어를 바탕으로 개발된 것이 Deep Q-Network (DQN)입니다. DQN은 강화학습에서 딥러닝을 활용하여 복잡한 상태 공간을 처리하는 데 성공한 첫 번째 알고리즘이었습니다. DQN은 Google’s DeepMind에서 개발되었으며, Atari 2600 게임을 사람 수준 이상으로 플레이하는 데 성공하였습니다.
The Deep Q-Network (DQN)
DQN은 다음과 같은 주요 구성 요소로 이루어져 있습니다:
- 신경망: 상태를 입력으로 받아, 각 행동에 대한 Q 값을 출력합니다. 이 신경망은 딥러닝을 통해 학습되며, 주로 convolutional neural network (CNN)이 사용됩니다.
- 경험 재생 (Experience Replay): 에이전트의 경험은 메모리에 저장되며, 학습 시 무작위로 샘플링되어 사용됩니다. 이를 통해 데이터 간 상관 관계를 줄이고, 학습의 효율성을 높입니다.
- 타깃 네트워크 (Target Network): Q 값 업데이트 시 사용되는 신경망입니다. 주 신경망의 파라미터가 빠르게 변화하는 것을 완화시키기 위해, 일정한 간격으로 주 신경망의 파라미터를 복사하여 사용합니다.
이러한 아이디어들을 결합하여, DQN은 강화학습의 다양한 문제에 대해 효과적인 해결책을 제공합니다.
The Deep Q Algorithm
DQN의 학습 알고리즘은 다음과 같습니다:
- 초기화: 신경망 파라미터와 메모리를 초기화합니다.
- 경험 쌓기: 에이전트가 환경과 상호작용하여 경험을 쌓습니다. 각 경험은 상태, 행동, 보상, 다음 상태로 이루어져 있으며, 메모리에 저장됩니다.
- 학습: 메모리에서 무작위로 샘플링한 경험을 사용하여 신경망을 학습합니다. 학습 목표는 예측 Q 값이 실제 Q 값과 일치하도록 하는 것입니다.
- 반복: 에이전트가 충분한 성능에 도달할 때까지 경험 쌓기와 학습을 반복합니다.
이 과정을 파이썬 코드로 표현하면 다음과 같습니다:
class DQN:
def __init__(self, state_dim, action_dim, hidden_dim, lr):
self.model = self.create_model(state_dim, action_dim, hidden_dim, lr)
def create_model(self, state_dim, action_dim, hidden_dim, lr):
model = keras.models.Sequential()
model.add(keras.layers.Dense(hidden_dim, input_dim=state_dim, activation=’relu’))
model.add(keras.layers.Dense(hidden_dim, activation=’relu’))
model.add(keras.layers.Dense(action_dim, activation=’linear’))
model.compile(loss=’mse’, optimizer=keras.optimizers.Adam(lr))
return model
def get_action(self, state):
q_values = self.model.predict(state)[0]
return np.argmax(q_values)
def train(self, experiences, target_net):
states, actions, rewards, next_states, dones = experiences
q_values = self.model.predict(states)
next_q_values = target_net.model.predict(next_states)
for i in range(len(states)):
if dones[i]:
q_values[i, actions[i]] = rewards[i]
else:
q_values[i, actions[i]] = rewards[i] + GAMMA * np.max(next_q_values[i])
self.model.fit(states, q_values, verbose=0)
Glossary
- Deep Q-Learning: 딥러닝을 사용하여 강화학습의 복잡한 상태 공간을 처리하는 방법입니다. 이 방법은 복잡한 상태 공간을 가진 문제에서 전통적인 Q-학습 방법의 한계를 극복합니다.
- Deep Q-Network (DQN): 딥 Q-학습을 구현한 신경망입니다. DQN은 상태를 입력으로 받아, 각 행동에 대한
Q 값을 출력합니다.
- 경험 재생 (Experience Replay): 강화학습에서 학습 과정을 개선하는 기법입니다. 에이전트의 경험은 메모리에 저장되며, 학습 시 무작위로 샘플링되어 사용됩니다. 이를 통해 데이터 간 상관 관계를 줄이고, 학습의 효율성을 높입니다.
- 타깃 네트워크 (Target Network): Q 값 업데이트 시 사용되는 신경망입니다. 주 신경망의 파라미터가 빠르게 변화하는 것을 완화시키기 위해, 일정한 간격으로 주 신경망의 파라미터를 복사하여 사용합니다.
Hands-on
우리는 Atari의 ‘Breakout’ 게임을 플레이하는 DQN 에이전트를 학습시킬 것입니다. OpenAI Gym에서 제공하는 ‘BreakoutDeterministic-v4’ 환경을 사용하겠습니다.
import gym
import numpy as np
from keras.models import Sequential
from keras.layers import Dense, Flatten
from keras.optimizers import Adam
from rl.agents import DQNAgent
from rl.memory import SequentialMemory
from rl.policy import EpsGreedyQPolicy
env = gym.make(‘BreakoutDeterministic-v4’)
state_size = env.observation_space.shape[0]
action_size = env.action_space.n
model = Sequential()
model.add(Flatten(input_shape=(1,) + env.observation_space.shape))
model.add(Dense(24, activation=’relu’))
model.add(Dense(24, activation=’relu’))
model.add(Dense(action_size, activation=’linear’))
policy = EpsGreedyQPolicy()
memory = SequentialMemory(limit=50000, window_length=1)
dqn = DQNAgent(model=model, nb_actions=action_size, memory=memory, nb_steps_warmup=10, target_model_update=1e-2, policy=policy)
dqn.compile(Adam(lr=1e-3), metrics=[‘mae’])
dqn.fit(env, nb_steps=5000, visualize=False, verbose=1)
이 코드는 ‘BreakoutDeterministic-v4’ 환경에서 DQN 에이전트를 학습시키는 예제입니다. ‘EpsGreedyQPolicy’는 ε-greedy 방식을 사용하여 행동을 선택하는 정책입니다. 이 정책은 대부분의 경우 최적의 행동을 선택하지만, ε의 확률로 무작위 행동을 선택합니다. 이를 통해 탐험과 활용 사이의 균형을 맞춥니다.
Quiz
- Q-학습과 Deep Q-Learning의 차이점은 무엇인가요?
- DQN의 핵심 구성 요소들은 무엇인가요?
- 경험 재생이란 무엇이며, 왜 필요한가요?
Conclusion
이 섹션에서는 Deep Q-Learning에 대해 배웠습니다. Q-학습이 상태와 행동의 수가 많아질 때 한계를 가지는 반면, Deep Q-Learning은 딥러닝을 활용하여 이 문제를 해결합니다. DQN을 사용하면, 복잡한 상태 공간을 가진 강화학습 문제를 효과적으로 해결할 수 있습니다. 이를 통해, 우리는 Atari 게임을 사람 수준 이상으로 플레이하는 에이전트를 학습시킬 수 있습니다.
다음 섹션에서는, 더 진보된 강화학습 알고리즘인 Policy Gradient에 대해 배울 것입니다. 이 알고리즘은 DQN이 해결하기 어려운 몇 가지 문제를 해결할 수 있습니다. 기대해주세요!
UNIT 3. DEEP Q-LEARNING WITH ATARI GAMES
Introduction
이전 섹션에서는 강화 학습의 기본 개념과 Q-학습에 대해 배웠습니다. 이번 섹션에서는 강화 학습을 실제 게임에 적용해 보는 단계로 나아가겠습니다. 특히, DeepMind의 Deep Q-Network(DQN) 알고리즘을 이용해 Atari 2600 게임을 학습시켜 보겠습니다.
DQN 알고리즘은 Q-학습의 확장이며, 심층 합성곱 신경망(deep convolutional neural network)과 경험 재생(experience replay) 기법을 사용하여 Atari 2600 게임에서 사람 수준의 성능을 달성했습니다. 이 섹션에서는 DQN 알고리즘의 원리를 배우고, 이를 Python과 PyTorch 라이브러리를 이용해 구현해 보겠습니다.
From Q-Learning to Deep Q-Learning
What is RL? A short recap
강화 학습(Reinforcement Learning)은 기계 학습의 한 분야로, 에이전트가 환경과의 상호작용을 통해 보상을 최대화하는 방법을 학습하는 과정입니다. 에이전트는 각 시점에서 상태를 관찰하고, 그에 따라 행동을 선택하고, 선택한 행동에 따라 보상을 받습니다. 이 과정을 통해 에이전트는 시간이 지남에 따라 보상을 최대화하는 행동을 학습하게 됩니다.
Q-학습은 강화 학습의 한 알고리즘으로, 상태-행동 쌍(state-action pair)에 대한 가치 함수를 학습하는 방법입니다. 가치 함수는 특정 상태에서 특정 행동을 했을 때 기대할 수 있는 미래 보상의 합을 나타냅니다. 따라서 에이전트는 각 상태에서 가치 함수가 최대가 되는 행동을 선택하게 됩니다.
The two types of value-based methods
가치 기반 방법(value-based methods)에는 두 가지 주요 유형이 있습니다: V-학습과 Q-학습입니다. V-학습은 상태 가치 함수 V(s)를 학습하는 방법이며, 이 함수는 에이전트가 특정 상태에서 최적의 정책을 따랐을 때 기대할 수 있는 미래 보상의 합을 나타냅니다. 반면에 Q-학습은 상태-행동 가치 함수 Q(s, a)를 학습하는 방법이며, 이 함수는 에이전트가 특정 상태에서 특정 행동을 선택하고 그 후 최적의 정책을 따랐을 때 기대할 수 있는 미래 보상의 합을 나타냅니다.
The Bellman Equation, simplify our value estimation
벨만 방정식(Bellman equation)은 현재 상태의 가치와 다음 상태의 가치 사이의 관계를 나타냅니다. 특히, 현재 상태의 가치는 선택한 행동에 대한 보상과 다음 상태의 가치에 대한 할인된 기대값의 합으로 표현됩니다. 이 방정식을 이용하면, 가치 함수를 재귀적으로 업데이트할 수 있습니다.
Q-학습에서 벨만 방정식은 다음과 같이 표현됩니다:
Q(s, a) = r + γ * max Q(s’, a’)
여기서,
- Q(s, a)는 상태 s에서 행동 a를 선택했을 때의 가치 함수입니다.
- r은 행동 a를 선택하여 상태 s에서 상태 s’로 이동했을 때 받는 보상입니다.
- γ는 미래 보상에 대한 할인율입니다.
- max Q(s’, a’)는 다음 상태 s’에서 선택할 수 있는 모든 행동 a’에 대한 가치 함수 중 최대값입니다.
벨만 방정식을 통해 현재 상태의 가치를 업데이트할 때, 다음 상태에서 가능한 모든 행동에 대한 가치를 고려하게 됩니다. 이로 인해 가치 함수의 학습이 수렴하게 되며, 결국 최적의 정책을 찾게 됩니다.
Monte Carlo vs Temporal Difference Learning
몬테카를로 방법(Monte Carlo method)과 시간차 학습(Temporal Difference Learning)은 강화 학습에서 가치 함수를 학습하는 두 가지 주요 방법입니다.
몬테카를로 방법은 에피소드가 끝날 때까지 에이전트가 경험한 보상을 모두 더하여 가치를 추정합니다. 이 방법의 장점은 실제로 받은 보상을 바탕으로 가치를 추정하기 때문에 근사치가 아니라는 점입니다. 그러나 이 방법의 단점은 에피소드가 끝나기 전까지는 가치 함수를 업데이트할 수 없다는 점입니다.
반면, 시간차 학습은 각 시간 단계에서 즉시 가치 함수를 업데이트합니다. 이 방법은 현재 상태의 가치와 다음 상태의 가치 사이의 “시간차 오류”를 이용하여 가치를 추정합니다. 이 방법의 장점은 에피소드가 끝나기 전에도 가치 함수를 업데이트할 수 있다는 점입니다. 그러나 이 방법의 단점은 실제 보상과 가치 함수의 추정치를 기반으로 하기 때문에 근사치일 수밖에 없다는 점입니다.
Q-학습은 시간차 학습을 사용하는 알고리즘입니다. 이 알고리즘은 각 시간 단계에서 벨만 방정식을 이용하여 상태-행동 가치 함수를 업데이트합니다.
Mid-way Recap
지금까지, 우리는 강화 학습의 기본 개념과 Q-학습에 대해 배웠습니다. Q-학습은 시간차 학습을 사용하는 알고리즘이며, 각 시간 단계에서 벨만 방정식을 이용하여 상태-행동 가치 함수를 업데이트합니다. 이 알고리즘은 특정 상태에서 특정 행동을 선택했을 때 기대할 수 있는 미래 보상의 합을 나타내는 가치 함수를 학습합니다.
그러나 Q-학습에는 한 가지 큰 문제점이 있습니다. 바로 상태-행동 공간이 너무 크면 가치 함수를 표현하고 업데이트하는 것이 매우 어렵다는 점입니다. 예를 들어, Atari 2600 게임에서 각 픽셀은 256가지의 다른 색상 값을 가질 수 있으며, 전체 스크린은 210×160 픽셀입니다. 따라서 가능한 상태의 수는 256^(210*160)이며, 이는 컴퓨터 메모리로 표현하거나 학습하기에는 너무 큰 수입니다.
이 문제를 해결하기 위해, DeepMind는 심층 합성곱 신경망(deep convolutional neural network)을 이용하여 상태-행동 가치 함수를 근사하는 방법을 제안했습니다. 이 알고리즘을 Deep Q-Network(DQN)이라고 부릅니다.
Introducing Q-Learning
DQN은 Q-학습을 기반으로 하지만, 상태-행동 가치 함수를 심층 합성곱 신경망으로 근사합니다. 신경망의 입력은 게임 스크린의 픽셀 값이며, 출력은 각 가능한 행동의 가치입니다. 신경망의 가중치는 경험 재생과 목표 네트워크라는 두 가지 기법을 사용하여 학습됩니다.
경험 재생은 에이전트의 경험을 저장하고 랜덤하게 샘플링하여 학습 데이터의 상관관계를 줄이는 기법입니다. 에이전트의 경험은 (상태, 행동, 보상, 다음 상태)의 튜플로 저장되며, 신경망은 이러한 튜플을 랜덤하게 샘플링하여 학습합니다.
목표 네트워크는 신경망의 가중치를 안정적으로 업데이트하는 기법입니다. DQN에서는 두 개의 신경망, 즉 “온라인 네트워크”와 “목표 네트워크”를 사용합니다. 온라인 네트워크는 실제로 행동을 선택하고 학습하는 네트워크이며, 목표 네트워크는 가치 함수의 업데이트에 사용되는 네트워크입니다. 목표 네트워크의 가중치는 주기적으로 온라인 네트워크의 가중치로 복사되며, 이로 인해 가치 함수의 업데이트가 안정적이게 됩니다.
다음은 Python과 PyTorch를 이용하여 DQN을 구현하는 예입니다:
import torch
import torch.nn as nn
import torch.optim as optim
import numpy as np
class DQN(nn.Module):
def __init__(self, input_dim, output_dim):
super(DQN, self).__init__()
self.net = nn.Sequential(
nn.Linear(input_dim, 128),
nn.ReLU(),
nn.Linear(128, 128),
nn.ReLU(),
nn.Linear(128, output_dim)
)
def forward(self, x):
return self.net(x)
class Agent:
def __init__(self, input_dim, output_dim, lr):
self.dqn = DQN(input_dim, output_dim)
self.target_dqn = DQN(input_dim, output_dim)
self.target_dqn.load_state_dict(self.dqn.state_dict())
self.optimizer = optim.Adam(self.dqn.parameters(), lr=lr)
self.criterion = nn.MSELoss()
def update(self, state, action, reward, next_state, done):
state = torch.tensor(state, dtype=torch.float)
next_state = torch.tensor(next_state, dtype=torch.float)
reward = torch.tensor(reward, dtype=torch.float)
action = torch.tensor(action, dtype=torch.long)
q_values = self.dqn(state)
next_q_values = self.target_dqn(next_state)
q_value = q_values.gather(1, action.unsqueeze(1)).squeeze(1)
python
Copy code
next_q_value = next_q_values.max(1)[0] expected_q_value = reward + 0.99 * next_q_value * (1 – done) loss = self.criterion(q_value, expected_q_value.detach()) self.optimizer.zero_grad() loss.backward() self.optimizer.step() def update_target(self): self.target_dqn.load_state_dict(self.dqn.state_dict()) def act(self, state): state = torch.tensor(state, dtype=torch.float).unsqueeze(0) with torch.no_grad(): q_values = self.dqn(state) return q_values.argmax().item()
위의 코드는 DQN 에이전트를 구현한 것입니다. 이 에이전트는 두 개의 신경망인 dqn과 target_dqn을 가지고 있습니다. dqn은 실제로 행동을 선택하고 학습하는 신경망이며, target_dqn은 가치 함수의 업데이트에 사용되는 신경망입니다.
update 함수는 에이전트가 경험을 학습하는 방법을 정의합니다. 이 함수는 현재 상태, 선택한 행동, 받은 보상, 다음 상태, 그리고 에피소드가 끝났는지 여부를 인자로 받습니다. 이 함수는 먼저 dqn과 target_dqn을 사용하여 현재 상태와 다음 상태에서의 Q 값들을 계산합니다. 그리고 이들을 사용하여 기대 Q 값(expected_q_value)을 계산합니다.
기대 Q 값은 받은 보상과 할인된 다음 상태에서의 최대 Q 값의 합으로 계산됩니다. 에피소드가 끝났다면 (즉, done이 1이라면), 다음 상태에서의 Q 값은 0이 되어야 하므로, 1 – done을 곱함으로써 이를 보장합니다.
그 다음, 기대 Q 값과 실제 Q 값(q_value)의 차이를 제곱하여 손실(loss)을 계산하고, 이 손실을 사용하여 dqn의 가중치를 업데이트합니다.
update_target 함수는 target_dqn의 가중치를 dqn의 가중치로 업데이트하는 방법을 정의합니다.
마지막으로, act 함수는 주어진 상태에서 에이전트가 어떻게 행동해야 하는지를 정의합니다. 이 함수는 dqn을 사용하여 주어진 상태에서의 Q 값들을 계산하고, 이 중에서 가장 큰 Q 값을 가지는 행동을 선택합니다.
이와 같이 DQN 알고리즘을 이해하고 구현하는 것은 강화학습을 이해하는데 중요한 단계입니다. 이 알고리즘은 복잡한 환경에서의 학습에 매우 효과적이며, 많은 최신 강화학습 알고리즘의 기초가 되었습니다. 이 알고리즘을 이해하고 구현하는 것은 강화학습을 이해하는데 중요한 단계입니다. 이 알고리즘은 복잡한 환경에서의 학습에 매우 효과적이며, 많은 최신 강화학습 알고리즘의 기초가 되었습니다.
UNIT 3. DEEP Q-LEARNING WITH ATARI GAMES
Introduction
본 단원에서는 앞서 설명한 강화 학습과 Q-Learning의 개념을 바탕으로 Deep Q-Learning을 적용하는 방법에 대해 설명하고, 이를 통해 ATARI 게임을 학습하는 프로젝트를 수행해보겠습니다.
Deep Q-Learning은 Q-Learning의 개념을 인공 신경망에 적용한 것으로, 이를 통해 강화 학습 에이전트가 수많은 상태와 행동을 가진 복잡한 환경에서도 학습이 가능해집니다. 그중에서도 ATARI 게임은 Deep Q-Learning이 적용되는 대표적인 예시 중 하나입니다.
From Q-Learning to Deep Q-Learning
Q-Learning에서는 행동 가치 함수(Q-function)를 추정하기 위해 테이블 형태의 구조를 사용하였습니다. 하지만 상태와 행동의 종류가 매우 많은 복잡한 환경에서는 이러한 방식으로 모든 상태와 행동의 조합에 대한 Q-value를 저장하는 것은 불가능에 가깝습니다.
이러한 문제를 해결하기 위해 Deep Q-Learning에서는 인공 신경망을 이용하여 Q-function을 근사합니다. 이를 Q-Network라고 하며, 이 신경망은 상태를 입력으로 받아 각 행동에 대한 Q-value를 출력하는 함수로서 동작합니다. 이렇게 되면 상태와 행동의 수가 많아도 신경망의 가중치만 저장하면 되므로, 효율적으로 문제를 해결할 수 있습니다.
이를 수식으로 나타내면 다음과 같습니다.
Q(s, a; θ) ≈ r + γ max Q(s’, a’; θ)
여기서 θ는 Q-Network의 가중치를 나타냅니다. 이 식은 Q-Learning의 업데이트 식과 유사하며, 실제 보상 r과 할인된 미래 가치의 합이 최대가 되는 행동을 선택하게 됩니다. 이를 통해 신경망은 최적의 Q-function을 학습하게 됩니다.
The Deep Q-Network (DQN)
이제 실제로 DQN을 구현해보겠습니다. PyTorch를 이용한 DQN의 간단한 구현은 다음과 같습니다.
python
Copy code
import torch import torch.nn as nn class DQN(nn.Module): def __init__(self, input_dim, output_dim): super(DQN, self).__init__() self.net = nn.Sequential( nn.Linear(input_dim, 128), nn.ReLU(), nn.Linear(128, output_dim) ) def forward(self, x): return self.net(x)
이 신경망은 입력으로 상태를 받아, 각 행동에 대한 Q-value를 출력합니다. 이 때 상태는 일반적으로 게임 화면의 픽셀 값이나, 게임의 상태를 나타내는 특정 값을 사용합니다. 출력은 각 행동에 대한 Q-value이므로, 행동의 수와 같아야 합니다.
DQN은 위와 같이 간단한 신경망부터 복잡한 CNN 등 다양한 형태로 구현될 수 있습니다. 구현의 복잡도는 주로 문제의 복잡도나 학습의 효율성 등에 따라 결정됩니다.
The Deep Q Algorithm
DQN의 학습 알고리즘은 다음과 같습니다.
- 상태 s에서 ε-greedy 정책을 이용하여 행동 a를 선택하고, 이를 통해 다음 상태 s’과 보상 r을 관찰한다.
- 특정한 경험(e)인 (s, a, r, s’)를 리플레이 메모리에 저장한다.
- 리플레이 메모리에서 랜덤하게 일정 수의 경험을 샘플링한다.
- 샘플링한 경험을 이용하여 Q-Network의 손실을 계산하고, 이를 통해 네트워크를 업데이트한다.
- 일정한 간격으로 Target Q-Network를 Q-Network의 가중치로 업데이트한다.
이 알고리즘을 통해 DQN은 복잡한 환경에서도 효과적으로 학습이 가능합니다.
Glossary
- Deep Q-Learning: Q-Learning의 개념을 인공 신경망에 적용한 것으로, 강화 학습 에이전트가 수많은 상태와 행동을 가진 복잡한 환경에서도 학습이 가능해진다.
- Q-Network: 인공 신경망을 이용하여 Q-function을 근사하는 신경망.
- DQN: Deep Q-Network의 약자로, Q-Network를 구현한 인공 신경망.
Hands-on
이제 실제로 DQN을 사용하여 ATARI 게임을 학습해봅시다. PyTorch와 OpenAI Gym을 사용하여 구현할 수 있습니다. 이 때, ATARI 게임의 환경은 “Breakout-v0” 등을 사용할 수 있습니다.
Quiz
- Deep Q-Learning이란 무엇인가?
- Q-Network는 어떻게 동작하는가?
- DQN은 어떻게 학습하는가?
Conclusion
이 단원에서는 Deep Q-Learning을 통해 강화 학습 에이전트가 복잡한 환경에서도 효과적으로 학습하는 방법에 대해 알아보았습니다. 다음
단원에서는 더욱 복잡한 환경과 고급 강화학습 알고리즘에 대해 다루어 보겠습니다. 이해가 어려운 부분이 있다면 앞선 내용을 복습하고, 실습을 통해 직접 경험해 보는 것도 좋은 방법입니다. 이론과 실습, 두 가지를 병행하며 강화학습에 대한 깊은 이해를 높여나가기 바랍니다.
이것으로 Deep Q-Learning에 대한 학습을 마칩니다. 다음 시간에는 더 발전된 강화학습 알고리즘을 알아보며, 더 깊은 학습을 위해 노력해봅시다. 학습하는 동안 생기는 어려움이 있다면 항상 문의를 남겨주세요. 그럼 다음 시간에 뵙겠습니다!
그 외에도 Faiss, GPT-4, Deep Reinforcement Learning 등 다양한 AI 기술에 대한 자세한 정보와 학습 자료를 원한다면 OpenAI의 웹사이트(https://www.openai.com/)를 참고하시기 바랍니다. 항상 열심히 학습하고, 새로운 지식을 탐구하는 것을 잊지 마세요!