가치 반복과 정책 반복

정책 반복법 policy iteration

반복적 정책 평가법을 통해 주어진 정책의 상태 가치를 추정할 수는 있으나, 최적 정책을 찾을 수는 없음
반복적 정책 평가법을 통해 얻은 가치 함수로, 상태마다 가장 가치가 높은 행동을 하도록 정책을 개선

π^{'} (s) = ar g a max s^{'}, r \sum p (s^{'}, r ∣ s, a) [r + γ v_{π} (s^{'})]

$ar g max_{a}$ : 뒤의 수식을 가장 크게 만드는 $a$ 를 찾으라는 뜻
정책 평가와 정책 개선을 반복하여 더 이상 정책이 개선되지 않을 때까지 반복

정책 개선

def policy_improvement(V, P, gamma=1.0):
    nS = len(P)  # 상태의 수
    nA = len(P[0])  # 행동의 수
    Q = np.zeros((nS, nA))  # 행동가치함수
    for s in range(nS):
        for a in range(nA):
            for prob, next_state, reward, done in P[s][a]:
                Q[s][a] += prob * (reward + gamma * V[next_state] * (not done))
    new_pi = {s: a for s, a in enumerate(np.argmax(Q, axis=1))}
    return new_pi

axis

NumPy 배열에서 axis=1과 axis=0의 방향

axis=1: 행마다 열 방향으로 계산
axis=0: 열마다 행 방향으로 계산

정책 개선

평가된 가치를 바탕으로 정책 개선

improved_pi = policy_improvement(V, env.P)
improved_pi

개선된 정책의 평가

improved_V = policy_evaluation(improved_pi, env.P)
improved_V

정책 반복

정책 평가와 정책 개선을 반복해서 최적 정책을 찾는 방법

def policy_iteration(env, gamma=1.0, theta=1e-10):
    pi = random_policy(env)
    P = env.unwrapped.P
    while True:
        old_pi = dict(pi)
        V = policy_evaluation(pi, P, gamma, theta)
        pi = policy_improvement(V, P, gamma)
        if old_pi == pi:
            break  # 더이상 정책이 개선되지 않으면 중단
    return V, pi

무작위 정책

def random_policy(env):
    return {s: env.action_space.sample()
            for s in range(env.observation_space.n)}


policy_iteration(env)

가치 반복법 value iteration

정책 반복은 가치가 수렴될 때까지 추정을 한 다음에 정책을 최적화
가치 반복은 가치를 추정하는 중간 과정에 정책도 계속 최적화
현재까지 추정된 가치를 기준 $v_{k}$ 를 기준으로, 가장 가치가 큰 행동을 하는 것으로 정책을 수정
이에 따라 추정된 가치도 $v_{k + 1}$ 로 수정

v_{k + 1} (s) = a max s^{'}, r \sum p (s^{'}, r ∣ s, a) [r + γ v_{k} (s^{'})]

강화학습의 기본적인 아이디어

가치 반복

def value_iteration(env, gamma=1.0, theta=1e-10):
    P = env.unwrapped.P  # 전이 함수
    nS = env.observation_space.n  # 상태의 수
    nA = env.action_space.n  # 행동의 수
    V = np.zeros(nS)  # 상태 가치 함수
    while True:
        Q = np.zeros((nS, nA))  # 행동 가치 함수
        for s in range(nS):
            for a in range(nA):
                for prob, next_state, reward, done in P[s][a]:
                    Q[s][a] += prob * (reward + gamma * V[next_state] * (not done))
        if np.max(np.abs(V - np.max(Q, axis=1))) < theta:
            break
        pi = {s: a for s, a in enumerate(np.argmax(Q, axis=1))}  # 정책=가장 가치가 높은 행동
        V = np.max(Q, axis=1)  # 상태 가치도 맞춰서 업데이트
    return V, pi

가치 반복 실험

V, pi = value_iteration(env)

퀴즈

문제 1 / 9맞음: 0힌트: 0틀림: 0채점중: 0남음: 9

정책 반복법(policy iteration)의 핵심 흐름으로 가장 알맞은 것은 무엇입니까?

○정책 평가와 정책 개선을 반복하여 더 이상 정책이 개선되지 않을 때까지 진행한다
○초기 정책을 한 번 평가한 뒤 가치가 바뀌어도 같은 정책을 유지한다
○초기에 구한 가치 함수만 사용하여 정책 개선만 반복한다
○정책을 평가할 때마다 새로운 무작위 정책으로 교체한다

퀴즈를 풀려면 대화형 기능을 불러와야 합니다.

정책 반복법(policy iteration)의 핵심 흐름으로 가장 알맞은 것은 무엇입니까?

한 단계는 현재 정책의 가치를 추정하고, 다른 단계는 그 가치를 이용해 더 나은 정책을 만듭니다.

정책 평가와 정책 개선을 반복하여 더 이상 정책이 개선되지 않을 때까지 진행한다초기 정책을 한 번 평가한 뒤 가치가 바뀌어도 같은 정책을 유지한다초기에 구한 가치 함수만 사용하여 정책 개선만 반복한다정책을 평가할 때마다 새로운 무작위 정책으로 교체한다

정책 평가와 정책 개선을 반복하여 더 이상 정책이 개선되지 않을 때까지 진행한다

정책 개선 식에서 $ar g max_{a}$ 의 의미로 알맞은 것은 무엇입니까?

max의 결과는 값이고, argmax의 결과는 그 값을 만드는 입력입니다.

뒤의 수식이 갖는 최댓값 자체를 구한다뒤의 수식을 가장 크게 만드는 행동

a

를 찾는다가치가 가장 큰 다음 상태

s^{'}

를 찾는다모든 행동의 가치를 확률 분포로 변환한다

뒤의 수식을 가장 크게 만드는 행동

a

를 찾는다

policy_improvement 함수가 수행하는 일로 올바른 것을 모두 고르세요.

V가 함수 안에서 계산되는 값인지 인자로 받아 온 값인지, 그리고 반복문이 무엇을 훑고 끝나는지 확인해 보세요.

V와 P를 이용해 상태-행동별 기대 가치 Q를 계산한다종료 전이에서는 다음 상태의 가치가 더해지지 않도록 처리한다각 상태에서 Q가 가장 큰 행동을 선택해 새 정책을 만든다새 정책의 가치가 수렴할 때까지 함수 내부에서 정책 평가를 반복한다

V와 P를 이용해 상태-행동별 기대 가치 Q를 계산한다, 종료 전이에서는 다음 상태의 가치가 더해지지 않도록 처리한다, 각 상태에서 Q가 가장 큰 행동을 선택해 새 정책을 만든다

np.argmax(Q, axis=1)에서 axis=1을 사용하는 이유로 가장 알맞은 것은 무엇입니까?

Q 배열의 행은 상태, 열은 행동에 대응합니다. 새 정책에는 상태마다 하나의 행동이 필요합니다.

각 상태 행에서 행동별 Q 값을 비교해 가장 큰 행동을 고르기 위해서각 행동 열에서 상태별 Q 값을 비교해 가장 큰 상태를 고르기 위해서각 상태 행의 행동별 Q 값을 모두 더하기 위해서전체 Q 배열에서 하나의 상태-행동 쌍만 고르기 위해서

각 상태 행에서 행동별 Q 값을 비교해 가장 큰 행동을 고르기 위해서

policy_iteration 함수의 반복 과정에 포함되는 것을 모두 고르세요.

현재 정책에서 출발해 가치 평가와 탐욕적 개선을 연결하고, 정책의 안정 여부를 확인합니다.

policy_evaluation으로 현재 정책의 가치 함수를 평가한다policy_improvement로 정책을 개선한다기존 정책과 새 정책이 같으면 반복을 중단한다매 반복을 시작할 때 정책을 새로운 무작위 정책으로 초기화한다

policy_evaluation으로 현재 정책의 가치 함수를 평가한다, policy_improvement로 정책을 개선한다, 기존 정책과 새 정책이 같으면 반복을 중단한다

정책 반복과 가치 반복의 차이로 가장 알맞은 것은 무엇입니까?

두 방법은 정책 평가를 독립된 단계로 충분히 수행하는지, 최댓값 연산과 가치 갱신을 직접 결합하는지가 다릅니다.

정책 반복은 현재 정책을 평가한 뒤 개선하고, 가치 반복은 최적 벨만 갱신으로 가치 갱신과 탐욕적 개선을 결합한다정책 반복은 최적 벨만 갱신만 사용하고, 가치 반복은 고정된 정책만 끝까지 평가한다정책 반복은 상태 가치를 사용하지만, 가치 반복은 보상만 사용하고 상태 가치는 사용하지 않는다정책 반복은 전이 확률을 사용하지만, 가치 반복은 전이 확률 없이 정책을 개선한다

정책 반복은 현재 정책을 평가한 뒤 개선하고, 가치 반복은 최적 벨만 갱신으로 가치 갱신과 탐욕적 개선을 결합한다

value_iteration 함수에 대한 설명으로 올바른 것을 모두 고르세요.

코드에서 np.max(Q, axis=1)과 np.argmax(Q, axis=1)의 결과가 각각 어디에 대입되는지 찾아보세요.

현재 V와 전이 함수 P를 이용해 상태-행동 가치 Q를 계산한다np.max(Q, axis=1)의 결과로 상태 가치 V를 갱신한다np.argmax(Q, axis=1)의 결과로 상태 가치 V를 갱신한다고정된 정책의 행동 확률로 Q 값을 평균 내어 V를 갱신한다

현재 V와 전이 함수 P를 이용해 상태-행동 가치 Q를 계산한다, np.max(Q, axis=1)의 결과로 상태 가치 V를 갱신한다

어떤 상태에서 행동 $a$ 를 선택하면 확률 1로 보상 2를 받고 종료되지 않은 다음 상태로 이동합니다. $γ = 0.5$ , 다음 상태의 현재 가치가 4일 때 $Q (s, a)$ 는 얼마입니까?

$Q (s, a) = r + γ V (s^{'})$ 에 주어진 보상, 할인율, 다음 상태 가치를 대입하세요.

가치 계산에서 V[next_state] * (not done)을 사용하는 이유로 가장 알맞은 것은 무엇입니까?

에피소드가 끝난 뒤에는 그 전이에서 이어지는 미래 보상이 있는지 생각해 보세요.

종료 전이에서는 즉시 보상만 반영하고 다음 상태의 미래 가치는 더하지 않기 위해서종료 전이에서는 즉시 보상과 다음 상태의 가치를 모두 0으로 만들기 위해서종료 여부에 따라 전이 확률 prob를 0 또는 1로 바꾸기 위해서한 번 종료된 환경에서는 모든 상태의 할인율을 0으로 바꾸기 위해서

종료 전이에서는 즉시 보상만 반영하고 다음 상태의 미래 가치는 더하지 않기 위해서