Lecture 5: Nondeterministic world
이 내용은 Sung Kim 교수님의 모두를 위한 RL 강좌를 정리한 내용입니다.
https://youtu.be/6KSf-j4LL-c
---------------------------------------------------------------------------------------------------------------------------------------
지금 까지 다루었던 World 는 모두 Deterministic world. 그러나 현실 세계는 Non-deterministic 요소를 가지고 있다.
Deterministic model : the output of the model is fully determined by the parameter values and the initial conditions.
Stochastic model (non-deterministic) : possess some inherent randomness. The same set of parameter values and initial conditions will lead to an ensemble of different outputs.
정리
만약 내가 S 라는 상태에서 A 라는 행동을 취했을 때,
- Deterministic world: S에서 A라는 선택은 언제나! A' 라는 결과가 도출됨
- Non-deterministic world: A' 라는 결과 말고도 A+ or A- or A* .... 등등 다른 결과도 도출될 수 있음.
-> 기존의 Q-learning 알고리즘으로는 Non-deterministic world 문제를 해결할 수 없다.
해결법
Q(s') 을 learning rate 비율만큼만 받아들여서 Q(s) 를 업데이트한다.
Non-deterministic Q-learning algorithm
강좌에 나오는 코드는 다음 Github에 구현해 놓았습니다.
https://github.com/whitesoil/ReinforceLearningZeroToAll