왕초보 개발자의 일기장

이 내용은 Sung Kim 교수님의 모두를 위한 RL 강좌를 정리한 내용입니다. https://youtu.be/Vd-gmo-qO5E ―――――――――――――――――――――――――――――――――――――――――――――――――――――― Q-Learning이란 Q function에 현재 State와 현재 취할 수 있는 Action들의 값을 넣었을 때 Q function의 값이 가장 큰 Action을 취하는 것을 말합니다. 다시말해 State마다 Q에게 물어봐서 길을 찾아갑니다. (안녕 Q야 S에서 상,하,좌,우 중 어디로 가야하니) Q function이란 state-action value function 이라고도 합니다. state-action value function의 개념에 대해서는 Sung Kim 교수님..

이 내용은 Sung Kim 교수님의 모두를 위한 RL 강좌를 정리한 내용입니다. https://youtu.be/xgoO54qN4lY ―――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――OpenAI GYM : RL학습에서 Environment 구축을 도와주는 Framework 앞으로 강의에서 사용할 Environment인 Frozen Lake 환경실제로는 길이가 16인 배열이다. S : Starting pointF : 얼어있는 영역(안전지대)H : Hole(위험지대)G : Goal Agent : Environment에서 움직이는 캐릭터Environment : Frozen LakeAction : 상하좌우 운동State : Agent의 위치Rewar..

이 내용은 Sung Kim 교수님의 모두를 위한 RL 강좌를 정리한 내용입니다. https://youtu.be/dZ4vw6v3LcA ――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――――― Reinforcement : SCIENCE-based & REWARD-based methods. Nature of Learning- We learn from past expensive- Reinforcement learning: computational approach to learning from interaction. Actor (or Agent) : 쥐Action : 미로에서의 이동Environment : 미로Reward: 출구를 ..

Amazon Athena는 표준 SQL을 사용해 Amazon S3에 저장된 데이터를 간편하게 분석할 수 있는 대화식 쿼리 서비스입니다. Athena는 서버리스 서비스이므로 관리할 인프라가 없으며 실행한 쿼리에 대해서만 비용을 지불하면 됩니다.(출처 : AWS) 좀 더 쉽게 이야기한다면 S3에서 사용할 수 있는 다양한 포맷의 데이터에서 테이블을 만들 수 있다. 실 사용의 예시를 들자면, 1. S3에 저장된 CSV 파일을 Athena 에서 불러온다.2. Athena에서 불러온 데이터로 DB 테이블을 만든다.3. 만들어진 테이블에 쿼리를 실행하여 원하는 데이터를 얻는다.3. 원하는 대로 얻어진 데이터를 다시 S3에 저장하던지, 다운로드 한다.(CSV, Json 같은 데이터들을 DB테이블로 만들어 쿼리를 날릴 ..

평소에 Kinesis를 볼 때, 서비스 간의 용법과 정의가 헷갈렸다. 그래서 이참에 간단하게 정리해보고자 한다. Amazon Kinessis Data Streams : 처리버퍼처럼 동작하며, 프로듀서가 Kinesis Stream에 데이터를 전송하고 동시에 컨슈머가 데이터를 처리한다. 데이터를 저장하지 않는다. Amazon Kinesis Data Firehose : 저장S3 및 Redshift와 같은 다른 Amazon 서비스로 스트리밍 데이터를 캡처하고 로드하는 데 사용된다.스트림을 Elastic Map Reduce 및 Amazon Elasticsearch Service와 같은 데이터 처리 및 분석 도구에 로드 할 수 있다. Firehose를 사용하여 S3와 Redshift에 동일한 데이터를 동시에로드 할..

가상메모리는 RAM을 관리하는 방법으로, 각 프로그램에 실제 메모리 주소가 아닌 가상의 메모리 주소를 부여하는 방식을 말한다. 프로그램이 메모리에 프로세스로 올라가는 순간 자신만의 가상주소공간을 갖게 된다. 32bit/64bit 프로세스는 최대 4GB/16GB 가상주소 공간을 가진다. 실행하려는 프로그램이 용량이 큰 경우, 메모리에 프로그램을 전부 올린다면 실행을 하지 못하거나, 혹은 메모리를 과독점 하는 상황이 벌어진다. 또한 프로그램의 모든 코드가 반드시 한번에 필요한것이 아니다. 사용하지 않는 코드들이 메모리에 많이 올라와 있다면 용량이나 paging등의 성능 이슈가 발생하게 된다. 프로그램 실행에 반드시 필요한 코드만 메모리에 고정적으로 올려놓고, 그 외의 코드들은 런타임시에 보조기억장치에서 가져..