Amazon Athena는 표준 SQL을 사용해 Amazon S3에 저장된 데이터를 간편하게 분석할 수 있는 대화식 쿼리 서비스입니다. Athena는 서버리스 서비스이므로 관리할 인프라가 없으며 실행한 쿼리에 대해서만 비용을 지불하면 됩니다.(출처 : AWS) 좀 더 쉽게 이야기한다면 S3에서 사용할 수 있는 다양한 포맷의 데이터에서 테이블을 만들 수 있다. 실 사용의 예시를 들자면, 1. S3에 저장된 CSV 파일을 Athena 에서 불러온다.2. Athena에서 불러온 데이터로 DB 테이블을 만든다.3. 만들어진 테이블에 쿼리를 실행하여 원하는 데이터를 얻는다.3. 원하는 대로 얻어진 데이터를 다시 S3에 저장하던지, 다운로드 한다.(CSV, Json 같은 데이터들을 DB테이블로 만들어 쿼리를 날릴 ..
평소에 Kinesis를 볼 때, 서비스 간의 용법과 정의가 헷갈렸다. 그래서 이참에 간단하게 정리해보고자 한다. Amazon Kinessis Data Streams : 처리버퍼처럼 동작하며, 프로듀서가 Kinesis Stream에 데이터를 전송하고 동시에 컨슈머가 데이터를 처리한다. 데이터를 저장하지 않는다. Amazon Kinesis Data Firehose : 저장S3 및 Redshift와 같은 다른 Amazon 서비스로 스트리밍 데이터를 캡처하고 로드하는 데 사용된다.스트림을 Elastic Map Reduce 및 Amazon Elasticsearch Service와 같은 데이터 처리 및 분석 도구에 로드 할 수 있다. Firehose를 사용하여 S3와 Redshift에 동일한 데이터를 동시에로드 할..
Cafe24나 기타 도메인 사이트에서 구입한 도메인을 AWS Route53에서 사용하기 위해서는 NS(네임서버)를 변경해 주어야 한다. 방법은 매우 쉽다. 저는 Cafe24를 사용하기 때문에 Cafe24를 기준으로 하겠습니다. 1. Route53 설정 1)Route53 접속2) Hosted Zone 들어가기3) Create Hosted Zone 클릭 및 생성 창 오픈4) 본인이 사전에 구매한 도메인 입력, Type은 그대로 Public Hosted Zone 으로 냅둠.5) Create로 생성 후, 생성한 Hosted Zone 클릭 하면 Type = NS 라는 Name 서버 세팅이 보인다.6) Type=NS에 있는 Value의 4가지 도메인을 기억한다.7)Create Record Set 클릭8) Type ..
- Total
- Today
- Yesterday
- #ab
- OS
- Algorithm
- Android
- Confustion Matrix
- rl
- ausg
- Markov Decision Process
- branch
- commands
- Gradient descent algorithm
- Reinforcement Learning
- gitgnore
- Memory segmetation
- sequelize
- #ausg
- Android Studio
- MySQL
- #handsonlab
- git
- Linux
- 강화학습
- Preprocessing
- Reinforcement Learniing
- #AWS
- p-value
- MDP
- 통계적 가설 검정
- AWS
- System
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | ||||||
2 | 3 | 4 | 5 | 6 | 7 | 8 |
9 | 10 | 11 | 12 | 13 | 14 | 15 |
16 | 17 | 18 | 19 | 20 | 21 | 22 |
23 | 24 | 25 | 26 | 27 | 28 |