Gradient Descent Optimization for Neural Network
Gradient Descent Optimization for Neural NetworkGradient Descent Optimization Algorithms at Long ValleyGradient Descent Optimization 이란 신경망 학습에서 손실함수의 값을 가능한 한 낮추는 매개변수의 최적값을 찾는 문제를 푸는 것을 지칭한다.Stochastic Gradient Descent(SGD)MomentumAdaGradRMSpropAdametc1. Stochastic Gradient Descent(SGD)-특징Mini-batch 데이터를 사용한다.기울어진 방향으로 탐색한다.구현이 쉽다.단점지그재그로 이동하여 비효율 적이다.비등방성 함수 탐색경로가 비효율적이다.2. Momentum특징△w는 속도의 ..
A.I/Study
2019. 1. 30. 15:40
공지사항
최근에 올라온 글
최근에 달린 댓글
- Total
- Today
- Yesterday
TAG
- p-value
- Android Studio
- git
- MDP
- commands
- Gradient descent algorithm
- Confustion Matrix
- #ausg
- 통계적 가설 검정
- #ab
- MySQL
- Android
- branch
- #handsonlab
- Algorithm
- Memory segmetation
- rl
- Reinforcement Learning
- 강화학습
- Linux
- ausg
- Preprocessing
- gitgnore
- Reinforcement Learniing
- sequelize
- OS
- AWS
- #AWS
- System
- Markov Decision Process
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | 6 | |
7 | 8 | 9 | 10 | 11 | 12 | 13 |
14 | 15 | 16 | 17 | 18 | 19 | 20 |
21 | 22 | 23 | 24 | 25 | 26 | 27 |
28 | 29 | 30 | 31 |
글 보관함