Gradient Descent Optimization for Neural Network
Gradient Descent Optimization for Neural NetworkGradient Descent Optimization Algorithms at Long ValleyGradient Descent Optimization 이란 신경망 학습에서 손실함수의 값을 가능한 한 낮추는 매개변수의 최적값을 찾는 문제를 푸는 것을 지칭한다.Stochastic Gradient Descent(SGD)MomentumAdaGradRMSpropAdametc1. Stochastic Gradient Descent(SGD)-특징Mini-batch 데이터를 사용한다.기울어진 방향으로 탐색한다.구현이 쉽다.단점지그재그로 이동하여 비효율 적이다.비등방성 함수 탐색경로가 비효율적이다.2. Momentum특징△w는 속도의 ..
A.I/Study
2019. 1. 30. 15:40
공지사항
최근에 올라온 글
최근에 달린 댓글
- Total
- Today
- Yesterday
TAG
- commands
- MySQL
- #handsonlab
- Android Studio
- 통계적 가설 검정
- MDP
- 강화학습
- sequelize
- Markov Decision Process
- branch
- p-value
- Confustion Matrix
- Linux
- #ausg
- AWS
- gitgnore
- Gradient descent algorithm
- #AWS
- #ab
- Memory segmetation
- ausg
- Reinforcement Learniing
- System
- Preprocessing
- Reinforcement Learning
- Algorithm
- Android
- rl
- OS
- git
| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | 5 | ||
| 6 | 7 | 8 | 9 | 10 | 11 | 12 |
| 13 | 14 | 15 | 16 | 17 | 18 | 19 |
| 20 | 21 | 22 | 23 | 24 | 25 | 26 |
| 27 | 28 | 29 | 30 |
글 보관함