왕초보 개발자의 일기장

Gradient Descent Optimization for Neural NetworkGradient Descent Optimization Algorithms at Long ValleyGradient Descent Optimization 이란 신경망 학습에서 손실함수의 값을 가능한 한 낮추는 매개변수의 최적값을 찾는 문제를 푸는 것을 지칭한다.Stochastic Gradient Descent(SGD)MomentumAdaGradRMSpropAdametc1. Stochastic Gradient Descent(SGD)-특징Mini-batch 데이터를 사용한다.기울어진 방향으로 탐색한다.구현이 쉽다.단점지그재그로 이동하여 비효율 적이다.비등방성 함수 탐색경로가 비효율적이다.2. Momentum특징△w는 속도의 ..

Random Forest1. Decision Tree(의사결정트리) 의 단점주어진 학습 데이터에 따라 생성되는 의사결정트리의 모델이 일정하지 않아 일반화를 할 수 없다.상위 노드의 에러가 다음 노드로 전파된다.의사결정트리를 활용한 학습결과가 일정하지 않다.2. Random Forest의 정의랜덤 포레스트는 여러 개의 의사결정트리들을 임의적으로 학습하는 방식의 앙상블 학습법.앙상블 학습법이란 데이터를 사용해 n개의 데이터 집합을 만든 뒤, m개의 모델에 나누어 학습시킨 뒤 각 결과들을 종합하는 학습법(n =< m)3. Random Forest의 장점월등히 높은 정확성간편하고 빠른 학습 및 테스트 알고리즘변수소거 없이 수천 개의 입력 변수들을 다루는 것이 가능임의화를 통한 좋은 일반화 성능다중 클래스 알고리..

Decision tree1. 의사결정 트리란?결정트리는 의사 결정 규칙과 그 결과들을 트리 구조로 도식화한 의사 결정 지원 도구의 일종이다. 목표에 가장 가까운 결과를 낼 수 있는 전략을 찾기 위해 주로 사용된다.분류(classification)기술 중 가장 일반적으로 사용되는 방법이다.eager learning과 관련있다. 미리 분류해놓은 tree를 가지로 query가 들어오면 tree를 거쳐 답을 내준다.2. 의사결정 트리 알고리즘이란?결정 트리를 구성하는 알고리즘에는 주로 하향식 기법이 사용되며, 각 진행 단계에서는 주어진 데이터 집합을 가장 적합한 기준으로 분할하는 변수값이 선택된다.서로 다른 알고리즘들은 '분할의 적합성'을 측정하는 각자의 기준이 있다.(ex.동질성 측정)3. 의사결정 트리의 장..

Confusion Matrix클래스 분류의 결과를 정리한 표분류 모델이 정확한지 평가할 때 활용머신러닝이나 통계적인 classification 문제에서 알고리즘의 성능을 visualization하는 table layout.트레이닝 된 머신의 예상값과 실제 값을 비교하는 표불균형한 Data setex) 14세 이하 10만명당 암 발병인원 14.8명. (암 발병 확률 : 0.014%)—> 굳이 머신러닝을 이용하지 않아도 확률이 너무 낮아서 '무조건 암이 아니다' 라고 해도정확도(Accuracy)가 99~100%이 나옴. —> 좋은 모델 X --> Confusion matrix 사용Positive & Negative이항분류를 할 때 두가지 분류 중 한가지 분류에 더 관심이 많음ex) 화재 경보기 —> 화재 v..

Data PreprocessingMissing dataABCD123456NaN8101112NaNNaN : 손실된 데이터 (누락값)목표 : 손실된 데이터 문제를 해결해야한다.1. 손실된 데이터가 있는 row(데이터) 또는 col(특성) 을 제거데이터가 손실된 row 들을 모두 제거한다.ABCD1234데이터가 손실된 column 들을 모두 제거한다.AB12561011-> 단점 : 도움이 될 수 있는 다른 데이터도 버릴 수 있다.2. 손실된 데이터에 영향을 받지 않는 학습 모델을 사용한다.Decision Tree 기반의 학습 모델(e.g. Random Forest) 등은 누락값에 영향을 받지 않아 데이터를 그대로 사용할 수 있다..그러나 Linear Regression 이나 SGD 알고리즘은 누락값이 있을 때..

통계적 가설 검정(statistical hypothesis test)0. 정의통계적 추측의 하나로서, 모집단 실제의 값이 얼마가 된다는 주장과 관련해, 표본의 정보를 사용해서 가설의 합당성 여부를 판정하는 과정을 의미한다.1. 유의확률(p-value)Probability value귀무가설이 맞다는 전제 하에, 표본에서 실제로 관측된 통계치와 같거나 더 극단적인 통계치가 관측될 확률관찰된 데이터가 귀무가설과 양립하는 정도를 0에서 1 사이의 수치로 표현한다.p-value가 작을수록 그 정도가 약하다고 보며, 유의수준 (대개 0.05나 0.01 등) 보다 작을 경우 귀무가설을 기각하고 대립가설을 채택하는 것이 관례이다.양측 꼬리 유의 확률우측 꼬리 유의 확률2. 귀무가설(H0)Null Hypothesis부정..