만화로 나누는 오픈소스 이야기: 오픈소스 개발에 참여하는 방법

       만화로 나누는 오픈소스 이야기: 오픈소스 개발에 참여하는 방법: 참고 오픈소스 프로젝트에 참여하는 효과적인 방법 [ 다음 ]

Intermediate Python

References:
- Python Tips: http://book.pythontips.com/en/latest/index.html

Binning (=Discretization)

Credit Scoring과 관련된, Binning에 관해 아주 정리가 잘 되어 있는 글.
smbinning package도 R을 배워서 꼭 사용해보도록 해야겠다.



References:
-Revolutionary Analytics.com: http://blog.revolutionanalytics.com/2015/03/r-package-smbinning-optimal-binning-for-scoring-modeling.html

SVM의 예측모델을 찾아서

머신러닝 알고리즘은 예측 모델(가설)을 만들어내는 알고리즘이다.
SVM이 margin이 최대화되는 hyperplane을 찾는 알고리즘이라는 것은 알고 있지만, 그렇게 hyperplane을 만들고 나서 어떻게 예측을 하는지 궁금해졌다.

더 최초의 동기는 어떤 샘플이 어떤 클래스로 구분되지 못했을 때, 가장 큰 원인이 무엇인지 찾을 수 있는지 알고 싶었다. 즉, ....(editing)

LinearSVC for binary class 에 한하여 SVM의 예측모델 작동방식은 다음과 같다.
- separating hyperplane을 찾는다.
- hyperplane에 orthogonal한 vector를 찾는다.
- 이 vector와 예측하려는 sample과의 dot product를 구한다.
- 이 dot product가 양이면 positive class에 속하고, 음이면 negative class에 속한다.

References:
- CrossValidated: http://stats.stackexchange.com/questions/39243/how-does-one-interpret-svm-feature-weights

Gradient Boosting Machine

Gradient Boosting Machine updates model (= hypothesis) by gradient descent update method.

In gradient descent update for linear regression, logistic regression, or else, betas or parameters in a model are updated through gradient descent. 

However in GBM, the model itself is updated through gradient descent, which means that betas or parameters are updated altogether with a single gradient descent. 

Useful Resources:

- A Gentle Introduction to Gradient Boosting: http://www.ccs.neu.edu/home/vip/teach/MLcourse/4_boosting/slides/gradient_boosting.pdf

- The Elements of Statistical Learning: http://web.stanford.edu/~hastie/local.ftp/Springer/OLD/ESLII_print4.pdf