otto��ʒ������ս���ǿ�����ҫ��������㷨|������㷨,-sbobet利记
��ʱ��������֤��ѧʿ��ҵ�������һщ�뷨��������֪��otto�ı����зdz��������ݼ��������ͨ��������֤�ķ�ʽȥ���ÿһ���£����ҽ����ϵı䶯���㹻�ӽ����а�ģ���ģ������ľ����ƿdz��ʺ��ڼ��˼·�ġ�
holdout����Ԥ��ģ��
�ǻ�֮������щ�տ�ʼ�������ݿ�ѧ��������ʲô���飿����ϊ�����õľ�������ҫ���լ���������ϸ���������ƕ�ÿһ�������ʹ����ͬ�i취������������ӧ��ͨ����̳���ϵľ����ķ��������ù�ȥ��щ�����еľ���취��������щ���������ü������ߣ���������ʲô���ļ���ˮƽ�����仰˵���ķ���ȥ����щ����취�ͽ�������е�����һ������ҫ��
���˼�����alexander guschin��ī˹����������ѧժ���꼶ѧ����ŀǰalexander�������������ensembling�취�ı������ĺ�����
���мල�취���ԣ��ҷ���xgboost�������綼�ܹ��������ϸ����ܺõijɹ��������ҿ������ҵ�ensembleʹ��������ϊԪ��������
3.�դ��е�ijһ��������û�к��ܾ����������ǣ�������������Ԫ�������ã��㲻��ȼ�ǵ�ȥ�������ģ�ͣ� ���ҵ��ἰ��ensembling��ʱ���������ܹ�ָ������������㷨�ķ��ã������������Ԫ����խ������������ྫ�ⱦ�խ�ã���������ȥʵ������Ԫ������
2. ����������ʼ���kaggle����֮�õģ����ǵ�2014���＾��forest cover type prediction��ʼ�μӿ����ģ���ʱ�ҷ��ڽ������ѧϰ��������ⲣû��ʲô���飬�������ڡ�titanic: machine learning from disaster���ϸ����˺ܺõļ������������һܴ�i��֡������ժ�����ʶ���լ����ڻ���ѧϰ�dz�����ȥ�������һᾡ������ȥ�μ�ÿһ��������
�ҵľ�������е��ص��ܹ�
ͬ��ҳ���˸���ȥ���ǣ���һщ�������������𣬱ȷ����1�����2������щ������ר�ŵ������ƿdz�ֵ��ʵ��ġ�
���߰�����ˢ�ִ������ǻ���ѧϰ��ŀ�ģ����μӱ��������ô�ҵ��ѧ��������š�kaggle����ƪ���ģ�ͨ�����ڰ��м��ų�ʒ������ս���ǿ�alexander guschin�ķ�̸��������һ����ч�ĺ��ļ����취����������ϊʲô��ӧ�õ�������㷨��������alexander�ľ������������ҫ��˼���ǽ����ص��������취�õ���Ԥ��ֵy���н����ϊ��Ԫ��������������knn�ܹ�ʵ�ַdz��õ�Ԫ������ʵ������Ԫ�������ܱȸ���ģ����ч����ʹ�õĺ���ֻ��sklearn��xgboost��lasagne��
ͬ���������һ�ο�ʼ�������ѧϰ���������ʱ������ܻ᷸һщ�ͼ��ĵ�����щ������ʧ����ܶ��ʱ��;���������������ܺ���������ӵļ��ƿdz��а��ֵģ������������������д�ĵ����������ʵ����ͬ�i취����ģ�����̳��ҫһֱ�����լ��취�����ܺͱ��˵ľ��бƚϡ����㷢������㷨����̳����˳��ĵ�ҫ��ܶ�ʱ��ȥ��������������ʱ���һщ�����������ž��ĵ���ָ������
���м��ų�ʒ������ս����otto group product classification challenge��������kaggle��ʷ�����ܻ�ӭ�ı�����alexander guschin������3845�����ݿ�ѧ�ҷ�������ӱ����������˸���ս�����ǿ����ڱ�ƪ�����у�alexander���������ĺ��ļ����취�����ҽ���ϊʲô��ӧ�õ�������㷨��������
��2άƽ����tsne
Ԫ����խ������������ྫ�ⱦ�խ�á�ͨ��extratrees�õ���Ԫ����vsͨ��������õ���Ԫ����
���ڻ���ѧϰ���б�ȼ�������˽⣬����ҫ������ҵ�ַ�ļ����о�����ī˹����������ѧժ���լ����ǵĵ���konstantin vorontsov�����ƕ�������ļ���ѧϰר��֮һ�������ҷ���һщʵ���������������һλ���˲���ķ������ݿ�ѧ��alexander d��yakonov��������kaggle��һ��������ȥ������ÿһ����＾������ʵ�û���ѧϰ�γ̣�����γ̸����һܺõļ�����kagglers���ܻ�֪�����ſν�pzad��
3848λ����ѡ�ֹ�3514֧���ӿ������otto���ų�ʒ���ϵ���ʒ���з���
ԭ��������otto product classification winner#039;s interview: 2nd place, alexander guschin��/Ԭ�� ���/�ܽ�����
��˵knnͨ�����������ھ��������������Ԥ��ɹ��������һ��ǽ���щԤ��ɹ����е��˵�һ������ϊԪ���������ɵ��ǣ����ɭ�ֺ�xgboost��ϊԪ����ҳ�����á�
��������֮��1. �������������ʲô����Ԥ������ʹ����ʲô�����мලѧϰ�취���ڵڶ��㽫nn��xgbԤ��ijɹ���������ƿdz���ҫ�ģ��������һ���ڵڶ��㽫nn��xgb�ָ�����˽�е�lb�ϵõ��ķ�����լ��0.391���������ǽ����һ���õ��ķ�����0.386�����կ����ɹ�����˺ܴ�������������ڵڶ�����д����dz������á�
��ģ�tsne��2άƽ���ͽ������dz�����ȥ����ͼ�����ǿ��կ���һщ�����������ǵ��㷨������ˣ�����ζ��ҫ�ҵ�һ�ֶ�������Ԥ��ijɹ����к����i취�����logloss�ƿdz������ġ�
2. �ڹ۲�����ʱ������ҫ�ķ�����ʲô������ҫ�ķ��ֿ�����knn�ܹ�ʵ�ַdz��õ�Ԫ����������ҫ��������㷨��
alexander��kaggle�ϵĸ�������
�ڲμ���������ij�ʼ�σ��ҷ��������ݻ����ֺ������ƕ��������õģ���1��ѵ�����ͳ��լ�����2���д�ƶ-���ĵ���ƶ��ѵ�������д�ƶ-���ĵ���ƶ�ij��լ����ҵľ�������еĺܶ�ֲ������ò��еķ�ʽʹ�������������ݻ��֡�
�ҵľ������������ҫ��˼���ǽ����ص���stacking�����ص��ܹ������㽫���취�õ���Ԥ��ֵy���ڶ��������г�֮ϊ��ǩ�����н����ϊ��Ԫ��������һ����ԣ�ϊ�˻������ѵ����Ԫ����������ҫ��������ݻ��ֺ�k�ۣ���ÿ��k-1���飬�ڣ�k-1���ֲ���ѵ��k��ģ�ͣ�����ʣ�µľֲ�����Ԥ�⡣ϊ�˻�ò������õ�Ԫ���������������щk��ģ��������Ԥ�����ƽ���������ڻ�������ѵ�����ݵļ���������һ��Ԥ�⡣�����������������Ԫ������ѵ��Ԫ�������������������һщԪ�������ļ��Ϳ�����Ԥ��ƽ����
4.��ʹ������щ���ߣ��ҽ���ʹ��sklearn��xgboost��lasagne����щ���ǻܺõļ���ѧϰ�⣬�����һ���տ�ʼ�μ�kaggle���������ƽ���щ���ߡ����ݵľ��飬��щ�����㹻��ȥʵ������취�������ںܶ�kaggle�����ж�ȡ���˺ܺõijɹ���