需要做归一化的算法

JinnyLeave a comment

数据归一化并不是万能的。在实际应用中，通过梯度下降法求解的模型通常是需要归一化的，包括线性回归、逻辑回归、支持向量机、神经网络等模型。但对于决策树模型则并不适用，以C4.5为例，决策树在进行节点分裂时主要依据数据集D关于特征x的信息增益比，而信息增益比跟特征是否经过归一化是无关的，因为归一化并不会改变样本在特征x上的信息增益

Sampling error

JinnyLeave a comment

μ – x̄

In statistics, sampling error is the error caused by observing a sample instead of the whole population. The sampling error is the difference between a sample statistic used to estimate a population parameter and the actual but unknown value of the parameter.

SVM

JinnyLeave a comment

转自https://zhuanlan.zhihu.com/p/24638007

如果你是一名模式识别专业的研究生，又或者你是机器学习爱好者，SVM是一个你避不开的问题。如果你只是有一堆数据需要SVM帮你处理一下，那么无论是Matlab的SVM工具箱，LIBSVM还是python框架下的SciKit Learn都可以提供方便快捷的解决方案。但如果你要追求的不仅仅是会用，还希望挑战一下“理解”这个层次，那么你就需要面对一大堆你可能从来没听过的名词，比如：非线性约束条件下的最优化、KKT条件、拉格朗日对偶、最大间隔、最优下界、核函数等等。这些名词往往会跟随一大堆天书一般的公式。如果你稍微有一点数学基础，那么单个公式你可能看得明白，但是怎么从一个公式跳到另一个公式就让人十分费解了，而最让人糊涂的其实并不是公式推导，而是如果把这些公式和你脑子里空间构想联系起来。

Read More »

Arg的用法

JinnyLeave a comment
  • y = f(t) 是一般常見的函式，代表給定一個t值，丟到f函式中會回傳一個值給y。
  • y = max f(t) 代表：y 是f(t)函式所有的值中最大的output。
  • y = arg max f(t) 代表：y 是f(t)函式中，會產生最大output的那個參數t。

假設有一個函式 f(t)，t 的可能範圍是 {0,1,2}，f(t=0) = 10 ; f(t=1) = 20 ; f(t=2) = 7，那分別對應的y如下：

  • y = max f(t)  = 20
  • y* = arg max f(t) = 1

 

转载自http://kevingo75.blogspot.com/2009/04/arg-arg-max.html