Machine Learning 第三周

ML week3 逻辑回归

Logistic Function

h_\theta(x)=g(\theta^Tx) 

g(t)=\frac{1}{1+e^{-z}}

当t大于0， 即下面公式成立时，y=1

\frac{1}{1+e^{-{\theta^Tx}}}>0.5 => {\theta^Tx}>0

关于theta与数据

y(x)=\theta_0+\theta_1x1+\theta_2x2

y(x)=\theta_0+\theta_1x_1+\theta_2x_2+\theta_3 x_1^2+\theta_4x_1x_2+\theta_5x_2^2

Cost function

由于使用线性回归的cost function会产生波浪形而达不到global最优点，所以使用新的方程

Cost(h_\theta(x),y) = -ylog(h_\theta(x))-(1-y)log(h_\theta(x))

多项式形式

矩阵形式

梯度下降算法

矩阵形式

使用其他更快的算法

function [jVal, gradient] = costFunction(theta)
  jVal = [...code to compute J(theta)...];
  gradient = [...code to compute derivative of J(theta)...];
end

options = optimset('GradObj', 'on', 'MaxIter', 100);
initialTheta = zeros(2,1);
   [optTheta, functionVal, exitFlag] = fminunc(@costFunction, initialTheta, options);

当y不止0,1时

如：天气有cloudy rainy sunny

==问题：画出的线重复怎么办==

过拟合

1)减少的特征：

• 手动选择特征来保持。
• 使用模型选择算法进行。(介绍 )

2)正规化

• 保持所有的特征，但减小的幅度的参数θJ。
• 正则化时，我们有许多稍微有益的特征

梯度下降防止过拟合

改变cost function

而梯度下降会变为

正规方程防止过拟合