横截面数据回归
横截面数据回归
一些笔记
观测值一定要比参数值多
p值<0.05,拒绝H0.
参数显著，不能说明模型对
AIC与BIC准则，越小越好的指标值AIC
回归分析一定要进行残差的正态性检验。所有的残差都大于0，小于0，都不正常。残差正常应该是分布在0的附近，有正有负，它应该是随机的
残差的正态性检验：检验统计量，是否复合正态分布，QQ图检验正态性
经验分布函数与生存分析函数是相反的
多重共线性：
1.判断是否存在多重共线性VIF>10即存在多重共线性
实验
公路一氧化碳数据
数据：
先进行一般的回归，假定残差服从正态分布，也是最简单的线性回归，我们先拟合看一看效果怎么样。
C O = β 0 + β 1 H o u r + β 2 T r a f f i c + β 3 W i n d + ε CO = \beta_0+\beta_1Hour+\beta_2Traffic+\beta_3Wind+\varepsilon CO=β0+β1Hour+β2Traffic+β3Wind+ε
以最小二乘法拟合，得到参数估计值
代码：
w <- read.table("D:/cofreewy.txt",header = TRUE)
head(w)
a=lm(CO~.,w)#利用3个自变量做线性回归
summary(a)#展示结果
b=step(a,direction="backward")#逐步回归
summary(b)#展示逐步回归结果
由此可以看出，我们拟合的模型是：
C O = 1.274 + 0.018 ∗ T r a f f i c + 0.175 ∗ W i n d CO = 1.274+0.018*Traffic+0.175*Wind CO=1.274+0.018∗Traffic+0.175∗Wind
由此可以看出，我们拟合的模型是：
C O = 1.274 + 0.018 ∗ T r a f f i c + 0.175 ∗ W i n d CO = 1.274+0.018*Traffic+0.175*Wind CO=1.274+0.018∗Traffic+0.175∗Wind
- R 2 R^2 R2表示线性回归模型中自变量X解释的响应变量y的变化比例.
- R 2 R^2 R2越大，说明自变量X对响应变量y的解释越强.
这个模型在统计意义上已经不能说明模型对，因为残差是否满足正态分布，我们还不知道，毕竟回归的前提是假设残差满足正态分布。
我们再来看一下残差的分布情况，看看它是否服从正态分布。
shapiro.test(b$res)#做残差的正态性检验
我们可以看出p值>0.05，不拒绝原假设（注意：不是接受原假设，是不拒绝原假设），我们可以假设残差服从正态分布。
但这样是不是就好了，这就是最好的模型呢？
qqnorm(b$res);qqline(b$res)#做残差的QQ图.
这种线性回归，首先是假定了它的残差是服从正态分布，模型建出来之后，通过QQ图检验它的残差是否真的服从正态分布，那如图所示，如果没有很好的服从或者渐进服从正态呢？怎么办？
注意：在小样本情况下p值0.05的界限不能完全诠释模型优劣
重新拟合，不用线性，用非线性
在此之前让我们先看一看各个属性之间的关系是什么，绘制散点图看一看。
attach(w) #把变量名字放入内存
par(mfrow=c(2,3)) #建立6个图的摆放模式
plot(CO~Traffic);plot(CO~Hour);plot(CO~Wind)
plot(Traffic~Hour);plot(Wind~Hour);plot(Traffic~Wind)
# 也可以直接plot(w)，用一行代码直接绘制所有属性的关系。
这样就很清楚了，那两个变量之间需要线性关系，那两个之间需要非线性关系，一目了然。
我们可以清晰的看到线性、三角函数，那那个既非线性又非三角函数的周期函数呢？用傅里叶级数。
法国数学家傅里叶认为，任何周期函数都可以用正弦函数和余弦函数构成的无穷级数来表示（选择正弦函数与余弦函数作为基函数是因为它们是正交的），后世称傅里叶级数为一种特殊的三角级数，根据欧拉公式，三角函数又能化成指数形式，也称傅立叶级数为一种指数级数。
# 计算相关系数
cor(cbind(CO,Traffic,Tsq=Traffic^2,Tcub=Traffic^3,Hour,Hsq=Hour^2,Hcub=Hour^3,Wind,Wsq=Wind^2,Wub=Wind^3))
注：cbind()函数是R语言中用于合并数据框的函数，它可以将多个数据框按照列合并。
# 回归
lm2 <- lm(CO~Traffic+Wind+I(Wind^2)+I(Wind^3)+sin((2*pi/24)*Hour)+cos((2*pi/24)*Hour)+sin((4*pi/24)*Hour)+cos((4*pi/24)*Hour))
summary(lm2)
lm3<- step(lm2)
summary(lm3)
anova(lm3)
shapiro.test(lm3$res)
# 去掉不显著的重新拟合
lm4 <- lm(CO~Traffic+Wind+I(Wind^2)+cos((2*pi/24)*Hour)+cos((4*pi/24)*Hour))
summary(lm4)
anova(lm4)
shapiro.test(lm4$res)
qqnorm(lm4$res)
qqline(lm4$res)
最后的拟合模型为：
C O = 1.38 + 0.017 ∗ T r a f f i c + 0.459 ∗ W i n d − 0.057 W i n d 2 − 0.366 c o s ( ( 2 ∗ p i 24 ) ∗ H o u r ) + 0.38 c o s ( ( 4 ∗ p i 24 ) ∗ H o u r ) + ε CO = 1.38+0.017*Traffic+0.459*Wind-0.057Wind^2-0.366cos((\frac{2*pi}{24})*Hour)+0.38cos((\frac{4*pi}{24})*Hour)+\varepsilon CO=1.38+0.017∗Traffic+0.459∗Wind−0.057Wind2−0.366cos((242∗pi)∗Hour)+0.38cos((244∗pi)∗Hour)+ε
注：其中 ε \varepsilon ε表示残差，即 C O i − C O ^ i CO_i-\hat{CO}_i COi−CO^i
注意 R 2 R^2 R2，此模型要更好
总结：
- 线性回归模型中，如果残差服从正态分布，则可以认为模型是合理的。
- P值不是万能的，好的模型还是要不断试一试才能出来。
- 回归是否有意义，还是要放在实际背景中去看