什么是线性回归模型

1. 什么是线性回归模型

一元线性回归方程：表示为Y=A BX的方程

2. 什么样的模型是线性回归

2经典线性回归模型

§2.1概念与记号

1．线性回归模型是用来描述一个特定变量y与其它一些变量x1，…，xp之间的关系。2．称特定变量y为因变量（dependentvariable）、被解释变量（explainedvariable）、
响应变量（responsevariable）、被预测变量（predictedvariable）、回归子（regressand）。3．称与特定变量相关的其它一些变量x1，…，xp为自变量（independentvariable）、解释变量（explanatoryvariable）、控制变量（controlvariable）、预测变量（predictorvariable）、回归量（regressor）、协变量（covariate）。
4．假定我们观测到上述这些变量的n组值：(yi,xi1,L,)xip(i=1，…，n)。称
这n组值为样本（sample）或数据（data）。
§2.2经典线性回归模型的假定

假定2.1（线性性(linearity)）

yi=b0+b1xi1+L+bpxip+ei(i=1，…，n)。

（2.1）

称方程（2.1）为因变量y对自变量x1，…，xp的线性回归方程（linearregression

equation），其中bk(k=0，1,L,p)是待估的未知参数（unknownparameters），

ei(i=1,L,n)是满足一定限制条件的无法观测的误差项（unobservederrorterm）。称自
变量的函数b0+b1xi1+L+bpxip为回归函数（regressionfunction）或简称为回归

（regression）。称b0为回归的截距(ntercept)，称bk(k=1,L,p)为自变量的回归系数

（regressioncoefficients）。某个自变量的回归系数表

3. 什么是线性回归模型

问题一：什么是线性回归？  线性回归是利用数理统计中的回归分析，来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法，运用十分广泛。分析按照自变量和因变量之间的关系类型，可分为线性回归分析和非线性回归分析 
  
  在统计学中，线性回归(Linear Regression)是利用称为线性回归方程的最小平方函数对一个或多个自变量和因变量之间关系进行建模的一种回归分析。这种函数是一个或多个称为回归系数的模型参数的线性组合。只有一个自变量的情况称为简单回归,大于一个自变量情况的叫做多元回归。（这反过来又应当由多个相关的因变量预测的多元线性回归区别，】，而不是一个单一的标量变量。） 
  回归分析中，只包括一个自变量和一个因变量，且二者的关系可用一条直线近似表示，这种回归分析称为一元线性回归分析。如果回归分析中包括两个或两个以上的自变量，且因变量和自变量之间是线性关系，则称为多元线性回归分析。 
  在线性回归中，数据使用线性预测函数来建模，并且未知的模型参数也是通过数据来估计。这些模型被叫做线性模型。最常用的线性回归建模是给定X值的y的条件均值是X的仿射函数。不太一般的情况，线性回归模型可以是一个中位数或一些其他的给定X的条件下y的条件分布的分位数作为X的线性函数表示。像所有形式的回归分析一样，线性回归也把焦点放在给定X值的y的条件概率分布，而不是X和y的联合概率分布（多元分析领域）。 
  线性回归是回归分析中第一种经过严格研究并在实际应用中广泛使用的类型。这是因为线性依赖于其未知参数的模型比非线性依赖于其位置参数的模型更容易拟合，而且产生的估计的统计特性也更容易确定。 
  线性回归有很多实际用途。分为以下两大类： 
  如果目标是预测或者映射，线性回归可以用来对观测数据集的和X的值拟合出一个预测模型。当完成这样一个模型以后，对于一个新增的X值，在没有给定与它相配对的y的情况下，可以用这个拟合过的模型预测出一个y值。 
  给定一个变量y和一些变量X1,...,Xp，这些变量有可能与y相关，线性回归分析可以用来量化y与Xj之间相关性的强度，评估出与y不相关的Xj，并识别出哪些Xj的子集包含了关于y的冗余信息。 
  
   问题二：线性回归模型和非线性回归模型的区别是什么  线性回归模型和非线性回归模型的区别是： 
  线性就是每个变量的指数都是1，而非线性就是至少有一个变量的指数不是1。 
  通过指数来进行判断即可。 
  线性回归模型，是利用数理统计中回归分析，来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法，运用十分广泛。其表达形式为y = w'x+e，e为误差服从均值为0的正态分布。线性回归模型是利用称为线性回归方程的最小平方函数对一个或多个自变量和因变量之间关系进行建模的一种回归分析。这种函数是一个或多个称为回归系数的模型参数的线性组合。只有一个自变量的情况称为简单回归,大于一个自变量情况的叫做多元回归。 
  非线性回归，是在掌握大量观察数据的基础上，利用数理统计方法建立因变量与自变量之间的回归关系函数表达式（称回归方程式）。回归分析中，当研究的因果关系只涉及因变量和一个自变量时，叫做一元回归分析；当研究的因果关系涉及因变量和两个或两个以上自变量时，叫做多元回归分析。 
  
   问题三：什么是线性回归模型  实验数据是离散的，用一线性方程式逼近数据，此线性方程式就是线性回归模型。 
  
   问题四：简单线性回归模型的每一构成项各有什么含义  一元线性回归是一个主要影响因素作为自变量来解释因变量的变化，在现实问题研究中，因变量的变化往往受几个重要因素的影响，此时就需要用两个或两个以上的影响因素作为自变量来解释因变量的变化，这就是多元回归亦称多重回归。当多个自变量与因变量之间是线性关系时，所进行的回归分析就是多元性回归。 设y为因变量X1,X2…Xk为自变量，并且自变量与因变量之间为线性关系时，则多元线性回归模型为: 
  Y=b0+b1x1+…+bkxk+e 
  其中，b0为常数项，b1,b2…bk为回归系数，b1为X1,X2…Xk固定时，x1每增加一个单位对y的效应，即x1对y的偏回归系数;同理b2为X1,X2…Xk固定时，x2每增加一个单位对y的效应，即，x2对y的偏回归系数，等等。如果两个自变量x1,x2同一个因变量y呈线相关时，可用二元线性回归模型描述为: 
  y=b0 +b1x1 +b2x2 +e 
  建立多元性回归模型时，为了保证回归模型具有优良的解释能力和预测效果，应首先注意自变量的选择，其准则是: 
  (1)自变量对因变量必须有显著的影响，并呈密切的线性相关; 
  (2)自变量与因变量之间的线性相关必须是真实的，而不是形式上的; 
  (3)自变量之彰应具有一定的互斥性，即自变量之间的相关程度不应高于自变量与因变量之因的相关程度; 
  (4)自变量应具有完整的统计数据，其预测值容易确定。 
  多元性回归模型的参数估计，同一元线性回归方程一样，也是在要求误差平方和(Σe)为最小的前提下，用最小二乘法求解参数。以二线性回归模型为例，求解回归参数的标准方程组为 
  解此方程可求得b0,b1,b2的数值。 
  
   问题五：线性回归线什么用处啊？  线性回归是利用数理统计中的回归分析，来确定两种或两种以上变数间相互依赖的定量关系的一种统计分析方法之一，运用十分广泛。 
  分析按照自变量和因变量之间的关系类型，可分为线性回归分析和非线性回归分析。 
  如果在回归分析中，只包括一个自变量和一个因变量，且二者的关系可用一条直线近似表示，这种回归分析称为一元线性回归分析。如果回归分析中包括两个或两个以上的自变量，且因变量和自变量之间是线性关系，则称为多元线性回归分析。 
  我们以一简单数据组来说明什么是线性回归。假设有一组数据型态为 y=y(x)，其中 
  x={0, 1, 2, 3, 4, 5}, y={0, 20, 60, 68, 77, 110} 
  如果我们要以一个最简单的方程式来近似这组数据，则非一阶的线性方程式莫属。先将这组数据绘图如下 
  图中的斜线是我们随意假设一阶线性方程式 y=20x，用以代表这些数据的一个方程式。以下将上述绘图的 MATLAB 指令列出，并计算这个线性方程式的 y 值与原数据 y 值间误差平方的总合。 
  >> x=[0 1 2 3 4 5]; 
  >> y=[0 20 60 68 77 110]; 
  >> y1=20*x; % 一阶线性方程式的 y1 值 
  >> sum_sq = sum((y-y1).^2); % 误差平方总合为 573 
  >> axis([-1,6,-20,120]) 
  >> plot(x,y1,x,y,'o'), title('Linear estimate'), grid 
  如此任意的假设一个线性方程式并无根据，如果换成其它人来设定就可能采用不同的线性方程式；所以我们 须要有比较精确方式决定理想的线性方程式。我们可以要求误差平方的总合为最小，做为决定理想的线性方 程式的准则，这样的方法就称为最小平方误差(least squares error)或是线性回归。MATLAB的polyfit函数提供了 从一阶到高阶多项式的回归法，其语法为polyfit(x,y,n)，其中x,y为输入数据组n为多项式的阶数，n=1就是一阶 的线性回归法。polyfit函数所建立的多项式可以写成 
  从polyfit函数得到的输出值就是上述的各项系数，以一阶线性回归为例n=1，所以只有 二个输出值。如果指令为coef=polyfit(x,y,n)，则coef(1)= , coef(2)=,...,coef(n+1)= 。注意上式对n 阶的多 项式会有 n+1 项的系数。我们来看以下的线性回归的示范： 
  >> x=[0 1 2 3 4 5]; 
  >> y=[0 20 60 68 77 110]; 
  >> coef=polyfit(x,y,1); % coef 代表线性回归的二个输出值 
  >> a0=coef(1); a1=coef(2); 
  >> ybest=a0*x+a1; % 由线性回归产生的一阶方程式 
  >> sum_sq=sum(y-ybest).^2); % 误差平方总合为 356.82 
  >> axis([-1,6,-20,120]) 
  >> plot(x,ybest,x,y,'o'), title('Linear regression estimate'),......>> 
  
   问题六：那些是线性回归模型 哪些不是 为什么？急  e是，其它都不是，但可以经过变换变成线性回归 
  
   问题七：经典线性回归模型的假定有哪些  1、模型对参数为线性 
  2、重复抽样中X是固定的或非随机的 
  3、干扰项的均值为零 
  4、u的方差相等 
  5、各个干扰项之间无自相关 
  6、无多重共线性,即解释变量间没有完全线性关系 
  7、u和X不相关 
  8、X要有变异性 
  9、模型设定正确 
  
   问题八：经典线性回归模型的假定有哪些  经典线性回归模型的假定有 
  (1)解释变量与误差项不相关 
  (2)误差项零均值同方差不相关 
  (3)误差项服从正态分布

4. 回归模型中出现完全线性相关

相关系数r=1,只能说明以现有数据来看,是完全线性相关的,但是不排除有些数据点不在回归直线上的可能,只不过你没有发现而已.换句话说,这是不完全归纳法,据此得到的“两变量关系确定”的结论是不可靠的.另外,即使现有数据也可能并非完全线性相关,只不过你获得的数据精度比较低罢了,如果提高数据精度,可能r会等于0.99999..【摘要】
回归模型中出现完全线性相关【提问】
相关系数r=1,说明以现有数据来看,是完全线性相关的,但是不排除有些数据点不在回归直线上的可能,【回答】
那在做多元回归模型中，出现这种情况，合理吗，这个模型可靠吗【提问】
你获得的数据精度比较低，现有数据有可能完全线性相关【回答】
【提问】
【提问】
那这模型还能继续吗，有意义吗【提问】
回归分析之前需要做相关分析，原因在于相关分析可以先了解是否有关系，回归分析是研究有没有影响关系，有相关关系但并不一定有回归影响关系。当然回归分析之前也可以使用散点图查看数据关系。【回答】
这个模型可靠的【回答】
您的r趋近于1，是合理的【回答】
相关系数r=1,只能说明以现有数据来看,是完全线性相关的,但是不排除有些数据点不在回归直线上的可能,只不过你没有发现而已.
换句话说,这是不完全归纳法,据此得到的“两变量关系确定”的结论是不可靠的.
另外,即使现有数据也可能并非完全线性相关,只不过你获得的数据精度比较低罢了,如果提高数据精度,可能r会等于0.99999..【回答】
好的【提问】
我还想问下，为什么会出现这种情况呢，合理吗【提问】
因为r＝1，此时的两个变量出现完全线性相关【回答】
而此时相关关系是一种不确定的关系【回答】