广义线性模型

广义线性模型是简单最小二乘回归（OLS）的扩展，在广义线性模式中，假设每个资料的观测值${\displaystyle \mathbf {Y} }$ 来自某个指数族分布。 该分布的平均数 ${\displaystyle {\boldsymbol {\mu }}}$  可由与该点独立的X解释：

${\displaystyle \operatorname {E} ({\boldsymbol {y}})={\boldsymbol {\mu }}=g^{-1}(\mathbf {X} {\boldsymbol {\beta }})}$ 

其中${\displaystyle E({\boldsymbol {y}})}$ 为${\displaystyle {\boldsymbol {y}}}$ 的期望值，${\displaystyle \mathbf {X} {\boldsymbol {\beta }}}$ 是由未知待估计参数${\displaystyle {\boldsymbol {\beta }}}$ 与已知变量${\displaystyle \mathbf {X} }$ 构成的线性估计式，${\displaystyle g}$ 则为链接函数。

在此模式下，${\displaystyle {\boldsymbol {y}}}$ 的方差${\displaystyle V}$ 可表示为：

${\displaystyle \operatorname {Var} ({\boldsymbol {y}})=\operatorname {V} ({\boldsymbol {\mu }})=\operatorname {V} (g^{-1}(\mathbf {X} {\boldsymbol {\beta }})).}$ 

一般假设${\displaystyle V}$ 可视为一指数族随机变量的函数。

未知参数${\displaystyle {\boldsymbol {\beta }}}$ 通常会以最大似然估计量, 殆最大似然估计量（英语：quasi-maximum likelihood）, 或以贝氏方法来估计。

广义线性模式包含了以下主要部分：

1. 来自指数族的分布函数${\displaystyle f}$ 。
2. 线性预测子 ${\displaystyle {\boldsymbol {\eta }}=\mathbf {X} {\boldsymbol {\beta }}}$ 。
3. 链接函数${\displaystyle g}$ 使得 ${\displaystyle E(Y\mid X)={\boldsymbol {\mu }}=g^{-1}({\boldsymbol {\eta }})}$ 。

指数族

指数族随机变量意指其具参数θ与τ的概率密度函数, f (在论离散型随机变量时，则为概率质量函数)可表为：

${\displaystyle f_{Y}(y;\theta ,\tau )=\exp {\left({\frac {a(y)b(\theta )+c(\theta )}{h(\tau )}}+d(y,\tau )\right)}.\,\!}$ 

τ称之为变异参数，通常用以解释方差。函数a、b、c、d 及h为已知。许多（不包含全部）型态的随机变量可归类为指数族

θ与该随机变量的期望值有关。若a为恒等函数，则称该分布属于 正则型式。 另外，若b为恒等而τ已知，则θ称为正则参数，其与期望值的关系可表为：

${\displaystyle \mu =\operatorname {E} (Y)=-c'(\theta ).\,\!}$ 

一般情形下，该分布的方差可表为：

${\displaystyle \operatorname {Var} (Y)=-c''(\theta )h(\tau ).\,\!}$ 

线性预测子

线性预测子是用将独立变量经由线性组合来寻模式所能提供之资讯的计量变量。符号η (希腊字母 "Η")通常用来表示线性预测子。它与资料的期望值的链接函数值有关(故称"预测子")。

η表为未知参数β的线性组合(故为"线性")。X则为独立变量所组合而成的观测矩阵。如此一来，η可表示为

${\displaystyle \eta =\mathbf {X} {\boldsymbol {\beta }}.\,}$ 

X的元素通常为模式设计时可观测的资料或为实验时所得的数据。

链接函数

链接函数解释了线性预测子与分布期望值的关系。链接函数的选择可视情形而定。通常只要符合链接函数的值域有包含分布期望值的条件即可。

当使用具正则参数θ的分布时，链接函数需符合X^TY 为β的充份统计量此一条件。这在θ与线性预测子的链接函数值相等时方成立。下面列出若干指数族分布的典型链接函数及其反函数(有时称为均值函数)：

在指数分布与Gamma分布中，其典型链接函数的值域并不包含分布均值，另外其线性预测子亦可能出现负值，此两种分布绝无均值为负的可能。当进行极大似然估计进行计算时需避免上述情形出现，这时便需要使用到非典型链接函数。

一般线性模式

有些人可能会把一般线性模式和广义线性模式给弄混了。一般线性模式可视为广义线性模式的一个链接函数为恒等的特例。一般线性模式有着悠长的发展历史。广义线性模式具非恒等链接函数者有着渐近一致的结果。

线性回归

广义线性模式最简单的例子便是线性回归。此例中分布函数为正态分布而链接函数为恒等函数在方差已知的条件下并符合正规式。 这个例子具有广义线性模式罕有的极大似然估计的解析解

二元数据

在讨论二元反应结果（如有跟没有）时，通常以二项式分布建模。其期望值'μ_i通常解释为样本Y_i发生事件的概率p

二项式分布有许多常用的链接函数，最常用的链接函数是logit：

${\displaystyle g(p)=\ln \left({p \over 1-p}\right).}$ 

以此建模的广义线性模式通常称为logistic回归模式。

另外，任何连续型概率分配累积函数（CDF）的反函数皆可使用此模式，因为其值域为[0,1]，包含了二项式分布期望值的可能值域。正态概率分配累积函数${\displaystyle \Phi }$ 是一个广受应用于probit模式的选择。其链接函数为

${\displaystyle g(p)=\Phi ^{-1}(p).\,\!}$ 

有时恒等函数也会被用为二项式分布的链接函数，其缺点为预测值可能超出合理范围。经过若干修正可以避免上述问题，但会在解释上造成困难。此模式通常适用于p接近0.5的情形。 此种建模很接近logit及probit的线性变换，有时计量经济学家会称其为Harvard模式。

二元资料的广义线性模式变异函数可写为

${\displaystyle \operatorname {Var} (Y_{i})=\tau \mu _{i}(1-\mu _{i})\,\!}$ 

其中变异参数${\displaystyle \tau }$ 通常等于1，若非，则该模式称为溢变异或殆二元。

计次资料

另一个常用的例子为用于计次的泊松分布。此例的链接函数为自然对数，为正规链接。 方差函数与均值成等比

${\displaystyle \operatorname {var} (Y_{i})=\tau \mu _{i},\,}$ 

其中变异参数${\displaystyle \tau }$ 通常为1。 若非，此模式通常称为溢变异或似泊松。