本文共 848 字，大约阅读时间需要 2 分钟。

 经典线性模型自变量的线性预测就是因变量的估计值。 广义线性模型：自变量的线性预测的函数是因变量的估计值。常见的广义线性模型有：probit模型、poisson模型、对数线性模型等等。对数线性模型里有：logistic regression、Maxinum entropy。本篇是对逻辑回归的学习总结，下一篇将对最大熵模型的学习总结。

1、逻辑斯蒂分布，logit转换

 一个连续随机变量X，如果它的分布函数形式如下，则X服从逻辑斯蒂分布，F（x）的值在0~1之间，它的 的图形是一条S型曲线 。

2、在二分类问题中，为什么弃用传统的线性回归模型，改用逻辑斯蒂回归？

      线性回归用于二分类时，首先想到下面这种形式，p是属于类别的概率：

      但是这时存在两根问题：

      1）等式两边的取值范围不同，右边是负无穷到正无穷，左边是[0,1]，这个分类模型的存在问题

      2）实际中的很多问题，都是当x很小或很大时，对于因变量P的影响很小，当x达到中间某个阈值时，影响很大。即实际中很多问题，概率P与自变量并不是直线关系。

      所以，上面这分类模型需要修整，怎么修正呢？统计学家们找到的一种方法是通过logit这个函对因变量加以变换，具体如下：

        从而，        

        这里的P完全解决了上面的两个问题。 

3、逻辑回归模型的求解过程？

      1）求解方式

        逻辑回归中，Y服从二项分布，误差服从二项分布，而非高斯分布，所以不能用最小二乘进行模型参数估计，可以用极大似然估计来进行参数估计。

      2）似然函数、目标函数

        严谨一点的公式如下：

        似然函数如下：

        对数似然函数，优化目标函数如下：

         整个逻辑回归问题就转化为求解目标函数，即对数似然函数的极大值的问题，即最优化问题，可采用梯度下降法、拟牛顿法。

4、实际应用逻辑回归时数据预处理的经验总结，但经验有限，目前为止关于这块仍然很多东西不知，如果有哪位网友这块经验丰富，忘指教，先谢过

      1）枚举型的特征直接进行binary

      2）数值型特征，可以：标准化、根据分布进行binary

      3）进行pairwise

转载地址：http://gxgsi.baihongyu.com/