当前位置：首页 > 机器学习 > 正文

机器学习中贝叶斯缺点

编辑小哥S
机器学习
2024-06-01 05:51:32
21

今天给大家分享机器学习中贝叶斯缺点，其中也会对贝叶斯估计缺点的内容是什么进行解释。

简述信息一览：

1、贝叶斯算法原理
2、机器学习里的贝叶斯估计是什么?完全看不懂,可不可以用通俗的语句解释一...
3、机器学习模型优缺点对比
4、贝叶斯分类器(3)朴素贝叶斯分类器
5、机器学习的方法有哪些?
6、机器学习算法有哪些?最常用是哪些几种?有什么优点

贝叶斯算法原理

贝叶斯算法是一种基于概率统计学的机器学习算法，其原理主要是利用贝叶斯定理进行分类。贝叶斯算法已经被广泛应用于文本分类、垃圾邮件过滤、新闻推荐和医疗诊断等领域。贝叶斯算法的核心思想是基于贝叶斯定理：后验概率=先验概率×似然度/证据因子。

贝叶斯方法是以贝叶斯原理为基础，使用概率统计的知识对样本数据集进行分类。由于其有着坚实的数学基础，贝叶斯分类算法的误判率是很低的。贝叶斯方法的特点是结合先验概率和后验概率，即避免了只使用先验概率的主观偏见，也避免了单独使用样本信息的过拟合现象。

（图片来源网络，侵删）

本质上：贝叶斯算法实际上是根据已有的经验和知识推断一个先验概率，然后根据新证据不断积累的情况下调整这个概率。通俗上就是：用过于发生某事的概率，推断现在发生某事的概率。比如说天气预报、医疗诊断、抽奖预测、股票预测、垃圾邮件处理等等。

朴素贝叶斯的算法原理虽然“朴素”，但用起来却很有效，其优势在于不怕噪声和无关变量。而明显的不足之处则在于，它假设各特征属性之间是无关的。当这个条件成立时，朴素贝叶斯的判别正确率很高，但不幸的是，在现实中各个特征属性间往往并非独立，而是具有较强相关性的，这样就限制了朴素贝叶斯分类的能力。

朴素贝叶斯方法是在贝叶斯算法的基础上进行了相应的简化，即假定给定目标值时属性之间相互条件独立。也就是说没有哪个属性变量对于决策结果来说占有着较大的比重，也没有哪个属性变量对于决策结果占有着较小的比重。

（图片来源网络，侵删）

机器学习里的贝叶斯估计是什么?完全看不懂,可不可以用通俗的语句解释一...

贝叶斯估计（Bayesian estimation），是在给定训练数据D时，确定假设空间H中的最佳假设。最佳假设：一种方法是把它定义为在给定数据D以及H中不同假设的先验概率的有关知识下的最可能假设。贝叶斯理论提供了一种计算假设概率的方法，基于假设的先验概率、给定假设下观察到不同数据的概率以及观察到的数据本身。

贝叶斯统计作为常用的基础算法，不要小看其作用，其在机器学习中是占据重要的一席之地。

贝叶斯估计、最大似然估计（MLE）、最大后验概率估计（MAP）这几个概念在机器学习和深度学习中经常碰到，读文章的时候还感觉挺明白，但独立思考时经常会傻傻分不清楚（），因此希望通过本文对其进行总结。

探索参数估计的艺术：最大似然、最大后验与贝叶斯估计的深入解析在机器学习的殿堂中，参数估计是基石，它们如磁铁般吸引着模型的灵魂——参数。最大似然估计（MLE）和最大后验估计（MAP）是其中的双子星，而贝叶斯估计则以独特的视角照亮了统计推理的路径。

机器学习模型优缺点对比

思想简单，容易实现。建模迅速，对于小数据量、简单的关系很有效。是许多强大的非线性模型的基础。线性回归模型十分容易理解，结果具有很好的解释性，有利于决策分析。能解决回归问题。缺点：对于非线性数据或者数据特征见具有相关性多项式回归难以建模。难以很好的表达高度复杂的数据。

偏差-方差的较量线性模型如线性回归，虽然简单直观，但对非线性数据处理能力较弱。非线性模型如多项式回归则能适应复杂关联，但易过拟合。通过调整特征数量、数据量和正则化，我们可以平衡模型的偏差（欠拟合）和方差（过拟合）。多项式模型的线性或非线性性质取决于其形式，灵活地处理了复杂关系。

准确率（Accuracy）正确预测的样本数占总样本数的比例。精确率（Precision）正确预测为正例的样本数占预测为正例的样本数的比例。召回率（Recall）正确预测为正例的样本数占实际为正例的样本数的比例。F1-score：精确率和召回率的调和平均数，同时考虑了二者的表现。

贝叶斯分类器(3)朴素贝叶斯分类器

线性分类器（Linear Regression） 1贝叶斯分类器朴素贝叶斯（Naive Bayes）分类器，以垃圾邮件分类为例子，需要特征之间满足条件独立的假设；局限性：（1）要求自变量和因变量之间满足线性关系；（2）朴素贝叶斯要求特征之间满足条件独立，不能学习特征之间的相互作用。

如果训练集很小，那么高偏差/低方差分类器（如朴素贝叶斯分类器）要优于低偏差/高方差分类器（如k近邻分类器），因为后者容易过拟合。然而，随着训练集的增大，低偏差/高方差分类器将开始胜出（它们具有较低的渐近误差），因为高偏差分类器不足以提供准确的模型。

西瓜书上还介绍了半朴素贝叶斯分类器，其放宽了朴素贝叶斯分类器的假设，适当考虑部分属性间的相互依赖信息，书上描述了多种寻找这种依赖关系的算法，在此就不一一赘述了。其实现实的情况中，各个属性之间的关系是很复杂的。

和决策树模型相比，朴素贝叶斯分类器（Naive Bayes Classifier，或 NBC）发源于古典数学理论，有着坚实的数学基础，以及稳定的分类效率。同时，NBC模型所需估计的参数很少，对缺失数据不太敏感，算法也比较简单。理论上，NBC模型与其他分类方法相比具有最小的误差率。

对率回归，又称逻辑回归，是使用Sigmoid函数作为联系函数时的广义线性模型，是广义线性模型的一个特例。softmax回归有一个不寻常的特点：它有一个“冗余“的参数集。朴素贝叶斯分类器是一系列以假设特征之间强（朴素）独立下运用贝叶斯定理为基础的简单概率分类器。

朴素贝叶斯分类器：（nave bayes classification）条件：将所有的属性假设为相互独立也就是每个属性独立地对分类结果发生影响，这个想法很天真，很梦幻。当然有了这个假设就很好计算了，计算联合分布的过程：通过训练集D来得到类先验概率然后再得到类条件概率。

机器学习的方法有哪些?

1、机器学习中常用的方法有：（1）归纳学习符号归纳学习：典型的符号归纳学习有示例学习、决策树学习。函数归纳学习（发现学习）：典型的函数归纳学习有神经网络学习、示例学习、发现学习、统计学习。（2）演绎学习（3）类比学习：典型的类比学习有案例（范例）学习。

2、神经网络学习（或连接学习）：模拟人脑的微观生理级学习过程，以脑和神经科学原理为基础，以人工神经网络为函数结构模型，以数值数据为输人，以数值运算为方法，用迭代过程在系数向量空间中搜索，学习的目标为函数。典型的连接学习有权值修正学习、拓扑结构学习。

3、机器学习的方法主要有以下几种：监督学习：监督学习是机器学习中最常见的方法之一，在监督学习中，系统会被给定一组已知输入和输出的样本数据，系统需要学习到一种函数，使得该函数能够根据给定的输入预测出正确的输出。无监督学习：无监督学习是机器学习中另一种常见的方法。

4、深度学习（Deep Learning）：通过模拟人脑的神经网络结构，进行大规模的非线性数据建模和特征提取。深度学习在图像识别、语音识别、自然语言处理等领域取得了显著的成果。机器学习与深度学习神经网络迁移学习（Transfer Learning）：将已学习的知识和经验应用于新的问题上，从而加快学习速度和提升性能。

5、按照学习方式不同，机器学习分为监督学习、无监督学习、强化学习、半监督学习、主动学习。监督学习监督学习是从x，y这样的示例对中学习统计规律，然后对于新的X，给出对应的y。输入空间、特征空间、输出空间输入、输出所有可能的取值的***分别称为输入空间、输出空间。

6、机器学习的方法：监督学习（Supervised Learning）监督学习是最常见的机器学习方法之一。其使用带有标签的训练数据来构建模型，然后用该模型进行预测。监督学习的目标是通过学习输入和输出之间的关系，对未知输入进行准确预测。常见的监督学习算法包括线性回归、逻辑回归、决策树、支持向量机和神经网络等。