样本平衡性

今天给大家分享机器学习样本均衡，其中也会对样本平衡性的内容是什么进行解释。

简述信息一览：

• 1、机器学习和数据挖掘有什么联系?二者有什么区别?
• 2、如何处理机器学习中的不平衡分类问题
• 3、机器学习的优缺点
• 4、机器学习中训练样本不均衡问题

机器学习和数据挖掘有什么联系?二者有什么区别?

数据挖掘：一种解释是“识别出海量数据中有效的、新颖的、潜在有用的、最终可理解的模式的非平凡过程”，顾名思义，数据挖掘就是试图从海量数据中找出有用的知识。

数据挖掘，数据分析，机器学习这三者之间既有交集也有不同，彼此之间既有联系和相互运用，也有各自不同的领域和应用。机器学习为数据挖掘提供了理论方法，而数据挖掘技术是机器学习技术的一个实际应用。

机器学习是大数据分析的一部分，它使用算法和统计信息来理解提取的数据。尽管大数据分析和机器学习在功能和目的上都不同，但是您可能经常将二者混淆为同一技术的一部分。本文章旨在探讨大数据分析与机器学习之间的区别及其适用性。

一般来说数据挖掘范围更大，是包含机器学习的。数据挖掘跟很多学科领域联系紧密，其中数据库、机器学习、统计学影响是最大。简单地说，数据库提供数据管理技术，机器学习和统计学提供数据分析技术。

数据挖掘 数据挖掘（Data Mining，简称DM），是指从大量的数据中，挖掘出未知的且有价值的信息和知识的过程。

如何处理机器学习中的不平衡分类问题

训练分类器：使用准备好的训练数据，通过调用分类器对象的训练函数，对分类器进行训练。 预测：使用训练好的分类器，通过调用预测函数，对测试数据进行分类预测。

第三种：就是直接***用不均衡数据进行训练，可以在代价函数那里需要增加样本权重，用来平衡这个问题，也就是类别数量少的那一类代价就高，权重就比较大。在评价模型好坏的时候也需要考虑样本权重问题。

可以使用不同的数据集。有两种方法使不平衡的数据集来建立一个平衡的数据集——欠***样和过***样。 欠***样 欠***样是通过减少丰富类的大小来平衡数据集，当数据量足够时就该使用此方法。

你能够使用原型选择技术去降低不平衡水平。选择那些重要的样本。One-Sided Selection （OSS） 是一个预处理技术（模型训练之前使用），能够处理类别不平衡问题。

样本不均衡问题是指在机器学习分类任务中，不同类型的样本占比差距悬殊。

从数据集入手。既然数据不平衡，那我们就人为的把数据集给平衡一下。可以通过随机***样比例大的类别使得训练集中大类的个数与小类相当，也可以重复小类 使得小类的个数与大类相当。

机器学习的优缺点

思想简单，容易实现。建模迅速，对于小数据量、简单的关系很有效。是许多强大的非线性模型的基础。线性回归模型十分容易理解，结果具有很好的解释性，有利于决策分析。能解决回归问题。

机器学习中几个常见模型的优缺点 朴素贝叶斯：优点：对小规模的数据表现很好，适合多分类任务，适合增量式训练。缺点：对输入数据的表达形式很敏感（连续数据的处理方式）。

传统机器学习：有两大神技，SVM（支撑向量机）和随机森林。先说优点，速度快，精度尚可，小样本学习效果也还行。缺点：泛化能力不高。深度学习：神经网络的分支，先说优点：学习能力强，泛化能力强。

第三就是比较适合处理有缺失属性的样本。第四就是能够处理不相关的特征。第五就是测试数据集时，运行速度比较快。第六就是在相对短的时间内能够对大型数据源做出可行且效果良好的结果。

第四个缺点就是只能处理两分类问题，且必须线性可分。第五个缺点就是对于非线性特征，需要进行转换。

机器学习中训练样本不均衡问题

不平衡数据中的低检测率问题通常体现在模型对特定类别的响应不足。通过混淆矩阵分析，我们可以发现模型在识别这些缺陷类别时的不足，进而调整策略或优化模型架构。

在机器学习中，处理不均衡数据的方法有很多。其中一种方法是通过对数据集进行重***样，使得少数类样本的数量增加或者多数类样本的数量减少，从而达到数据平衡的目的。主要包括过***样和欠***样两种方法 。

所以，样本不均衡带来的根本影响是：模型会学习到训练集中样本比例的这种先验性信息，以致于实际预测时就会对多数类别有侧重（可能导致多数类精度更好，而少数类比较差）。

关于机器学习样本均衡和样本平衡性的介绍到此就结束了，感谢你花时间阅读本站内容，更多关于样本平衡性、机器学习样本均衡的信息别忘了在本站搜索。