目前对于贝叶斯网络的改进主要包括了[3]：1) 基于属性选择的方法，保证选择的属性之间具有最大的属性独立性，其中代表算法是由Langley[4]提出SBC（Selective Navie bayes）；2) 扩展朴素贝叶斯网络的结构，考虑属性之间的依赖关系，降低属性独立性假设，其中代表算法是由Friedman[5]提出树扩展的贝叶斯网络TAN（Tree Augmented Na?ve bayes）；3) 基于实例的学习算法[6]。
　　其中1)、2)的算法是根据训练集合构造一个分类器，是一种积极的学习算法，3)的方法是一种消极的学习算法。
　　2.3 粗糙集分类方法
　　粗糙集[7]理论是一种刻划不完整和不确定性数据的数学工具，不需要先验知识，能有效处理各种不完备信息，从中发现隐含的知识，并和各种分类技术相结合建立起能够对不完备数据进行分类的算法。粗糙集理论包含求取数据中最小不变集和最小规则集的理论，即约简算法，这也是粗糙集理论在分类中的主要应用。
　　2.4 神经网络
　　神经网络是分类技术中重要方法之一，是大量的简单神经元按一定规则连接构成的网络系统。它能够模拟人类大脑的结构和功能，采用某种学习算法从训练样本中学习，并将获取的知识存储在网络各单元之间的连接权中。神经网络主要有前向神经网络、后向神经网络和自组织网络。目前神经网络分类算法研究较多集中在以BP为代表的神经网络上。文献[8]提出了粒子群优化算法用于神经网络训练，在训练权值同时删除冗余连接，与BP结果比较表明算法的有效性。文献[9]提出旋转曲面变换粒子群优化算法的神经网络，使待优化函数跳出局部极值点，提高训练权值的效率。
　　2.5 K近邻分类算法
　　K近邻分类算法是最简单有效的分类方法之一，是在多维空间中找到与未知样本最近邻的K个点，并根据这K个点的类别判断未知样本的类别。但是有两个最大缺点：1)由于要存储所有的训练数据，所以对大规模数据集进行分类是低效的；2) 分类的效果在很大程度上依赖于K值选择的好坏。文献[10]提出一种有效的K近邻分类算法，利用向量方差和小波逼近系数得出两个不等式，根据这两个不等式，分类效率得到了提高。文献[11]提出用粒子群优化算法对训练样本进行有指导的全局随机搜索，掠过大量不可能的K向量，该算法比KNN方法计算时间降低了70%。
　　2.6 基于关联规则挖掘的分类方法
　　关联分类方法一般由两部组成：第一步用关联规则挖掘算法从训练数据集中挖掘出所有满足指定支持度和置信度的类关联规则，支持度用于衡量关联规则在整个数据集中的统计重要性，而置信度用于衡量关联规则的可信程度；第二步使用启发式方法从挖掘出的类关联规则中挑选出一组高质量的规则用于分类。
　　Agrawal等人于1993年提出了算法AIS和SETM，1994年又提出了Apriori和AprioriTid，后两个算法和前两个算法的不同之处在于：在对数据库的一次遍历中，那些候选数据项目被计数以及产生候选数据项目集的方法。但前两者方法的缺点是会导致许多不必要的数据项目集的生成和计数。由于目前日常生活中如附加邮递、目录设计、追加销售、仓储规划都用到了关联规则，因此首先要考虑关联规则的高效更新问题，D.w.cheung提出了增量式更新算法FUP，它的基本框架和Apriori是一致的；接着冯玉才等提出了两种高效的增量式更新算法IUA和PIUA，主要考虑当最小支持度和最小可信度发生变化时，当前交易数据库中关联规则的更新问题。
　　2.7 支持向量机方法的发展
　　支持向量机方法是建立在统计学习理论的VC维理论和结构风险最小原理基础之上的。根据有限样本信息、在模型的复杂性和学习能力之间寻求折衷，以期获得最好推广能力。它非常适合于处理非线性问题。分类问题是支持向量机最为成熟和应用最广的算法。但是由于SVM的训练时间会随着数据集的增大而增加，所以在处理大规模数据集时，SVM往往需要较长的训练时间。
　　文献[12]提出了一种多分类问题的改进支持向量机，将GA和SVM相结合，构造了一种参数优化GA-SVM，该方法在多分类非平衡问题上，提高了分类正确率，也提高了学习时间。文献[13]提出了一种新的支持向量机增量算法，提出了一种误分点回溯增量算法，先找出新增样本中误分的样本，然后在原样本集寻找距误分点最近的样本作为训练集的一部分，重新构建分类器，有效保留样本的分类信息，结果表明比传统的SVM有更高的分类精度。