Python实现混合特征（连续与二值离散）的信息增益计算

山间有风

发布时间：2026-10-13 | 6人浏览过

原创

本文介绍如何使用Python实现同时处理连续型和二值离散型属性的特征选择信息增益算法。针对现有工具多仅支持离散属性的局限，通过计算条件熵与原始熵的差值，自动寻找最佳分割阈值，从而量化混合数据集中各特征对目标变量的贡献度，为模型训练提供有效的特征筛选依据。

利用Python语言编写代码，实现特征选择中的信息增益计算功能。该实现方案能够兼容处理数据集中同时存在的连续型属性与二值离散型属性，确保在混合数据类型场景下的特征评估准确性。

受项目需求驱动，需要开发一套特征选择算法。经调研发现，网络上的多数现有实现仅针对离散型属性计算信息增益，无法直接适用于包含二值离散型和连续型属性的混合数据集。因此，本文对算法进行了适配与实现，以解决这一特定场景下的计算问题。

核心算法代码实现如下，主要包含信息增益类的初始化与计算逻辑。

import numpy as np
import math

class IG():
  def __init__(self,X,y):

    X = np.array(X)
    n_feature = np.shape(X)[1]
    n_y = len(y)

    orig_H = 0
    for i in set(y):
      orig_H += -(y.count(i)/n_y)*math.log(y.count(i)/n_y)

    condi_H_list = []
    for i in range(n_feature):
      feature = X[:,i]
      sourted_feature = sorted(feature)
      threshold = [(sourted_feature[inde-1]+sourted_feature[inde])/2 for inde in range(len(feature)) if inde != 0 ]

      thre_set = set(threshold)
      if float(max(feature)) in thre_set:
        thre_set.remove(float(max(feature)))
      if min(feature) in thre_set:
        thre_set.remove(min(feature))
      pre_H = 0
      for thre in thre_set:
        lower = [y[s] for s in range(len(feature)) if feature[s] < thre]
        highter = [y[s] for s in range(len(feature)) if feature[s] > thre]
        H_l = 0
        for l in set(lower):
          H_l += -(lower.count(l) / len(lower))*math.log(lower.count(l) / len(lower))
        H_h = 0
        for h in set(highter):
          H_h += -(highter.count(h) / len(highter))*math.log(highter.count(h) / len(highter))
        temp_condi_H = len(lower)/n_y *H_l+ len(highter)/n_y * H_h
        condi_H = orig_H - temp_condi_H
        pre_H = max(pre_H,condi_H)
      condi_H_list.append(pre_H)

    self.IG = condi_H_list


  def getIG(self):
    return self.IG

if __name__ == "__main__":


  X = [[1, 0, 0, 1],
     [0, 1, 1, 1],
     [0, 0, 1, 0]]
  y = [0, 0, 1]


  print(IG(X,y).getIG())

运行上述代码后，控制台输出的信息增益结果如下所示：