变量筛选—特征包含信息量

在变量筛选中,通过衡量特征所包含信息量大小,决定是否删除特征,常用的指标有单一值占比、缺失值占比和方差值大小。单一值或缺失值占比越高,表示特征包含信息量越少,不同公司设置不同阈值,一般单一值、缺失值占比高于95%,建议删除。方差值越小,代表特征包含信息量越小。接下来详细阐述方差值的原理和Python计算代码。

  

一、什么是方差?

  
方差:衡量一组数据离散程度的统计量,它表示每个数据与这组数据平均数的差的平方的平均数。
  
方差越大,说明这组数据的离散程度越大。

  
  

二、方差的计算公式

  
假设有一组数据x1,x2,……,xn,这组数据的方差计算步骤如下:
  
step1:计算平均数(均值),首先,计算这组数据的平均数(均值),公式为

在这里插入图片描述

其中,n是数据量,Σ是求和符号。
  
step2:计算方差: 然后,利用平均数,计算方差,公式为

在这里插入图片描述

表示每个数与平均数的差的平方之和,再除以n得

最近更新

  1. docker php8.1+nginx base 镜像 dockerfile 配置

    2024-07-20 11:46:02       103 阅读
  2. Could not load dynamic library ‘cudart64_100.dll‘

    2024-07-20 11:46:02       113 阅读
  3. 在Django里面运行非项目文件

    2024-07-20 11:46:02       93 阅读
  4. Python语言-面向对象

    2024-07-20 11:46:02       99 阅读

热门阅读

  1. 华为AI认证必刷题100道(上)

    2024-07-20 11:46:02       26 阅读
  2. 概率论中的卷积公式

    2024-07-20 11:46:02       23 阅读
  3. 数据结构:栈

    2024-07-20 11:46:02       27 阅读
  4. 数据质量8个衡量标准

    2024-07-20 11:46:02       25 阅读
  5. abc362(abcde)

    2024-07-20 11:46:02       24 阅读
  6. [jieba_fast][python]jieba_fast所有whl文件下载地址汇总

    2024-07-20 11:46:02       25 阅读
  7. 【Android】本地化的实现

    2024-07-20 11:46:02       26 阅读
  8. 刷题Day57|107. 寻找存在的路径

    2024-07-20 11:46:02       26 阅读
  9. PEFT的几种方式

    2024-07-20 11:46:02       24 阅读