Python数据预处理：数据抽样方法详解与注意事项

import random
import numpy as np
import pandas as pd

# 导入数据
df = pd.read_csv('https://raw.githubusercontent.com/ffzs/dataset/master/glass.csv')

df.index.size
# 214

##########随机抽样##########
#
# 使用pandas
# DataFrame.sample(n=None, frac=None, replace=False, weights=None, random_state=None, axis=None)
# n是要抽取的行数。（例如n=20000时，抽取其中的2W行）
# frac是抽取的比列。（有一些时候，我们并对具体抽取的行数不关系，我们想抽取其中的百分比，这个时候就可以选择使用frac，例如frac=0.8，就是抽取其中80%）
# replace：是否为有放回抽样，取replace=True时为有放回抽样。
# weights这个是每个样本的权重，具体可以看官方文档说明。
# random_state这个在之前的文章已经介绍过了。
# axis是选择抽取数据的行还是列。axis=0的时是抽取行，axis=1时是抽取列（也就是说axis=1时，在列中随机抽取n列，在axis=0时，在行中随机抽取n行）

df_0 = df.sample(n=20, replace=True)
df_0.index.size
# 20

# 数据准备
data = df.values
# 使用random
data_sample = random.sample(list(data), 20)
len(data_sample)
# 20

##########等距抽样##########
# 指定抽样数量
sample_count = 50
# 获取最大样本量
record_count = data.shape[0]
# 抽样间距
width = record_count//sample_count
data_sample = []
i = 0
# 本量小于等于指定抽样数量并且矩阵索引在有效范围内是
while len(data_sample) <= sample_count and i * width <= record_count -1:
  data_sample.append(data[i*width])
  i += 1
len(data_sample)
# 51

##########分层抽样##########
# 数据只是随便找的分层仅限于演示
# 定义每个分层的抽样数量
each_sample_count = 6
# 定义分层值域
label_data_unique = np.unique(data[:, -1])
# 定义一些数据
sample_list, sample_data, sample_dict = [], [], {}
# 遍历每个分层标签
for label_data in label_data_unique:
  for data_tmp in data: # 读取每条数据
    if data_tmp[-1] == label_data:
      sample_list.append(data_tmp)
  # 对每层数据都数据抽样
  each_sample_data = random.sample(sample_list, each_sample_count)
  sample_data.extend(each_sample_data)
  sample_dict[label_data] = len(each_sample_data)
sample_dict
# {1.0: 6, 2.0: 6, 3.0: 6, 5.0: 6, 6.0: 6, 7.0: 6}

##########整群抽样##########
# 数据分群仅限于演示，不符合实际情况
# 定义整群的标签
label_data_unique = np.unique(data[:, -1])
# 随机抽取2个群
sample_label = random.sample(list(label_data_unique), 2)
# 定义空列表
sample_data = []
# 遍历每个整群标签值域
for each_label in sample_label:
  for data_tmp in data:
    if data_tmp[-1] == each_label:
      sample_data.append(data_tmp)
len(sample_data)
# 83