机器学习数据准备七日速成：从清洗到特征工程实战

1. 机器学习数据准备七日速成指南刚入行时我总纳闷为什么同样的算法别人跑得比我准直到有次review同事代码才发现人家在数据准备环节花了80%的时间。这就像做菜食材处理才是真正的功夫活。今天我们就用七天时间手把手带你掌握数据准备的完整流程从原始数据到模型就绪状态每个环节都配有可直接复用的代码模板和实战技巧。2. 数据准备核心框架解析2.1 数据准备的价值链数据质量决定模型性能上限。根据微软研究院统计数据问题导致的模型失效占比高达64%。完整的数据准备包含五个关键阶段数据获取API爬取/本地加载注意法律合规数据清洗处理缺失值/异常值/重复值特征工程特征提取/转换/选择数据分割训练集/验证集/测试集划分数据增强SMOTE过采样等技巧关键认知数据不是清洗得越干净越好要保留真实数据分布特性。我曾过度清洗电商评论数据结果模型无法识别真实场景中的网络用语。2.2 工具选型建议根据数据规模选择工具链小数据量1GBPandas Scikit-learn中等数据1-10GBDask Vaex大数据10GBPySpark Koalas# 大数据环境配置示例 from pyspark.sql import SparkSession spark SparkSession.builder \ .appName(DataPrep) \ .config(spark.executor.memory, 8g) \ .getOrCreate()3. 七日实训手册3.1 Day1-数据获取与探索实战1用Python读取不同格式数据# 读取CSV时处理编码问题 import chardet with open(data.csv, rb) as f: result chardet.detect(f.read()) df pd.read_csv(data.csv, encodingresult[encoding])实战2快速统计诊断# 自动化生成数据报告 from pandas_profiling import ProfileReport profile ProfileReport(df, titleData Report) profile.to_file(report.html)3.2 Day2-缺失值处理进阶方案对比表处理方法适用场景优缺点代码示例删除法缺失5%可能引入偏差df.dropna()均值填充数值型破坏分布df.fillna(df.mean())KNN填充特征相关性强计算成本高from sklearn.impute import KNNImputer预测填充复杂模式可能过拟合建立预测模型填充避坑指南时间序列数据禁止随机填充应采用前向填充ffill或插值法。3.3 Day3-异常值检测实战IQR方法改进版def modified_iqr(df, col, k1.5): Q1 df[col].quantile(0.25) Q3 df[col].quantile(0.75) IQR Q3 - Q1 lower_bound Q1 - k*IQR upper_bound Q3 k*IQR return df[(df[col] lower_bound) (df[col] upper_bound)]可视化检测技巧import seaborn as sns sns.boxplot(xdf[age]) # 箱线图 sns.scatterplot(xincome, yspending, datadf) # 散点图3.4 Day4-特征工程精要日期特征分解示例df[date] pd.to_datetime(df[date]) df[day_of_week] df[date].dt.dayofweek df[is_weekend] df[day_of_week].isin([5,6]).astype(int)文本特征处理流水线from sklearn.feature_extraction.text import TfidfVectorizer from sklearn.decomposition import TruncatedSVD tfidf TfidfVectorizer(max_features5000) svd TruncatedSVD(n_components300) pipeline make_pipeline(tfidf, svd)3.5 Day5-数据分割策略时间敏感型数据分割split_date 2023-01-01 train df[df[date] split_date] test df[df[date] split_date]分层抽样实现from sklearn.model_selection import train_test_split X_train, X_test, y_train, y_test train_test_split( X, y, test_size0.2, stratifyy, random_state42)3.6 Day6-数据增强技巧图像数据增强示例from albumentations import ( HorizontalFlip, RandomBrightnessContrast, ShiftScaleRotate) aug Compose([ HorizontalFlip(p0.5), RandomBrightnessContrast(p0.2), ShiftScaleRotate(shift_limit0.1, scale_limit0.1, rotate_limit15) ])表格数据SMOTE实现from imblearn.over_sampling import SMOTE sm SMOTE(k_neighbors3) X_res, y_res sm.fit_resample(X_train, y_train)3.7 Day7-完整项目实战医疗数据预处理案例处理DICOM影像元数据处理临床表格中的混合类型缺失值构建患者时间序列特征处理类别不平衡问题# DICOM元数据提取 import pydicom ds pydicom.dcmread(image.dcm) metadata { PatientAge: ds.PatientAge, Modality: ds.Modality, PixelSpacing: ds.PixelSpacing }4. 工程化部署要点4.1 构建可复用的数据管道from sklearn.pipeline import Pipeline from sklearn.compose import ColumnTransformer preprocessor ColumnTransformer( transformers[ (num, numeric_transformer, numeric_features), (cat, categorical_transformer, categorical_features) ]) pipeline Pipeline(steps[ (preprocessor, preprocessor), (imputer, SimpleImputer(strategymedian)) ])4.2 监控数据漂移from alibi_detect import KSDrift drift_detector KSDrift( p_val0.05, X_refX_train[:1000] ) preds drift_detector.predict(X_new)5. 常见问题排雷手册问题现象可能原因解决方案模型过拟合验证集数据泄露检查预处理是否在分割前进行线上效果差数据分布漂移增加数据监控模块类别权重无效样本重复检查SMOTE后的重复样本内存溢出独热编码爆炸改用目标编码或嵌入我在金融风控项目中曾遇到一个典型案例原始数据中职业字段包含3000多个类别直接独热编码导致特征维度爆炸。最终采用以下解决方案合并低频类别为其他使用目标编码Target Encoding添加高斯噪声防止过拟合from category_encoders import TargetEncoder encoder TargetEncoder(cols[occupation]) X_train encoder.fit_transform(X_train, y_train)