热门搜索:

数据分析 搜索结果

Python数据清洗:缺失值检测、删除与填充方法详解

本文详解Python中处理缺失值的完整流程。从导入数据、替换异常符号为NaN开始,利用isnull()统计缺失数量。重点讲解dropna()直接删除策略(含axis、how、thresh参数)与fillna()填充策略(均值/中位数/前后向填充),并引入sklearn的KNNImputer进行基于邻居的插补,提供完整代码示例。

Python数据清洗:缺失值检测、删除与填充方法详解

pandas解决excel科学计数法问题

本文介绍pandas处理Excel中超过14位数字自动转换为科学计数法的问题。提供两种解决方案:数据量小时使用to_csv替代to_excel;通用方法是在read_excel时指定dtype=str将所有数据读为字符串。此外,还讨论了将特定字段转为int类型时需先处理空值的注意事项,以避免转换错误。

Pandas DataFrame中inf值的处理与替换方法

本文介绍在Pandas DataFrame计算中产生inf(无穷大)值的原因及处理方法。通过Numpy库提供的isinf、isposinf等函数定位inf位置,并演示如何将Series或整个DataFrame中的正负无穷大替换为指定数值或NaN,以适配机器学习算法对数据完整性的要求。

Python 高效处理千万级数据写入 MySQL:Navicat、Pymysql 与 Pandas 方案对比

本文系统分享将千万级数据写入 MySQL 的两种场景及对应方案。针对非频繁写入,推荐使用 Navicat 导入向导;针对增量自动化写入,对比了 Pymysql 与 Pandas+SQLAlchemy 两种 Python 实现方式。测试显示,Pandas 方案仅需五行代码且耗时约 4 分钟,远优于 Pymysql 的 12 分 47 秒,且无需预先建表,推荐作为高效首选。

Python 高效处理千万级数据写入 MySQL:Navicat、Pymysql 与 Pandas 方案对比

Python实现报表自动化生成与邮件发送全流程

本文详细介绍如何利用Python实现报表自动化流程,涵盖从数据源读取、DataFrame计算、统计指标处理到图表生成的全过程。重点讲解使用Matplotlib和Echarts绘制可视化图表,并通过smtplib与email模块实现报表自动打包及发送至指定邮箱的功能,旨在提升数据分析效率并减少人工操作错误。

Python实现报表自动化生成与邮件发送全流程

Python Numpy 面向数组编程核心操作指南

本文详解Python Numpy库中面向数组编程的核心操作。通过向量化计算替代循环,显著提升数据处理效率。深入解析np.where三元表达式、sum/mean等统计聚合函数、布尔数组判定以及unique等集合操作,提供从基础生成到复杂逻辑处理的完整代码示例,助力高效数据分析。

Python Numpy 面向数组编程核心操作指南

专题列表