Python筛选数据的核心是掌握条件表达式的灵活运用，从列表推导式到pandas向量化操作，不同方法适应不同数据规模和结构，合理选择能显著提升代码性能和可读性。
Python筛选数据的方法有哪些？新手必看
列表推导式：最直观的条件筛选
列表推导式是Python内建语法，格式为[输出表达式 for 元素 in 可迭代对象 if 条件],例如从0到100中筛选出所有偶数：
evens = [x for x in range(101) if x % 2 == 0]
这种写法不仅简洁，执行速度也比普通for循环快30%到50%，因为它底层采用C语言优化，当处理中小规模数据时，列表推导式是首选，据行业共识,它在可读性和性能之间取得了最好平衡。
filter函数搭配lambda表达式
filter(function, iterable)返回一个迭代器,配合lambda可以快速实现条件过滤：
positive = list(filter(lambda x: x > 0, numbers))
filter的优势在于惰性求值，不会一次性生成整个列表，适合处理超长序列，但它的可读性稍弱,在条件逻辑复杂时建议使用自定义函数替代lambda。
NumPy与Pandas：大数据筛选利器
当数据量达到百万级，列表推导式会严重拖慢速度，Pandas的loc、iloc和query方法利用底层向量化计算，筛选速度比纯Python循环快一个数量级，据统计，在数据分析领域，超过六成的Python开发者使用Pandas进行数据筛选，其布尔索引机制直接对标SQL的where子句，对于NumPy数组,同样可以使用布尔索引：
import numpy as np arr = np.array([1, 2, 3, 4, 5]) filtered = arr[arr > 2]
这种写法在数值计算场景中效率极高。
python筛选列表条件的四种高效写法
单一条件筛选
直接对元素进行判断,例如筛选出列表中所有长度大于8的字符串：
long_words = [word for word in word_list if len(word) > 8]
这种写法最常用，注意条件表达式应尽量简单,避免嵌套函数调用。
多重条件组合
使用and、or或括号连接多个条件，确保优先级正确,例如筛选出2到10之间且能被3整除的数：
result = [n for n in range(2, 11) if n % 3 == 0 and n > 2]
如果需要动态组合条件，可以将条件表达式拼接成字符串，再用eval或lambda执行,但后者需注意安全性。
条件筛选与列表切片结合
先筛选再切片取前N个元素，或者先切片再筛选,例如获取成绩列表中高于80分的前5个成绩：
top_scores = [s for s in scores if s > 80][:5]
如果筛选后数据量依然很大，切片可以提前截断,减少后续处理压力。
列表中筛选字典或对象属性
当列表元素是字典时,通过键值判断筛选：
adults = [person for person in people if person['age'] >= 18]
若元素是自定义类实例，可以直接访问属性，例如person.age >= 18,这种写法在解析JSON数据或API返回结果时非常实用。
python筛选csv文件与Excel数据实战
使用csv模块逐行筛选
对于小型CSV文件，csv.DictReader可以将每行读成字典,然后按条件过滤：
import csv
with open('data.csv', 'r') as f:
reader = csv.DictReader(f)
filtered = [row for row in reader if float(row['salary']) > 5000]
这种方法清晰但速度有限，当文件行数超过百万时，建议换用pandas，如果要筛选后写入新文件，可以使用csv.DictWriter逐行写入。
pandas筛选csv高效处理
Pandas的read_csv配合布尔索引是处理CSV的标配操作：
import pandas as pd
df = pd.read_csv('data.csv')
filtered_df = df[df['column'] > threshold]
对于大文件，可以指定chunksize分块读取，每块筛选后合并，避免内存溢出，Excel文件类似，使用read_excel
后同样适用布尔索引。
筛选后写入新文件
无论用哪种方法，筛选结果均可通过to_csv或to_excel直接写入新文件，pandas还支持压缩格式,适合归档。
python筛选数据框：pandas条件筛选详解
布尔索引筛选行
布尔索引是最常用的DataFrame筛选方式,例如筛选出用户年龄在30到40岁之间的数据：
df_filtered = df[(df['age'] >= 30) & (df['age'] <= 40)]
注意使用括号包裹每个条件，&替代and，如果筛选后只保留某些列，可以结合loc：
df_filtered = df.loc[(df['age'] >= 30) & (df['age'] <= 40), ['name', 'age']]
query方法使用字符串条件
query()方法允许用字符串表达筛选条件,适合动态生成或从外部传入条件：
df_filtered = df.query('age >= 30 and age <= 40')
在大型数据框上，query内部使用numexpr加速，有时比布尔索引更快，还可以引用外部变量，用前缀，例如df.query('age > @lower_bound')。
筛选与聚合结合
先筛选子集再分组聚合，或者先聚合再筛选组,例如找出每个部门中工资高于部门平均工资的员工：
avg_salary = df.groupby('department')['salary'].transform('mean')
df_filtered = df[df['salary'] > avg_salary]
这种组合操作在数据分析中极为常见，pandas的transform方法可以保留原行数,方便直接筛选。
python筛选字符串：正则与内置方法
使用re模块筛选模式
当需要从文本中提取符合特定模式的字符串时，正则表达式是首选，例如筛选出所有以’.py’结尾的文件名：
import re pattern = r'.py$' python_files = [f for f in files if re.search(pattern, f)]
对于大量字符串，可以预编译正则，使用
re.compile提高效率，正则能力越强，筛选逻辑越灵活,但也要注意避免过度复杂的模式导致性能下降。
字符串方法筛选子串
对于简单的存在性判断，使用startswith、endswith或in运算符更高效，因为底层是C语言实现，例如筛选出所有以’http’开头的链接：
http_links = [link for link in links if link.startswith('http')]
在数据量极大时,字符串方法的速度通常比正则快两到三倍。
筛选与清洗文本数据
在文本预处理中，经常需要先筛选出不含特殊字符的行，再替换或删除,例如筛选出不含数字的句子：
clean = [s for s in sentences if not re.search(r'd', s)]
结合正则和字符串方法，可以构建稳健的清洗流程,为后续分析打下基础。
Python筛选功能覆盖了从简单列表到复杂数据框的各种场景，核心是掌握条件表达式的合理运用，根据数据规模和类型，选择列表推导式、filter函数或pandas的向量化操作，能大幅提升代码效率与可维护性，在实际项目中，多实践这些筛选方法，有助于快速提取关键信息,高效完成数据处理任务。
Python筛选常见问题解答
Python筛选大量数据时如何优化内存？
使用pandas的chunksize参数分块读取，或生成器表达式配合filter处理，避免一次性加载全部数据，对于超大文件，可考虑使用dask库,它支持分布式筛选。
筛选和索引有什么区别？
筛选通常指根据条件选择行或元素，索引则更侧重基于位置或标签快速定位，索引是筛选的一种特殊形式，pandas的loc和iloc本质上是标签索引和位置索引,而布尔索引是条件筛选。
如何用Python筛选出两个列表的公共元素？
使用集合的&运算符或列表推导式[x for x in list1 if x in list2]，当列表较长时，先将其中一个转为集合，可将时间复杂度从O(nm)降为O(n+m),筛选效率显著提升。
首发原创文章，作者：王坚，如若转载，请注明出处：https://test.idctop.com/article/496745.html
