💡 Vaex — быстрая альтернатива Pandas для работы с большими данными

Vaex — это библиотека DataFrame, специально созданная для работы с огромными наборами данных (миллионы или даже миллиарды строк) без перегрузки памяти и падения производительности.

Импорт:

import vaex

df = vaex.open("big_data.csv")
print(df.shape)

Фильтрация данных:

filtered_df = df[df.age > 30]

Вычисление среднего значения:

mean_salary = df.salary.mean()
print(mean_salary)

Группировка данных:

df.groupby("job_title", agg=vaex.agg.mean("salary"))

Ссылка на библиотеку: https://clc.to/f2i7yg