Библиотека дата-сайентиста | Data Science, Machine learning, анализ данных, машинное обучение

⚡️ Команда дня: aiopandas — асинхронная магия для Pandas

Теперь обработка данных в Pandas может быть асинхронной! aiopandas — это лёгкий monkey-patch, который добавляет поддержку async в map, apply, applymap, aggregate и transform. Это позволяет параллельно выполнять асинхронные функции без лишних сложностей.

🔺 Что умеет aiopandas?

— Поддерживает асинхронные функции без изменений в коде
— Управляет количеством параллельных задач через max_parallel
— Встроенная обработка ошибок: можно прерывать, игнорировать или логировать
— Поддержка tqdm для отслеживания прогресса

🔺 Быстрый старт:

import aiopandas as pd  # Monkey-патчим Pandas
import asyncio

df = pd.DataFrame({'x': range(10)})

async def f(x):
    await asyncio.sleep(0.1  x)  # Симуляция асинхронной задачи
    return x  2  # Преобразование данных

df['y'] = await df.x.amap(f, max_parallel=5)  # Асинхронный map
print(df)

🔺 Кому пригодится aiopandas?

— Запросы к API (LLMs, веб-скрапинг, базы данных)
— Ускорение работы с асинхронными задачами в Pandas
— Минимальные изменения кода: .map() → .amap(), .apply() → .aapply()

Ссылка на репозиторий aiopandas: https://clc.to/Pf_xow

Библиотека дата-сайентиста #буст

Please open Telegram to view this post

VIEW IN TELEGRAM

👍5⚡3❤1

www.tgoop.com/dsproglib/6278

1.89K viewsMar 28 at 07:05

⚡️ Команда дня: aiopandas — асинхронная магия для Pandas

Теперь обработка данных в Pandas может быть асинхронной! aiopandas — это лёгкий monkey-patch, который добавляет поддержку async в map, apply, applymap, aggregate и transform. Это позволяет параллельно выполнять асинхронные функции без лишних сложностей.

🔺 Что умеет aiopandas?

— Поддерживает асинхронные функции без изменений в коде
— Управляет количеством параллельных задач через max_parallel
— Встроенная обработка ошибок: можно прерывать, игнорировать или логировать
— Поддержка tqdm для отслеживания прогресса

🔺 Быстрый старт:

import aiopandas as pd  # Monkey-патчим Pandas
import asyncio

df = pd.DataFrame({'x': range(10)})

async def f(x):
    await asyncio.sleep(0.1  x)  # Симуляция асинхронной задачи
    return x  2  # Преобразование данных

df['y'] = await df.x.amap(f, max_parallel=5)  # Асинхронный map
print(df)