Notice: file_put_contents(): Write of 19860 bytes failed with errno=28 No space left on device in /var/www/tgoop/post.php on line 50
Библиотека дата-сайентиста | Data Science, Machine learning, анализ данных, машинное обучение@dsproglib P.5866
DSPROGLIB Telegram 5866
🔗 DataChain — фреймворк для управления данными

Ключевые особенности фреймворка:

📂 Мультимодальная версионность данных
🔘Версионирование неструктурированных данных без перемещения или копирования, с поддержкой ссылок на хранилища S3, GCP, Azure и локальные файловые системы.
🔘Поддержка мультимодальных данных: изображения, видео, текст, PDF, JSON, CSV, Parquet и др.
🔘Объединение файлов и метаданных в постоянные, версионные наборы данных.

🐍 Python-friendly
🔘Работа с объектами Python и их полями: числовые значения, строки, матрицы, ответы LLM.
🔘Обработка больших наборов данных (до терабайтов) с встроенной параллелизацией и экономным использованием памяти — без необходимости SQL или Spark.

🧠 Обработка данных
🔘Генерация метаданных с использованием локальных AI-моделей и LLM API.
🔘Фильтрация, объединение и группировка наборов данных по метаданным. Поиск по векторным эмбеддингам.
🔘Высокопроизводительные векторизированные операции на Python-объектах: суммирование, подсчёт, вычисление среднего и др.
🔘Передача наборов данных в Pytorch и Tensorflow или экспорт обратно в хранилище.
Please open Telegram to view this post
VIEW IN TELEGRAM
1👍1



tgoop.com/dsproglib/5866
Create:
Last Update:

🔗 DataChain — фреймворк для управления данными

Ключевые особенности фреймворка:

📂 Мультимодальная версионность данных
🔘Версионирование неструктурированных данных без перемещения или копирования, с поддержкой ссылок на хранилища S3, GCP, Azure и локальные файловые системы.
🔘Поддержка мультимодальных данных: изображения, видео, текст, PDF, JSON, CSV, Parquet и др.
🔘Объединение файлов и метаданных в постоянные, версионные наборы данных.

🐍 Python-friendly
🔘Работа с объектами Python и их полями: числовые значения, строки, матрицы, ответы LLM.
🔘Обработка больших наборов данных (до терабайтов) с встроенной параллелизацией и экономным использованием памяти — без необходимости SQL или Spark.

🧠 Обработка данных
🔘Генерация метаданных с использованием локальных AI-моделей и LLM API.
🔘Фильтрация, объединение и группировка наборов данных по метаданным. Поиск по векторным эмбеддингам.
🔘Высокопроизводительные векторизированные операции на Python-объектах: суммирование, подсчёт, вычисление среднего и др.
🔘Передача наборов данных в Pytorch и Tensorflow или экспорт обратно в хранилище.

BY Библиотека дата-сайентиста | Data Science, Machine learning, анализ данных, машинное обучение




Share with your friend now:
tgoop.com/dsproglib/5866

View MORE
Open in Telegram


Telegram News

Date: |

Over 33,000 people sent out over 1,000 doxxing messages in the group. Although the administrators tried to delete all of the messages, the posting speed was far too much for them to keep up. In the “Bear Market Screaming Therapy Group” on Telegram, members are only allowed to post voice notes of themselves screaming. Anything else will result in an instant ban from the group, which currently has about 75 members. Other crimes that the SUCK Channel incited under Ng’s watch included using corrosive chemicals to make explosives and causing grievous bodily harm with intent. The court also found Ng responsible for calling on people to assist protesters who clashed violently with police at several universities in November 2019. Judge Hui described Ng as inciting others to “commit a massacre” with three posts teaching people to make “toxic chlorine gas bombs,” target police stations, police quarters and the city’s metro stations. This offence was “rather serious,” the court said. 1What is Telegram Channels?
from us


Telegram Библиотека дата-сайентиста | Data Science, Machine learning, анализ данных, машинное обучение
FROM American