DSPROGLIB Telegram 5786
🦛 Chonkie — библиотека для разделения текста для создания RAG-систем

Поддерживает:

🔘TokenChunker — для разделения текста на фиксированные по размеру куски на базе токенов;
🔘WordChunker — для разделения текста на куски на базе слов;
🔘SemanticChunker — для разделения текста на куски на базе семантического сходства.

🔗 Ссылка на репозиторий Chonkie
Please open Telegram to view this post
VIEW IN TELEGRAM
👍5😁2❤‍🔥1



tgoop.com/dsproglib/5786
Create:
Last Update:

🦛 Chonkie — библиотека для разделения текста для создания RAG-систем

Поддерживает:

🔘TokenChunker — для разделения текста на фиксированные по размеру куски на базе токенов;
🔘WordChunker — для разделения текста на куски на базе слов;
🔘SemanticChunker — для разделения текста на куски на базе семантического сходства.

🔗 Ссылка на репозиторий Chonkie

BY Библиотека дата-сайентиста | Data Science, Machine learning, анализ данных, машинное обучение




Share with your friend now:
tgoop.com/dsproglib/5786

View MORE
Open in Telegram


Telegram News

Date: |

Earlier, crypto enthusiasts had created a self-described “meme app” dubbed “gm” app wherein users would greet each other with “gm” or “good morning” messages. However, in September 2021, the gm app was down after a hacker reportedly gained access to the user data. How to build a private or public channel on Telegram? Don’t publish new content at nighttime. Since not all users disable notifications for the night, you risk inadvertently disturbing them. As five out of seven counts were serious, Hui sentenced Ng to six years and six months in jail. How to Create a Private or Public Channel on Telegram?
from us


Telegram Библиотека дата-сайентиста | Data Science, Machine learning, анализ данных, машинное обучение
FROM American