История создания Tarantool DB: реальные проблемы, удачные решения и превращение проекта в продукт
Читать статью
Читать статью
Хабр
История создания Tarantool DB: реальные проблемы, удачные решения и превращение проекта в продукт
Два года назад все началось с первого коммита и туманного понимания, что мы вообще хотим сделать. Сегодня — два мажорных релиза, собственный модуль миграций, документация, тренинги и пользователи,...
👍3
Как? Добавьте к своим скилам навыки в проектировании архитектуры и интеграций веб-сервисов!
Рассмотрите — авторский курс про архитектуру и интеграции
с практикой.
—————
По результатам курса вы:
▫️научитесь выбирать стиль интеграции под вашу задачу;
▫️сможете проектировать с нуля и описывать интеграции в современных стилях (API: REST, SOAP, gRPC и др. + брокеры сообщений);
▫️поймете, как правильно собирать требования и моделировать в UML;
▫️подготовитесь к собеседованию, решив более 100 тестов;
▫️разработаете свой API на Python;
—————
🟢Вы получите большую базу фундаментальных знаний, доступ к урокам и обновлениям остается навсегда 💡
• Всю программу и отзывы смотрите в боте курса.
• Бонусный модуль про проектирование баз данных — нормализация, транзакции, основы DWH, индексы.
• Результат после прохождения курса: 15 рабочих проектов в портфолио.
• Доступ к чату учеников (общение, обмен опытом, помощь внутри сообщества)
🔹🔹 С чего начать?🔹🔹
С открытых бесплатных уроков по архитектуре и интеграциям в чат-боте курса. Переходите.
👇
@studyit_help_bot
Скидка на курс от канала —
1 000₽ по промокоду DBINIT до 30 сентября
Please open Telegram to view this post
VIEW IN TELEGRAM
AI-ассистенты в Yandex Cloud: как нейросеть училась управлять облачной инфраструктурой
На конференции команда Yandex Cloud представила AI-ассистентов, которые помогают формулировать запросы для баз данных через WebSQL на естественном языке, администрировать базы данных YDB, а также размечать метаданные в Data Catalog. Они возьмут на себя значимую долю рутинных задач дата-инженеров. Кроме того, они смогут воспользоваться сервисами YDB даже без большого опыта администрирования баз данных.
На конференции команда Yandex Cloud представила AI-ассистентов, которые помогают формулировать запросы для баз данных через WebSQL на естественном языке, администрировать базы данных YDB, а также размечать метаданные в Data Catalog. Они возьмут на себя значимую долю рутинных задач дата-инженеров. Кроме того, они смогут воспользоваться сервисами YDB даже без большого опыта администрирования баз данных.
PostgreSQL 18 в Yandex Cloud: новые возможности
25 сентября вышло PostgreSQL 18, и сразу же версия стала доступна в Yandex Cloud.
Что изменилось:
⚡️ Async I/O — до 3х быстрее чтение;
📈 Skip scan для b-tree индексов — ускорение выборок по части полей;
🔑 UUIDv7 с временными метками — удобные уникальные идентификаторы.
Читать подробнее.
25 сентября вышло PostgreSQL 18, и сразу же версия стала доступна в Yandex Cloud.
Что изменилось:
⚡️ Async I/O — до 3х быстрее чтение;
📈 Skip scan для b-tree индексов — ускорение выборок по части полей;
🔑 UUIDv7 с временными метками — удобные уникальные идентификаторы.
Читать подробнее.
👍3🔥2❤1
🔥 Ваши данные стоят слишком дорого, чтобы ими рисковать
Positive Technologies 8 октября запустит новый продукт — PT Data Security*. Он создан, чтобы вовремя выявлять угрозы и предотвращать утечки, пока они не привели к кризису.
На онлайн-трансляции вы первыми узнаете:
— Какие задачи и риски сегодня определяют настоящее и будущее рынка защиты данных.
— Какие вызовы стоят перед компаниями на рынке защиты данных.
— Почему Positive Technologies выходит на рынок защиты данных с новым подходом.
🕒 15:00 мск
📍 Онлайн
👉 Регистрация
*Защита данных
Positive Technologies 8 октября запустит новый продукт — PT Data Security*. Он создан, чтобы вовремя выявлять угрозы и предотвращать утечки, пока они не привели к кризису.
На онлайн-трансляции вы первыми узнаете:
— Какие задачи и риски сегодня определяют настоящее и будущее рынка защиты данных.
— Какие вызовы стоят перед компаниями на рынке защиты данных.
— Почему Positive Technologies выходит на рынок защиты данных с новым подходом.
🕒 15:00 мск
📍 Онлайн
👉 Регистрация
*Защита данных
👍1🔥1👏1
Как исходные цели проекта Postgres определили его успех
".. Создатели PostgreSQL справились со своей задачей идеально. Они создали гибкий каркас для широкого спектра сценариев использования в бизнесе системы, которая спустя тридцать лет стала самой популярной СУБД.
В статье перечислены следующие шесть целей проекта:
1. улучшенная поддержка
сложных объектов, расширяющих сценарии использования в бизнесе и разработке
2. обеспечение возможности расширения типов данных, операторов и способов доступа для пользователей
3. предоставление средств для активных баз данных (например, уведомлений и триггеров)
4. упрощение процесса восстановления после сбоев
5. использование преимуществ нового оборудования
6. применение реляционной модели Кодда
Давайте рассмотрим их с точки зрения современных возможностей Postgres."
Читать статью
".. Создатели PostgreSQL справились со своей задачей идеально. Они создали гибкий каркас для широкого спектра сценариев использования в бизнесе системы, которая спустя тридцать лет стала самой популярной СУБД.
В статье перечислены следующие шесть целей проекта:
1. улучшенная поддержка
сложных объектов, расширяющих сценарии использования в бизнесе и разработке
2. обеспечение возможности расширения типов данных, операторов и способов доступа для пользователей
3. предоставление средств для активных баз данных (например, уведомлений и триггеров)
4. упрощение процесса восстановления после сбоев
5. использование преимуществ нового оборудования
6. применение реляционной модели Кодда
Давайте рассмотрим их с точки зрения современных возможностей Postgres."
Читать статью
👍3
Redis и Valkey – изучите секреты самых популярных open source key-value СУБД
В высоко-нагруженных сервисах Redis — не просто кэш, а важная подсистема, на которой строится значимая часть бизнес-логики. От его стабильности, масштабируемости и отказоустойчивости зависит производительность всего сервиса. Valkey - это современный производительный форк Redis с открытым исходным кодом, поддерживаемый сообществом и рядом крупных компаний. Valkey набирает популярность, поддержан крупными облачными провайдерами, и вполне возможно потеснит или вовсе заменит Redis со временем.
Наш курс — для тех, кто хочет держать свой стэк и знания актуальными и глубоко разбираться, как устроен Redis и Valkey.
🌐 В программе курса:
🤩 Как эффективно использовать базовые и продвинутые структуры данных: HyperLogLog, Bitmaps и Bisields, Streams, Geospatial-индексы, Bloom Filters
🤩 Как проектировать in-memory системы, которые не разваливаются под нагрузкой, что влияет на отказоустойчивость и как её добиться
🤩 Как работает репликация и кластеризация на практике (режимы Sentinel и Cluster)
🤩 Как встроить Redis/Valkey в реальный прод с учётом безопасности, интеграций и современных практик мониторинга.
Кто мы: R&D-центр Devhands, основатель школы Алексей Рыбак. Автор курса — Константин Ратвин, преподаватель МФТИ на кафедре БИТ (совместно со СберТех), эксперт по распределённым системам и банковским ИТ, автор курсов по СУБД и инфраструктуре, спикер HighLoad++ и PGConf.
🗓 Старт курса: 7 октября, 6 недель обучения.
Изучить программу и записаться можно здесь.
Ждем вас!
Реклама. ИП Рыбак А.А. ИНН 771407709607 Erid: 2VtzqxNnHTA
В высоко-нагруженных сервисах Redis — не просто кэш, а важная подсистема, на которой строится значимая часть бизнес-логики. От его стабильности, масштабируемости и отказоустойчивости зависит производительность всего сервиса. Valkey - это современный производительный форк Redis с открытым исходным кодом, поддерживаемый сообществом и рядом крупных компаний. Valkey набирает популярность, поддержан крупными облачными провайдерами, и вполне возможно потеснит или вовсе заменит Redis со временем.
Наш курс — для тех, кто хочет держать свой стэк и знания актуальными и глубоко разбираться, как устроен Redis и Valkey.
Кто мы: R&D-центр Devhands, основатель школы Алексей Рыбак. Автор курса — Константин Ратвин, преподаватель МФТИ на кафедре БИТ (совместно со СберТех), эксперт по распределённым системам и банковским ИТ, автор курсов по СУБД и инфраструктуре, спикер HighLoad++ и PGConf.
Изучить программу и записаться можно здесь.
Ждем вас!
Реклама. ИП Рыбак А.А. ИНН 771407709607 Erid: 2VtzqxNnHTA
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥2👍1
PostgreSQL 18: быстрее, умнее, нагляднее
"Каждый новый релиз PostgreSQL — это событие, но 18-я версия выглядит особенно интересно, предлагая фундаментальные улучшения в производительности, значительные удобства для разработчиков и долгожданные доработки в обслуживании и мониторинге. "
Читать статью
"Каждый новый релиз PostgreSQL — это событие, но 18-я версия выглядит особенно интересно, предлагая фундаментальные улучшения в производительности, значительные удобства для разработчиков и долгожданные доработки в обслуживании и мониторинге. "
Читать статью
👍5
Хранение временных данных в PostgreSQL
Временные (промежуточные) данные - те, которые нужны для обработки в течение транзакции, сессии или ограниченное время. После истечения срока такие данные не нужны. Причина использования временных данных в том, что в одном запросе не всегда можно обработать все данные. Логика приложения может предусматривать обработку данных по частям - разными запросами. В статье рассматриваются и сравниваются способы хранения временных данных в:
1) обычных таблицах;
2) нежурналируемых таблицах;
3) материализованных представлениях;
4) временных таблицах;
5) в памяти серверного процесса, используя расширение pg_variables
Читать статью
Временные (промежуточные) данные - те, которые нужны для обработки в течение транзакции, сессии или ограниченное время. После истечения срока такие данные не нужны. Причина использования временных данных в том, что в одном запросе не всегда можно обработать все данные. Логика приложения может предусматривать обработку данных по частям - разными запросами. В статье рассматриваются и сравниваются способы хранения временных данных в:
1) обычных таблицах;
2) нежурналируемых таблицах;
3) материализованных представлениях;
4) временных таблицах;
5) в памяти серверного процесса, используя расширение pg_variables
Читать статью
👍5❤1
PostgreSQL против 10 миллионов записей: оптимизация запросов, которая спасла наш проект
От Автора:
"Наш проект, который успешно работал с несколькими сотнями тысяч записей, перешагнул психологически важный рубеж — 10 миллионов строк в таблице заказов. И PostgreSQL, который раньше летал, внезапно начал ползти как улитка.
Диагноз: почему 10 миллионов — это магия?
Многие думают: «10 миллионов записей — это же немного!». На практике это точка, где:
• Индексы перестают помещаться в оперативную память
• Планировщик запросов начинает выбирать неоптимальные пути
• Простые JOIN'ы превращаются в многоминутные операции"
Читать статью
От Автора:
"Наш проект, который успешно работал с несколькими сотнями тысяч записей, перешагнул психологически важный рубеж — 10 миллионов строк в таблице заказов. И PostgreSQL, который раньше летал, внезапно начал ползти как улитка.
Диагноз: почему 10 миллионов — это магия?
Многие думают: «10 миллионов записей — это же немного!». На практике это точка, где:
• Индексы перестают помещаться в оперативную память
• Планировщик запросов начинает выбирать неоптимальные пути
• Простые JOIN'ы превращаются в многоминутные операции"
Читать статью
👍5
Семантический поиск на Laravel через pgvector
"Обычный полнотекстовый поиск ищет записи, содержащие конкретные слова. Но что если нужно искать по смыслу, а не по точным словам? Например, хочется найти все отзывы о завтраках — это и блинчики, и вафли, и яичница. Ключевое слово «завтрак» напрямую не упоминается в каждом таком отзыве, и даже гибкий поиск по похожим словам («панкейки» vs «панкейк») не поймает все блюда на завтрак. Вы‑то и так понимаете, что блины, овсянка и яйца — это завтрак, но как этому научить поиск?
Решение — использовать векторные эмбеддинги. "
Читать статью
"Обычный полнотекстовый поиск ищет записи, содержащие конкретные слова. Но что если нужно искать по смыслу, а не по точным словам? Например, хочется найти все отзывы о завтраках — это и блинчики, и вафли, и яичница. Ключевое слово «завтрак» напрямую не упоминается в каждом таком отзыве, и даже гибкий поиск по похожим словам («панкейки» vs «панкейк») не поймает все блюда на завтрак. Вы‑то и так понимаете, что блины, овсянка и яйца — это завтрак, но как этому научить поиск?
Решение — использовать векторные эмбеддинги. "
Читать статью
👍3
🚀SQL — устаревший навык или та самая суперсила, которая отличает профи от новичка? 🚀
Есть мнение, что сегодня можно стать айтишником и без глубоких знаний. Инструменты стали удобными, а задачи — типовыми.
Потом мы смотрим на специалистов из VK, которые на собеседованиях задают джунам сложные, а иногда и каверзные вопросы о базах данных. И платят за эти знания огромные деньги. В чем же их главный секрет?
Разобраться в этом нам поможет Влад, Tech Lead из VK, который прошел путь от бэкенд-разработчика в Кемерово до руководителя, запускающего AI-платформы для миллионов пользователей.
Влад лично разберет: свои первые проекты и типичные ошибки новичков, как понимание баз данных помогло ему пройти путь от новичка бэкенд-разработчика до руководителя за 5 лет, ключевые решения в работе с данными, которые стали поворотными в карьере, и какие знания о базах данных были наиболее востребованы на каждом этапе карьерного роста.
Кафедра Goodline приглашает на экспертный бесплатный вебинар, где мы отбросим мифы и поговорим о сути.
Будем говорить по делу, разбирать кейсы и давать практические инсайты, которые можно применить уже на следующий день.
Почему стоит записаться на вебинар:
1)Спикеры — не теоретики, а практики: Мария Романова (20+ лет в IT) и Владислав Невзоров (Tech Lead в VK) делятся опытом с реальных проектов.
2)Актуальная повестка: Обсудим, что изменилось с приходом нейросетей и что важно знать прямо сейчас.
3) Проверенная школа: Кафедра Goodline работает с 2016 года и сама находится в сердце IT-кластера. Наши выпускники работают в ведущих компаниях.
➡️ 👉 Переходи по ссылке, чтобы зарегистрироваться и не пропустить!
Когда: 13 октября, 12:00 по МСК
Формат: 90 минут живого общения + ответы на ваши вопросы
Регистрируйтесь на бесплатный вебинар по ссылке
#ВебинарБазыДанных #Goodline #БазыДанных #ITОбразование #Нейросети #Аналитика #Разработка
Реклама. ООО "Е-Лайт-Телеком" ИНН 4205025388 Erid:
2VtzqvJuRPj
Есть мнение, что сегодня можно стать айтишником и без глубоких знаний. Инструменты стали удобными, а задачи — типовыми.
Потом мы смотрим на специалистов из VK, которые на собеседованиях задают джунам сложные, а иногда и каверзные вопросы о базах данных. И платят за эти знания огромные деньги. В чем же их главный секрет?
Разобраться в этом нам поможет Влад, Tech Lead из VK, который прошел путь от бэкенд-разработчика в Кемерово до руководителя, запускающего AI-платформы для миллионов пользователей.
Влад лично разберет: свои первые проекты и типичные ошибки новичков, как понимание баз данных помогло ему пройти путь от новичка бэкенд-разработчика до руководителя за 5 лет, ключевые решения в работе с данными, которые стали поворотными в карьере, и какие знания о базах данных были наиболее востребованы на каждом этапе карьерного роста.
Кафедра Goodline приглашает на экспертный бесплатный вебинар, где мы отбросим мифы и поговорим о сути.
Будем говорить по делу, разбирать кейсы и давать практические инсайты, которые можно применить уже на следующий день.
Почему стоит записаться на вебинар:
1)Спикеры — не теоретики, а практики: Мария Романова (20+ лет в IT) и Владислав Невзоров (Tech Lead в VK) делятся опытом с реальных проектов.
2)Актуальная повестка: Обсудим, что изменилось с приходом нейросетей и что важно знать прямо сейчас.
3) Проверенная школа: Кафедра Goodline работает с 2016 года и сама находится в сердце IT-кластера. Наши выпускники работают в ведущих компаниях.
➡️ 👉 Переходи по ссылке, чтобы зарегистрироваться и не пропустить!
Когда: 13 октября, 12:00 по МСК
Формат: 90 минут живого общения + ответы на ваши вопросы
Регистрируйтесь на бесплатный вебинар по ссылке
#ВебинарБазыДанных #Goodline #БазыДанных #ITОбразование #Нейросети #Аналитика #Разработка
Реклама. ООО "Е-Лайт-Телеком" ИНН 4205025388 Erid:
2VtzqvJuRPj
❤3
Мониторинг истории активных сессий в базах данных
"История активных сессий (Active Session History, ASH) — очень удобный способ получения информации о работе БД в кратком виде. Когда важно максимально быстро отследить, что происходит с системой в настоящее время, оценить развитие текущей ситуации — это рабочая активность или начало каких‑либо проблем — в том числе, через быстрый просмотр baselines в недавнем прошлом системы и сравнить их с текущими данными."
Читать статью
"История активных сессий (Active Session History, ASH) — очень удобный способ получения информации о работе БД в кратком виде. Когда важно максимально быстро отследить, что происходит с системой в настоящее время, оценить развитие текущей ситуации — это рабочая активность или начало каких‑либо проблем — в том числе, через быстрый просмотр baselines в недавнем прошлом системы и сравнить их с текущими данными."
Читать статью
👍3
IT_ONE Cup. Code & Analyst — хакатон для аналитиков и разработчиков, где ты узнаешь, как работает IT-команда, и получишь сильный кейс в портфолио. Выбери трек и реши одну из задач:
→ Проанализируй BPMN-модель кредитного процесса и подготовь ТЗ на систему мониторинга эффективности.
→ Разработай сервис, который в реальном времени следит за переводами и оповещает о подозрительных операциях.
🏆 Призовой фонд: 900 000 рублей
💻 Формат: онлайн
🗓 Регистрация до 16 октября: https://cnrlink.com/itonecupmsudbinit
Приглашаем системных аналитиков, разработчиков и менеджеров проектов. Размер команды — от 1 до 5 человек.
Что тебя ждёт:
• Применишь навыки системного анализа, построения архитектуры и работы с потоковыми данными.
• Получишь готовый проект в портфолио.
• Для участников ТОП-5 команд в каждом треке — фирменный мерч.
Задачи соревнования:
Трек 1. Навигатор оптимизации. Проанализируй кредитный процесс банка, выяви узкие места и создай ТЗ для системы мониторинга производительности. Решение поможет оптимизировать критически важные процессы.
Трек 2. Финансовый радар. Разработай сервис для анализа транзакций в реальном времени. Архитектура должна включать правила обнаружения мошенничества и поддержку различных алгоритмов обработки.
Ждём тебя на IT_ONE Cup. Code & Analyst — старт 17 октября на Codenrock: https://cnrlink.com/itonecupmsudbinit
→ Проанализируй BPMN-модель кредитного процесса и подготовь ТЗ на систему мониторинга эффективности.
→ Разработай сервис, который в реальном времени следит за переводами и оповещает о подозрительных операциях.
💻 Формат: онлайн
Приглашаем системных аналитиков, разработчиков и менеджеров проектов. Размер команды — от 1 до 5 человек.
Что тебя ждёт:
• Применишь навыки системного анализа, построения архитектуры и работы с потоковыми данными.
• Получишь готовый проект в портфолио.
• Для участников ТОП-5 команд в каждом треке — фирменный мерч.
Задачи соревнования:
Трек 1. Навигатор оптимизации. Проанализируй кредитный процесс банка, выяви узкие места и создай ТЗ для системы мониторинга производительности. Решение поможет оптимизировать критически важные процессы.
Трек 2. Финансовый радар. Разработай сервис для анализа транзакций в реальном времени. Архитектура должна включать правила обнаружения мошенничества и поддержку различных алгоритмов обработки.
Ждём тебя на IT_ONE Cup. Code & Analyst — старт 17 октября на Codenrock: https://cnrlink.com/itonecupmsudbinit
Please open Telegram to view this post
VIEW IN TELEGRAM