Компоненты корпоративной AI-LLM платформы застройщика Sminex — о них рассказал Павел Осипов, руководитель группы развития BI в компании, на прошедшем BIM ПросветеLLM-моделиИх запускают с платформы
Ollama — используют deepseek, Gemma 3, LLAMA.
UI для взаимодействияOpenWebUI — интерфейс настройки, управления и тестирования моделей, обеспечивающий удобную работу с системой.
Интеграция с сервисами Atlassian⚫️AI Analytics for Jira — для аналитики по задачам, помогает выявлять паттерны и оптимизировать процессы.
⚫️AI Issue Breakdown for Jira — для автоматического разбора и классификации проблем из Jira.
⚫️AI Issue Analytics for Confluence — для анализа контента и вопросов в Confluence с помощью AI для улучшения документации и коммуникации.
Инструменты для мониторинга и аналитики⚫️Langfuse — это опенсорс-платформа для мониторинга и улучшения LLM-приложений. Она показывает, как запросы проходят через модели, где возникают задержки или ошибки, помогает отслеживать эффективность и находит узкие места в работе системы. Langfuse облегчает настройку сложных цепочек действий в LLM-приложениях и обеспечивает подробные метрики и трассировки для отладки и оптимизации.
⚫️Grafana позволяет создать единый дашборд для визуализации ключевых метрик — производительности, ошибок, времени отклика и других параметров модели и инфраструктуры. В том числе поддерживается расширение с LLM плагином для работы с языковыми моделями прямо в интерфейсе мониторинга.
