〰 Нейрорепортинг Claude + MCP и технологические тренды в IT

Продолжаю погружаться в Generative BI (GenBI) и эксперименты с подключением нейросетей к базам данных. В VILKY (анализ IT вакансий) пробуем строить PDF и HTML-репорты при помощи AI+MCP и отправлять их в tg-канал. Такой формат мы назвали «нейрорепортинг». Расскажу про опыт построения HTML c графиками.

Последний эксперимент - анализ технологических трендов в IT за 11 лет на базе 127000+ вакансий Habr Career (2015–2025).

Как это выглядело
Промт:

Подключись к базе данных вакансий по MCP, таблица vacancies_habr и проведи анализ того какие навыки (skills) устарели а какие выросли.

В навыках - только харды: языки программирования, инструменты, библиотеки и т.п.. Claude cразу сделал в HTML:

〰 Cделал 10 SQL-запросов для изучения структуры таблицы и запуска анализа.
〰 Сравнил частотность навыков в начале периода (2015–2018) и в конце (2021–2024).
〰 Ввел коэффициенты (0.3; 0.6) для "устаревших" и "устаревающих" навыков.
〰 Построил топ устаревающих и топ растущих навыков.

Следующий шаг:
Добавил поправку на общее число вакансий по годам → ещё 7 SQL-запросов. Появилось новое понятие - "глубина проникновения навыка" (отношение числа вакансий с этим скиллом к общему числу вакансий).
Дальше подключили поиск навыков в описаниях - цифры слегка скорректировались.

〰 Проблемы с отчётом
Сам анализ работает, но при оформлении HTML оказалось всё сложнее:
🟢 отчёт может отрисоваться некорректно,
🟢 графики ломаются или все линии делает одного цвета,
🟢 порядок блоков меняется,
🟢 добавление мелочей рушит готовый HTML.

В какой-то момент даже закончилось контекстное окно у Claude 〰

Выводы
🟢 За логикой SQL-запросов надо следить и исправлять, если неточно.
🟢 Нужны шаблоны отчётов, если хотим одинаковый формат.
🟢 Лучше сразу формулировать большой промт с точными требованиями к структуре.
🟢 Анализ на большом массиве данных будет всегда поверхностным.
🟢 С визуализацией пока много ограничений.
🟢 Для продовых дашбордов подход ещё сырой, но для ad-hoc исследований уже работает.
🟢 Проверять выводы надо обязательно.

В итоге, последнюю версию HTML можно найти в комментариях. Как получилось с первой попытки 〰.
PDF-репорт тоже в комментариях, делал в другом чате.
Можете оценить что вышло.

В конце Claude гордо подписал отчёт:
"Исследование провел AI-аналитик Claude"

Спасибо ему за это!

@data_bar

〰 Метрики 100 телеграм-каналов про аналитику

Телеграм-канал - это продукт, который живёт и меняется каждый день. Чтобы понимать, где можно улучшить, метрики нужно регулярно мониторить. На этой неделе я шаг за шагом покажу, как собирать и визуализировать метрики TG-каналов. Допустим, надо оценить эффективность своего канала - для этого нужны метрики моего и смежных по теме.

Основной источник данных TGStat, там уже придумана система метрик и есть сводная аналитика за последние 30 дней. Раньше рассказывал, как собрал список каналов, выложил датасет на Kaggle и визуализировал его. Обещал отдельно разобрать метрики, время пришло.

〰 Итерация 1. Взгляд сверху (Helicopter View)

Пока непонятно, где мой канал находится в инфополе аналитики. Поэтому сначала собрал крупные и известные каналы по теме. "NewHR" проводили опрос аналитиков, какие каналы они читают - там весь топ (ссылка на таблицу). Большую часть взял оттуда, добавил новые.

Критерии отбора:
〰 1000 более подписчиков
〰 канал есть в TGStat

В итоге сейчас 100 каналов про анализ данных. Из TGStat выгрузил дневные метрики за 30 дней и усреднённые значения по всем 100 каналам. Где-то данных не хватает, значит, канал ещё не добавлен в трекинг. Заодно скриптом собрал логотипы и вырезал круглые аватарки. Парсер и скрипты — вайбкодинг.

〰 Дашборд

Чтобы понять, что в данных, собрал дашборд (кликабельно, с фильтрами по каналам):

〰. Диаграмма Beeswarm - все каналы на одной временной оси по дате создания.
Круги раздвинуты, чтобы не перекрывались. Размер круга - число подписчиков на последний день. Видно и распределение по возрасту, и масштаб каналов, и каждый канал отдельно. Делал в инструменте LaDataViz, откуда забрал готовые координаты.
〰. Тренды ключевых метрик за последние 30 дней для быстрого чтения динамики.
〰. Scatter Plot (диаграмма разброса). На осях X/Y можно выбирать любые метрики и смотреть позиции каналов. Можно визуально найти заметить закономерности и кластеры. Scatter Plot хорошо показывает выбросы. Можно быстро найти аномалии, понять, что с ними происходит, и увидеть, где на этом фоне ваш канал.
〰. Рейтинги каналов. Рейтинги по выбранной метрике.

Набор метрик:
〰 Подписчики
〰 Посты
〰 Индекс цитирования
〰 Охват 1 поста
〰 Рекламный охват 1 поста
〰 Вовлечённость подписчиков (ER)
〰 Прирост подписчиков за 30 дней
〰 Прирост подписчиков, % за 30 дней
〰 Доля Premium-подписчиков, %
〰〰 Комментарии (среднее)
〰〰 Возраст канала, дней
〰〰 Репосты
〰〰 ERR - доля подписчиков, читающих посты, %
〰〰 ERR 24 - то же за первые сутки, %

Каналов много, и они очень разные по поведению аудитории и метрикам. С дашбордом можно одним взглядом увидеть "карту местности" или сфокусироваться на отдельных каналах.

💚 Канал @data_bar - первый по доле Premium-пользователей (43,8%). Сам не ожидал, но приятно.

〰 Дальше - Итерация 2. Углубимся в интерпретацию метрик и сравнение каналов.

Спасибо, что читаете!

@data_bar 🍀

〰 Как сооснователи IT компаний находят друг друга

У "a16z speedrun" вышла любопытная статья о том как встретились кофаундеры известных компаний.

Статистика по данным 40 тех компаний:
〰 Одноклассники / однокурсники - 16 (40%)
〰 Коллеги - 13 (32,5%)
〰 Друзья друзей - 6 (15%)
〰 Семья - 3 (7,5%)
〰 Хакатоны - 2 (5%)

65% стартапов умирают из-за конфликтов основателей, согласно Noam Wasserman - автору "The Founder's Dilemmas". Поэтому, поиск кофаундера критичен, и процесс этот сложный. В статье призывают одновременно контактировать с несколькими потенциальными партнёрами.

Советы по поиску:
〰Ищите сооснователей заранее, ещё до запуска стартапа
〰Параллельно общайтесь с 3–5 кандидатами
〰Тестируйте совместимость на небольших пет-проектах
〰Всегда собирайте и проверяйте рекомендации

В общем, поиск кофаундера - целая стратегия, а не спонтанный процесс. И, как в случае со свиданиями или собесами, нужно время и несколько попыток.

@data_bar

LLM-диалог с Tableau Server/Cloud

Энтузиасты подключили LLM к серверу и облаку Tableau. Ладно, не совсем энтузиасты, а большой интегратор с милионными контрактами. Сути это не меняет, давайте смотреть что получилось.

〰 Основная статья "Start Building AI Applications with The Tableau MCP Starter Kit" . Там же можно найти видео с разбором от Will Sutton (победитель IronViz 2022).

На гитхабe: "Tableau MCP Starter Kit". Можно пробовать подключить нейросети к серверу или облаку.

Логика использования для пользователя - та же, что я описывал в нескольких постах: одно диалоговое окно, куда пишем промты. Всё подключается к любым источникам по протоколам MCP. Реализовать интерфейс можно по-разному:
〰. Подключение через Claude Desktop (про это я рассказывал - делаем так же).
〰. Подключение через VSCode
〰. Веб-приложение
〰. Tableau Extention. Диалоговое окно встраивается в дашборд

Как это работает:
〰. Находит нужный источник данных
〰. Читает его описание и поля
〰. Выполняет SQL-запрос
〰. Возвращает результат в удобном виде

В случае с Tableau подключаемся к опубликованным источникам данных, либо к внутренней базе данных.

В схеме ещё есть LangChain - фреймворк для работы с LLM. Он оркестрирует запросы разных инструментов и хранит контекст.

Типы источников:
〰. Источники на сервере обычно проверены и сертифицированы, там бизнес-данные разложены в максимально удобном виде для пользователя.
〰. Внутренняя база данных (PostgreSQL) хранит инфо о внутренниз событиях сервера (просмотры дашбордов, расписания экстрактов и ещё много всего).

Предлагаемые сценарии:
〰. Чат-бот для аналитики
〰. Проверка соответствия дашбордов style-guide
〰. Мониторинг активности пользователей
〰. Автоматические ad-hoc отчёты

Разделение прав юзеров по PAT (personal access token). Это аналог личных кредов, только токены лучше с точки зрения безопасности. Ещё говорят что любую нейронку можно подключить.

В сценарии входят те же задачи, которые лидеры рынка стараются отдать нейронкам:
〰. Навигация по серверу (поиск воркбуков, источников данных, метрик и т. п.)
〰. Эдхоки. Разовые несложные запросы. Обычно достаточно одного SQL запроса для заказчика

Направление перспективное. Если есть сервер, который не жалко, можно пробовать и превратить его в Tableau AI. Сам SDK - open-source, но Information Lab явно будет продавать услуги по внедрению и консалтингу.

@data_bar 🍀

Карта головного мозга и связь анатомии с алгоритмами

MICrONS - масштабный проект, объединивший анатомическую и функциональную информацию о головном мозге мыши. Проект описан в научном журнале Nature, "The MICrONS Project".

Человечество до сих пор не понимает, как работает мозг человека, но исследования постепенно двигаются в сторону расширения наших знаний.

💚 В проекте просто сумасшедшие визуализации сетевой структуры мозга млекопитающего.

Цель проекта - связать анатомию с функцией и понять алгоритмы коры головного мозга.

Исходные данные:
〰200 000 клеток и 523 миллиона синаптических связей
〰Функциональные данные для 75 000 нейронов
Это всё - в одном кубическом миллиметре мозга мыши.

Полная реконструкция кубического миллиметра нейронов требует порядка петабайта данных. Трассировка сложных ветвлений нейронов вручную - почти нереальная задача, поэтому использовали усовершенствованные инструменты. Параллелизм операций вычислительной техники, рост мощности компьютеров, прорывы в машинном обучении и искусственном интеллекте сделали такие задачи решаемыми.

В проекте применяли алгоритмы машинного обучения для задач трассировки нейронов - этот как раз и позволило сделать карту мозга. А ещё было несколько команд для работы с данными, поэтому создали свою систему версионирования для работы с данными.

В коре головного мозга может быть около 90 типов нейронов, их можно классифицировать.

В процессе работы над проектом составили "атлас тормозных связей" (atlas of inhibitory connections). Впервые удалось напрямую сопоставить генетически определённые типы клеток с их связями, пока только для части категорий.

Такой синтез исследователей, аналитиков, данных и алгоритмов позволил продвинуться в разных направлениях :

〰. Наука. Впервые получены возможности изучения алгоритмов коры головного мозга и понимание как структура превращается в функцию.
〰. ИИ. Биологически вдохновлённые архитектуры (например, выборочные тормозные связи) могут подсказать новые подходы к искусственному интеллекту и нейроморфным вычислениям.
〰. Медицина. Понимание того, как связи между клетками формируются и нарушаются. Это критично для исследования аутизма, шизофрении и других болезней мозга.

Более подробно с объяснениями, ссылками на github и визуализациями здесь. Там ещё есть интерактивная 3D визуализация карты коры головного мозга. Галерея визуализаций.

MICrONS - масштабный проект, задействующий исследователей из разных областей. Обратите внимание как красиво описания, выводы и визуализации преподносит Nature на интерактивной странице проекта - это намного ближе обычному человеку, чем стандартные научные статьи, ссылки на которые можете найти там же.

@data_bar 🍀

Анимация рельефа как Data Art

Изогипсы (Elevation Lines) - линии равной высоты. Они знакомы всем, кто видел топографические карты. Но такие карты часто перегружены деталями, и понять рельеф с первого взгляда непросто.

Я решил посмотреть как это работает в динамике и сделать видео, добавляя такие контуры в каждом кадре.

Делал в Tableau:
〰. Взял открытые данные с контурами (например, остров Оаху, Гавайи, шаг 20 футов),
〰. Построил elevation lines прямо в Tableau,
〰. Высоту закодировал цветом. Появился эффект объёмного рельефа,
〰. Можно отфильтровать только нужные уровни высоты.
〰. Добавил анимацию, сохранив все кадры в mp4.

В итоге простые линии превращаются в живую визуализацию. На Reddit в dataisbeautiful эта анимация собрала больше 15k апвотов и сотни комментариев. Можно отметить что каждый видит твоё: кто-то видит замерзание льда, кто-то - чернила, а кто-то - листья. Визуализация передаёт и информацию и эстетику.

Карты высот - пример того, как сложные геоданные можно превратить в понятный и красивый сторителлинг. У меня в визуализации даже текста нет, но он и не нужен.

Создаются такие вещи просто, минут за 10. shp файлы загружаются в Tableau. Всё подробно описано в блоге "Карты высот и глубин в Tableau". Правда, надо ещё найти хорошие геоданные.

📶 Сама визуализация "Hawaii Elevation".

Проникновение AI в BI и аналитику в отчёте Anthropic

Компания Anthropic, создатель Claude выпустила пару дней назад объёмный отчёт о внедрении ИИ. Посмотрим на его часть "Explore by job" - проникновение ИИ в отдельные специальности. Athropic провёл анализ запросов к Calude, разбил их на специальности и типы задач внутри каждой специальности.

Отдельного интереса заслуживают аналитики. Специальностей со словом "аналитик"(Analyst) всего 16.

Все задачи делятся на 3 типа:
〰Mostly automated tasks - задачи, которые выполняются в основном автоматически(почти полностью делегированы AI).
〰Mostly augmented tasks - задачи, где человек остаётся главным исполнителем, а ИИ дополняет и ускоряет работу.
〰Tasks that don't appear in our data - задачи, которые не были зафиксированы в запросах к ИИ.

Если коротко: Automation - Claude делает за тебя, Augmentation - Claude работает вместе с тобой.

Business Intelligence Analyst есть на диаграмме. 0,26% всех запросов связаны с задачами BI.
Рассмотрим какие задачи BI передаются AI, а какие - нет.

〰Почти полностью делегируются AI (Mostly automated):
〰Ведение типовых документов
〰Создание BI инструментов и систем
〰Генерация стандартных и кастомных отчётов
〰Сбор бизнес данных с публичных отчётов

〰AI помогает делать задачи (Mostly augmented):
〰Анализ рыночных стратегий
〰Анализ технологических трендов
〰Подготовка данных для рекомендаций
〰Анализ индустриальных или географических трендов
〰Распространение информации об инструментах или метаданных

〰AI не используется:
〰Коммуникация со стейкхолдерами
〰Технические требования
〰Управление потоком задачи
〰Оперативное предоставлением BI-информации пользователям
〰Проведение тестов на соответствие требованиям
〰Мониторинг бизнес-пользователей, использующих BI
〰Создание и ревью технической проектной документации
〰Поддержка и обновление BI

В каждом типе задач есть паттерны взаимодействия пользователя с AI.

Паттерны Mostly automated, нацеленные на завершение задач:
〰Directive (директивный). Пользователь даёт Claude задачу, и он выполняет её с минимальным количеством уточнений.
〰Feedback Loops (обратная связб). Пользователь автоматизирует задачи и даёт Claude обратную связь.

Помощь (Mostly augmented) фокусируется на паттернах взаимодействия:
〰Learning (обучение. Пользователь спрашивает Claude информацию или объяснения по разным темам.
〰Task Iteration (итерация задач). Пользователь совместно с Claude поэтапно дорабатывает задачи.
〰Validation (валидация). Пользователь просит Claude дать обратную связь на его работу.

Паттерны можно увидеть во всплывающих окнах.

Любому аналитику полезно знать, какие задачи уже почти полностью передаются AI, а какие-нет. Знание этого даёт стратегическое преимущество и понимание, куда направлять усилия и как выстраивать свою роль в новой экосистеме работы с AI.

@data_bar 🍀

Подключаем Claude по MCP к базе данных на домашнем компьютере

Написал туториал на Хабре как подключить нейросети Claude к базе данных на локальной машине.
Можно общаться с данными через LLM.

В туториале:

〰. Разворачивание PostgreSQL и MCP-сервера в докере
〰. DBeaver и настройка коннекта к базе
〰. Наполнение таблиц в БД. Для примера - все вакансии Habrcareer
〰. Подключение Claude к базе данных
〰 Примеры использования: генерация инсайтов и репортов по промтам

Делаем всё это в рамках LLM-анализа данных проекта VILKY.

RAG здесь не нужен - LLM получает полный доступ к данным напрямую из базы. Благодаря однозначным названиям полей таблиц Claude сразу понимает структуру и работает с ней без дополнительных пояснений.

Вы просто разговариваете со своими данными.

@data_bar 🍀

В ChatGPT завезли MCP-коннекты

То что ждали долго (некоторые пользователи), наконец-то произошло. OpenAI неделю назад в ChatGPT добавил возможность подключения разных сервисов по MCP. Доступно только для подписок Plus и Pro. Пока - бета версия. Всё работает в вебе. Можно подключать несколько источников .

Как подключить?
В настройках:
〰. Включить режим разработчика (Настройки - Коннекторы - Дополнительные настройки)
〰. Настроить коннектор (Настройки - Коннекторы - Создать)

Аутентификация - только OAuth. Адрес MCP-сервера - только URL, с локальным сервером не работает.

Раздел на OpenAI Developer Community c этой новостью.
Там видео есть как подключать внешние источники и работать с ними.

И в X комменты можно почитать к их посту.

В общем, всё! OpenAI официально поддерживает протокол MCP. Надо пробовать.

@data_bar 🍀

Здания из диаграмм

Все знают классические столбиковые диаграммы - bar charts. Попробуем взглянуть на них иначе. На картинке выше - известные небоскрёбы. Каждое здание - это диаграмма.

Я взял трёхмерные модели небоскрёбов и извлёк координаты каждой вершины. Затем загрузил их в Tableau. И построил bar charts, только нестандартные. От основания здания к каждой точке восходит полупрозрачный столбец, создающий объёмный эффект. Само здание отображается в проекции. Визуализации можно вращать и бары автоматически перестраиваются. В каждом здании - от 11000 до 57000 баров. Высота кодируется цветом.

Иными словами - строим диаграммы, а на выходе получаем архитектурные формы. Диаграммы при этом несут смысл - они отражают высоту. Ось в метрах помогает читать высоты зданий.

〰 Визуализация

@data_bar 🍀

Топография баскетбола

Начинается баскетбольный сезон. Cегодня идём на первую игру "Уникса". 🏀

С тех пор как на горизонте засияла звезда Майкла Джордана, манера игры в НБА сильно изменилась. Броски постепенно сместились за дугу трёхочковой линии, а вместе с ними изменилась и тактика. Там где раньше игроки рвали оборону и прорывались к кольцу, сегодня чаще бросают издалека. Зрелищность поблекла, но игра стала более расчётливой.

Об этом много пишет журналист ESPN Кирк Голдсберри:
Статья 1, Статья 2

Именно у него я впервые увидел визуализацию Tanaka Contours. Этот метод - разновидность контурной диаграммы (Contour Plot), но с объёмным эффектом: каждый контур отбрасывает тень, и чем их больше, тем выше плотность события.

Интересно, что Tanaka Contours придумал профессор Кичиро Танака ещё в 1950-м, чтобы показывать рельеф на картах.

Я тоже решил перенести этот приём в баскетбол и построил визуализацию плотности бросков разных игроков. Рассматривал броски в радиусе восьми футов от кольца. Контуры рассчитал в Python (Seaborn, Matplotlib) методом kernel density estimation. В визуализации можно регулировать степень "трёхмерности" и при желании, свести всё к стандартным Contour Plot.

Подробно расписал как делать в статье "Contour Plots и оценка плотности событий в Tableau".

Особенно нравится в этой истории то, что одна картинка сразу показывает стиль конкретного баскетболиста. Сравните Шакила О’Нила с другими игроками или Джордана с Харденом. Оба - выдающиеся бомбардиры, но играли абсолютно по-разному.

На Reddit кто-то шутил, что такие графики похожи на рентген мозга 🙂

🖼 Визуализация 'NBA Hot Spots'

@data_bar 🍀

Стартует детский конкурс по визуализации данных. Участники - ребята от 6 до 11 лет и их родители. Буду в составе жюри первого всероссийского конкурса по визуализации данных для детей. Конкурс полностью бесплатный.

Участников ждут:
〰 крутые подарки - iPad, LEGO и ещё много всего классного
〰 обучающие эфиры, где диаграмму можно построить из игрушек или конфет
〰 бонусы каждому ребёнку

Работа с данными - один из ключевых навыков будущего. Конкурс - отличный способ показать детям, что работа с данными - это игра и творчество.

🍀 Регистрация

🍀 Канал конкурса