Наблюдаемость LLM

Одних логов недостаточно

Обычное веб-приложение ломается громко: ошибка 500, трассировка стека, оповещение. Приложение на LLM ломается тихо. Запрос возвращает 200, пользователь получает ответ — неверный, выдуманный или в десять раз дороже, чем нужно. Ничего не падает; просто качество проседает. Поэтому функциям ИИ нужна наблюдаемость сверх обычных логов.

По каждому запросу нужно уметь ответить на три вопроса:

• Что именно видела модель? Полный промпт, системное сообщение, найденные фрагменты, результаты инструментов. Когда результат плох, причину обычно объясняет вход.
• Сколько это стоило и сколько времени заняло? Токены на входе, токены на выходе, какая модель, общая задержка — сколько ждал пользователь. Затраты прячутся в повторных попытках и длинных контекстах.
• Сработало ли это? «Палец вниз» от пользователя, повторная попытка, брошенная сессия — всё это тревожные звоночки: что-то пошло не так.

Слова, которые вы встретите

Один запрос шаг за шагом

Пройдитесь по запросу к ассистенту поддержки, где есть RAG-поиск и вызов инструмента, и посмотрите, что логировать на каждом шаге:

У каждого шага своя строка лога, или спан, и каждый спан несёт один и тот же trace ID. Собранные вместе, эти спаны образуют трейс.

Простыми словами: трейс — это дневник одного запроса. Каждый шаг записан по порядку и подшит под одним номером — как на странице отслеживания посылки. Только вместо «прибыла на склад» вы видите «найдено 3 документа», «отправлено 1 240 токенов в gpt-4o-mini», «вызван API возвратов», «ответ за 2,4 с, стоимость $0,0031». Когда пользователь жалуется, достаточно открыть трейс: весь запрос перед глазами — что нашли, что подали в промпт, что вернулось и сколько это стоило.

Трассировка, мониторинг, контроль затрат

Трассировка — это подробная запись, описанная выше: каждый запрос разложен на шаги — промпт, модель, инструменты, токены, стоимость, задержка — и сшит воедино trace ID. Это ваш инструмент отладки: один запрос за раз, во всех подробностях. Когда качество падает, вы смотрите трейсы плохих сессий и находите закономерность: поиск начал возвращать нерелевантные фрагменты или правка промпта удвоила число токенов.

Мониторинг в реальной эксплуатации — это сводный взгляд: все ваши трейсы сразу, превращённые в графики — доля ошибок, перцентили задержки, доля «пальцев вниз», аномалии длины вывода. Это ваша пожарная сигнализация: на графике вы заметите, что «бот стал хуже», на три дня раньше, чем вам об этом напишет пользователь.

Мониторинг стоимости и задержки заслуживает отдельной строки на дашборде, потому что экономика LLM беспощадна: промпт, который незаметно вырос с 800 до 8 000 токенов, умножает ваш счёт, а смена модели может удвоить задержку. Следите за стоимостью запроса, функции и когорты пользователей.

Инструменты

LangSmith — от команды LangChain. Глубокая трассировка со встроенными прогонами по наборам данных и функциями оценки. Самый полный вариант, если вы в экосистеме LangChain; работает и отдельно, но устроен «по лекалам» LangChain.

Langfuse — с открытым кодом, можно развернуть у себя, не привязан к модели. Трассировка, учёт стоимости, управление промптами, оценки. Выбор по умолчанию, если вы хотите, чтобы ваши данные телеметрии оставались вашими, и не хотите привязки к LangChain.

Helicone — работает как прокси между вашим приложением и API модели. Логирование добавляется почти даром: достаточно поменять один URL. Отлично подходит для аналитики затрат и кэширования; трассировка на уровне приложения у него менее глубокая, чем у Langfuse.

Arize AI — тяжеловес, выросший из наблюдаемости ML: обнаружение дрейфа, анализ эмбеддингов, онлайн-оценки на больших объёмах. Окупается в больших командах, для которых LLM — часть более широкой ML-платформы; для первой функции ИИ избыточен.

Что инструментировать в первый день

Всё сразу не нужно. По убыванию пользы на минуту работы:

1. Один trace ID на запрос, проведённый через каждый шаг. Без него у вас логи, а не трейс.
2. Полный промпт и полный вывод. Две вещи, которые вы будете искать в каждом инциденте.
3. Имя и версия модели, число токенов, стоимость, задержка. Четыре числа, которые превращают «кажется, медленно и дорого» в аргумент с графиком.
4. Детали поиска — какие документы использованы и с какими оценками. Большинство ошибок качества — это ошибки поиска в маскарадном костюме.
5. Обратная связь — «палец вверх», «палец вниз», эскалации. Именно она превращает трейсы в оценки качества.

Попробуйте: инструментируйте один запрос

Обвязку не обязательно писать вручную. Отдайте этот промпт вашему агенту для кода — он подключит трассировку к одному эндпоинту и покажет, куда смотреть:

Добавь трассировку к вызову LLM в этом проекте, только для одного эндпоинта.

ЧТО НУЖНО ЛОГИРОВАТЬ для каждого запроса без исключения:
1. Trace ID, который создаётся в начале и прикрепляется к каждому шагу.
2. Итоговый промпт, который мы отправили (полным текстом), и полный полученный вывод.
3. Имя и версия модели.
4. Токены на входе, токены на выходе, стоимость в центах, задержка в миллисекундах.
5. Все вызовы инструментов: имя, аргументы, сырой ответ.

ПРАВИЛА:
- Не логируй ключи API, пароли и всё, что похоже на персональные данные.
Вычищай их перед записью.
- Объясни простым языком, где я смогу увидеть трейсы при локальном запуске, и дай
одну команду, чтобы их открыть.
- Делай изменение как можно меньше: один эндпоинт, по возможности один файл.
- Когда закончишь, расскажи мне в двух предложениях, что логируется, а что нет.

Проверьте себя

Что унести с собой

Четыре хода — в таком порядке:

1. Выберите один инструмент и инструментируйте один запрос сегодня. Не всё приложение — один эндпоинт. Вы хотите увидеть один трейс на экране до обеда.
2. Убедитесь, что trace ID проходит через каждый шаг. Нет ID — нет трейса, нет отладки.
3. Выведите стоимость и задержку на дашборд с первого дня. Это два числа, которые незаметно удваиваются.
4. Свяжите обратную связь с трейсами. «Палец вниз» с trace ID — зародыш вашего первого золотого набора данных.

Привычка: когда что-то выглядит неправильно, откройте трейс, прежде чем менять промпт. Гадать дороже, чем смотреть.