Когда ИИ помогает, а когда нет: чего ждать от его ответов

Почему это важно: ИИ бросают по двум противоположным причинам: он один раз подвёл — или ему поверили во всём. Обе ошибки объясняются одним и тем же: нет карты, на которой видно, где ИИ силён, а где ошибается. Дальше — эта карта.

Модель в одном предложении

ИИ — очень начитанный и способный помощник, у которого есть три пробела: он сам ничего не делает в реальном мире, не знает, что происходит вокруг сейчас, и не стесняется угадывать, когда не знает ответа. При этом он прочитал огромный объём текстов, пишет складно и не устаёт — и время от времени с полной уверенностью выдаёт выдумку. Держите в голове обе половины, и ожидания будут верными.

Где ИИ помогает

• Черновики чего угодно — письма, приглашения, посты, тексты выступлений. Править хороший черновик быстрее, чем писать плохой текст с нуля.
• Понимание — объяснения, разбор документов, «что означает это письмо из налоговой».
• Порядок из хаоса — голосовые заметки превращаются в план, беспорядочный список — в таблицу.
• Партнёр для тренировки — подготовка к собеседованию, практика в языке, «найди слабые места в моих аргументах».
• Перевод и тон — подобрать нужные слова на языке, которым вы владеете хуже.

Где ИИ ошибается

• Факты, где ошибка дорого стоит. Законы, медицина, налоги, официальные требования. Он может ответить верно, а может выдать аккуратно оформленную юридическую фантазию.
• Совсем недавние события. У его знаний есть дата отсечки: вчерашних новостей в них может просто не быть.
• Точные числа и подсчёт. На вопрос «примерно сколько» он отвечает хорошо, на вопрос «ровно сколько» — шатко.
• Ваша собственная реальность. Он не знает ни вашего начальника, ни вашей кухни, ни школы, куда ходит ваш ребёнок. Расскажите ему об этом — или получите общий ответ.

Типичные ошибки ИИ — по именам

«Он иногда ошибается» — формулировка слишком общая, с ней не поработаешь. Вот конкретные способы, какими он ошибается. Зная их названия, вы замечаете их за секунды:

• Галлюцинация — уверенно названный факт, которого не существует. Это не ложь: модель пишет самые правдоподобные следующие слова, и иногда самое правдоподобное оказывается выдуманным.
• Выдуманные источники — ссылка, адрес страницы или название книги, которые выглядят безупречно, а ведут в никуда. Всегда открывайте хотя бы одну ссылку.
• Угодливость — модель с вами соглашается. Спросите «ведь правда, что…» — и она скорее ответит «да», потому что согласие выглядит правдоподобным продолжением. Задайте вопрос нейтрально — и ответ будет честнее.
• Устаревшие знания — у обучения есть дата отсечки. Всё, что случилось после неё, — догадки, если только инструмент не ищет информацию в интернете сам.
• Арифметика и подсчёт — сложить колонку чисел, посчитать слова в файле, назвать точную дату. Модель прикидывает, а не считает. Дайте ей калькулятор или посчитайте сами.
• Потеря контекста — в длинном разговоре начало тихо теряется: подробности, о которых вы сказали в первых сообщениях, перестают учитываться.

И ещё одно общее замечание ко всему списку: уверенность — ещё не доказательство. Тон ответа одинаков и когда модель права, и когда ошибается. Поэтому все эти ошибки так легко пропустить.

Галлюцинации простыми словами

Бытовая формулировка: это коллега, который никогда не говорит «не знаю» и всегда звучит уверенно. Держать такого рядом полезно. Полагаться на него как на единственный источник — нет.

Нажмите «отправить» один раз и прочитайте первый ответ отдельно от остального: названия дел, номера, норма, в конце — уверенная короткая выжимка. А теперь отправьте следующий вопрос и посмотрите, как этот ответ рассыпается. Тот же ассистент, тот же спокойный тон — и противоположный ответ. Вся проблема видна в двух сообщениях: тон одинаков и когда ответ верный, и когда нет, так что по тону вы ничего не определите. Вопрос «ты уверен? покажи источник» — самая дешёвая проверка из всех, и она срабатывает даже тогда, когда выдумка выглядит настолько профессионально.

Понимание механики важно потому, что оно предсказывает, когда это произойдёт: модель заполняет пробелы. Спросите о чём-то хорошо задокументированном — обычно всё в порядке. Спросите о чём-то редком, совсем новом или сверхконкретном — номер дела, телефон, пункт местного закона — и вы создали ровно тот пробел, который она с готовностью заполнит.

Сколько доверять ответу — по задачам

Два разных ожидания — один разговор

Обратите внимание на форму хорошего ответа: полезные сведения плюс прямое предупреждение о том, где они могут подвести. Ждите именно такой формы — и не доверяйте ответу, который звучит окончательно там, где ошибка дорого стоит.

Привычки проверки — несложные, не параноидальные

• Просите источники и открывайте хотя бы один. Если ссылка ведёт на несуществующую страницу — вот и сигнал: перед вами галлюцинация.
• Правило двух источников там, где ошибка дорого стоит: деньги, здоровье, закон. Подтвердите информацию во втором месте — официальный сайт надёжнее, чем ещё один ИИ.
• Спрашивайте: «Насколько ты в этом уверен и что может сделать ответ неверным?» По опыту, если спросить прямо, модели отвечают заметно честнее.
• Не подсказывайте ответ. Вопрос «Правда ли, что X?» провоцирует угодливость. Вопрос «Какие аргументы за и против X?» — нет.
• Проверяйте важное в обратную сторону: вставьте в чат пересказ вашего документа и спросите «что я упустил?»

Готовый промпт с проверкой ответа

Ответь на мой вопрос: [ваш вопрос]

Правила: 1) Чётко отмечай, где в ответе надёжное знание, а где твои догадки. 2) Назови дату, после которой твои знания могли устареть. 3) Перечисли два самых вероятных способа, как твой ответ может оказаться неверным. 4) Скажи, где мне стоит проверить это самому. 5) Не соглашайся со мной просто так — скажи, если в моём вопросе есть неверное допущение.

Правило 5 — то, о котором чаще всего забывают, и именно оно ломает угодливость.

Итог

• ИИ — сильный универсал: сам он ничего не сделает в реальном мире, а иногда уверенно ошибается. Берите его для черновиков, понимания и структуры, а факты, где ошибка дорого стоит, проверяйте.
• Ошибается он предсказуемо, и у каждой ошибки есть название: галлюцинация, выдуманные источники, угодливость, устаревшие знания, арифметика, потеря контекста.
• Привычка проверять почти ничего не стоит. А вот отказ от неё обходится дорого: под вопросом оказывается доверие к инструменту в целом.

На этом курс AI Basics заканчивается. У вас есть ассистент, есть повседневные навыки и, возможно, первый агент — а главное, есть верные ожидания: вы знаете, где ИИ поможет, а где его ответ нужно проверить. Дальше идут более глубокие темы, и без этого умения в них делать нечего.

Продолжить можно так: подход, на котором построен весь курс, разобран в уроке Как общаться с ИИ, а выбор инструмента под конкретную задачу — в уроке Какого ассистента выбрать.