Коли ШІ допомагає, а коли ні: чого чекати від його відповідей

Чому це важливо: ШІ кидають з двох протилежних причин: він одного разу підвів — або йому повірили в усьому. Обидві помилки мають одну й ту саму причину: немає карти, на якій видно, де ШІ сильний, а де помиляється. Далі — ця карта.

Модель в одному реченні

ШІ — дуже начитаний і здібний помічник із трьома прогалинами: сам він нічого не робить у реальному світі, не знає, що відбувається навколо зараз, і не зупиняється там, де не знає відповіді, — він просто вгадує. При цьому він прочитав величезний обсяг текстів, пише звʼязно й не втомлюється. А ще час від часу з повною впевненістю видає вигадку. Тримайте в голові обидві половини — і очікування будуть правильними.

Де ШІ справді допомагає

• Чернетки чого завгодно — листи, запрошення, пости, тексти виступів. Виправити гарну чернетку швидше, ніж написати поганий текст із нуля.
• Розуміння — пояснення, розбір документів, «що означає цей лист із податкової».
• Порядок із хаосу — голосові нотатки перетворюються на план, безладний список — на таблицю.
• Партнер для тренування — підготовка до співбесіди, мовна практика, «знайди слабкі місця в моїх аргументах».
• Переклад і тон — підібрати потрібні слова мовою, якою ви володієте гірше.

Де ШІ помиляється

• Факти, де помилка дорого коштує. Закони, медицина, податки, офіційні вимоги. Він може відповісти правильно, а може видати акуратно оформлену юридичну фантазію.
• Зовсім недавні події. У його знань є дата відсічення: вчорашніх новин у них може просто не бути.
• Точні числа й підрахунок. На запитання «приблизно скільки» він відповідає добре, на «рівно скільки» — хитко.
• Ваша власна реальність. Він не знає ні вашого керівника, ні вашої кухні, ні школи, до якої ходить ваша дитина. Розкажіть йому про це — або отримаєте загальну відповідь.

Типові помилки ШІ — за назвами

«Він іноді помиляється» — формулювання надто загальне, з ним не попрацюєш. Ось конкретні способи, якими він помиляється. Знаючи їхні назви, ви помічаєте їх за секунди:

• Галюцинація — упевнено названий факт, якого не існує. Це не брехня: модель пише найбільш правдоподібні наступні слова, а іноді найправдоподібніше виявляється вигаданим.
• Вигадані джерела — посилання, адреса сторінки чи назва книги, які виглядають бездоганно, а ведуть у нікуди. Завжди відкривайте хоча б одне з них.
• Догідливість — модель із вами погоджується. Спитайте «адже правда, що…» — і вона швидше відповість «так», бо згода виглядає правдоподібним продовженням. Поставте запитання нейтрально — і відповідь буде чеснішою.
• Застарілі знання — у навчання є дата відсічення. Усе, що сталося після неї, — здогадки, якщо тільки інструмент не шукає інформацію в інтернеті сам.
• Арифметика і підрахунок — скласти колонку чисел, порахувати слова у файлі, назвати точну дату. Модель прикидає, а не рахує. Дайте їй калькулятор або порахуйте самі.
• Втрата контексту — у довгій розмові початок тихо губиться: подробиці, про які ви сказали в перших повідомленнях, перестають враховуватися.

І ще одне загальне зауваження до всього списку: упевненість — ще не доказ. Тон відповіді однаковий і коли модель права, і коли помиляється. Тому всі ці помилки так легко пропустити.

Галюцинації простими словами

Побутова версія: це колега, який ніколи не каже «не знаю» і завжди звучить упевнено. Тримати такого поруч корисно. Покладатися на нього як на єдине джерело — ні.

Розуміння механіки важливе тим, що воно передбачає, коли це станеться: модель заповнює прогалини. Спитайте про щось добре задокументоване — зазвичай усе гаразд. Спитайте про щось рідкісне, зовсім нове або надто конкретне — номер справи, телефон, пункт місцевого закону — і ви створили саме ту прогалину, яку вона з готовністю заповнить.

Скільки довіряти відповіді — за задачами

Два різні очікування — одна розмова

Зверніть увагу на форму хорошої відповіді: корисні відомості плюс пряме попередження про те, де вони можуть підвести. Чекайте саме такої форми — і не довіряйте відповіді, яка звучить остаточно там, де помилка дорого коштує.

Звички перевірки — нескладні, не параноїдальні

• Просіть джерела й відкривайте хоча б одне. Якщо посилання веде на сторінку, якої не існує, — ось і сигнал: перед вами галюцинація.
• Правило двох джерел там, де помилка дорого коштує: гроші, здоровʼя, закон. Підтвердьте інформацію в другому місці — офіційний сайт надійніший, ніж ще один ШІ.
• Спитайте: «Наскільки ти в цьому впевнений і що може зробити відповідь хибною?» З мого досвіду, якщо спитати прямо, моделі відповідають помітно чесніше.
• Не підказуйте відповідь. Запитання «Чи правда, що X?» провокує догідливість. Запитання «Які аргументи за і проти X?» — ні.
• Перевіряйте важливе ще й так: вставте в чат переказ вашого документа й спитайте «що я пропустив?»

Готовий промпт із перевіркою відповіді

Відповідай на моє запитання: [ваше запитання]

Правила: 1) Чітко позначай, де у відповіді надійне знання, а де твої здогадки. 2) Назви дату, після якої твої знання могли застаріти. 3) Перелічи два найімовірніші способи, якими твоя відповідь може виявитися хибною. 4) Скажи, де мені варто перевірити це самому. 5) Не погоджуйся зі мною просто так — скажи, якщо в моєму запитанні є хибне припущення.

Правило 5 — те, про яке найчастіше забувають, і саме воно зламує догідливість.

Підсумок

• ШІ — сильний універсал: сам він нічого не зробить у реальному світі, а часом упевнено помиляється. Беріть його для чернеток, розуміння й структури, а факти, де помилка дорого коштує, перевіряйте.
• Помиляється він передбачувано, і в кожної помилки є назва: галюцинація, вигадані джерела, догідливість, застарілі знання, арифметика, втрата контексту.
• Звичка перевіряти майже нічого не коштує. А відмова від неї коштує довіри до інструменту загалом.

На цьому курс AI Basics завершується. У вас є асистент, є повсякденні навички і, можливо, перший агент — а головне, є правильні очікування: ви знаєте, де ШІ допоможе, а де його відповідь треба перевірити. Далі починаються глибші треки. Продовжити можна так: підхід, на якому побудований увесь курс, розібраний в уроці «Як розмовляти з ШІ: підхід, від якого залежить результат», а вибір інструмента під конкретну задачу — в уроці «Якого асистента обрати: ChatGPT, Claude, Gemini — і з чого почати».