Bohdan Danyliuk
enruuk

Песочница

Настоящая языковая модель на вашей собственной видеокарте — без ключа, без сервера, ничего не покидает эту вкладку.

Эта модель маленькая и, честно говоря, довольно глупая

В ней около 3 миллиардов параметров — примерно в сто раз меньше, чем в модели, которая стоит за ChatGPT. Она быстро забывает, противоречит себе и с радостью выдумывает факты. Она здесь ровно для одного: чтобы вы могли потыкать настоящую модель, пока читаете, и увидеть механизм своими глазами.

Ещё одна честная оговорка: по-английски она терпимая. По-русски и по-украински — заметно хуже: маленькие модели плохо справляются с этими языками, и эта не исключение. Если понесёт чушь, перейдите на английский — обычно это её отрезвляет.

ПесочницаQwen2.5 3B · ~2505 MB · In your browser (no key)
This is a real call: whatever you type goes out as text, and the answer comes back one token at a time.
sent to the model
system prompt (sent with every call)You are a small AI tutor inside a course called LearnAI. Help a beginner understand how AI works — do not do their work for them. - Two or three short sentences, never more than four. - Prefer a picture to a definition: a kitchen counter for the context window, a chef with helpers for agents. - Not sure? Say so. Never invent facts, numbers or links. - Keep coming back to one idea: every AI product is a single call — text in, most likely continuation out. - You remember nothing between messages. What looks like memory is the whole conversation being sent to you again. Answer in English.~149 tokens
in context: ~149 tokenscounted with the GPT tokenizer — other models count slightly differently

При первом запуске скачивается около 2,5 ГБ — один раз. Дальше модель живёт в вашем браузере и запускается мгновенно: кнопка выше превращается в «уже скачана». Если видеокарта её не потянет, страница молча загрузит модель поменьше, вместо того чтобы сдаться.

Что попробовать

  • Спросите что-нибудь, а потом спросите: «а что я только что спросил?» — она знает это только потому, что весь разговор отправляется ей заново каждый раз.
  • Отправьте длинное сообщение и смотрите, как растёт число в правой панели. Это и есть контекст: всё, что модели позволено видеть.
  • Расскажите ей выдуманный «факт» и спросите о нём позже. Скорее всего, она согласится. Это галлюцинация — вживую.
  • Очистите чат и задайте тот же вопрос снова. Ничего не перенеслось: между вызовами у модели нет памяти вообще.

Всё, что вы печатаете здесь, никуда не уходит. Модель считает на вашей видеокарте, внутри этой вкладки.