🧠 База по LLM: как это работает
Понимание базовых принципов работы нейросетей помогает выбирать модели под конкретные задачи. Это позволяет соблюдать баланс между качеством ответов, скоростью их генерации и итоговой стоимостью, особенно при работе через API.
Основные термины максимально просто:
⚖️ Веса (параметры)
LLM состоит из множества «нейронов», сгруппированных в слои и связанных между собой. Эти связи называются весами (или параметрами), и их количество определяет «мощность» модели: чем больше весов - тем больше у нейросети возможностей для запоминания и решения сложных и разнообразных задач. Например, DeepSeek-V3 имеет 671 млрд параметров, а GPT-4, по оценкам, - около 1,76 трлн. Но больше параметров ≠ лучше для вашей задачи: генерация мета-тегов или рерайт описаний товаров отлично работает на компактных моделях типа GPT-4o-mini (~8 млрд параметров) - быстрее и дешевле. Посмотреть количество параметров популярных моделей можно на http://ai-stat.ru/
🧩 Токены
Нейросеть не считывает текст не символами, а токенами - это куски слов, целые слова или устойчивые сочетания. Основная механика - предсказание следующего токена на основе уже имеющихся данных. Когда вы просите модель написать текст - она буквально угадывает каждое следующее «слово» по цепочке.
🔧 Токенизаторы
Перед тем как попасть в LLM, текст вашего промпта разбивается на токены с помощью токенизатора, а на выходе токены собираются обратно в текст. Большинство моделей обучались на английском языке, поэтому его токенизация наиболее эффективна. Русский язык обрабатывается менее компактно. Одно слово часто разбивается на несколько токенов. Разница в объеме может составлять 20-60%.
💡 Запросы на английском языке обходятся дешевле, так как расходуется меньше токенов.
📚 Контекстное окно
Контекстное окно - это максимальная длина последовательности токенов, которую модель может обработать за один раз. Сюда входят: системные инструкции, ваш запрос, история диалога и сам будущий ответ. Если окно заполнено, модель не сможет выдать результат или «забудет» начало переписки. Современные модели предлагают огромные контекстные окна. Например, 400к токенов контекстного окна GPT-5.2 - это примерно 600 страниц текста формата A4 12 шрифтом. Но За 20-30 сообщений туда-сюда с правками длинных текстов окно может заполниться, и модель начнёт «забывать» ранние инструкции.
🌡 Температура
Параметр, который влияет на степень случайности при выборе следующего слова.
🔹 Низкая температура (t<=1): Для аналитических задач (кластеризация семантики, извлечение фактов). Ответы будут максимально предсказуемыми.
🔸 Высокая температура (t>1): Для творческих задач (написание постов, генерация идей). Ответы будут более вариативными.
В интерфейсах чатов с ИИ температура задаётся автоматически. Регулировать её можно через API или сторонние клиенты.
P. S.
Ставьте реакции, если узнали что-то полезное и вам нравится такой формат постов — так я увижу фидбек! 🙌
