Google DeepMind представил Gemini Diffusion: Диффузионная модель для сверхбыстрой генерации текста

Это принципиально иной метод по сравнению с традиционными большими языковыми моделями (БЯМ), такими как GPT или сам Gemini, которые полагаются на авторегрессию — последовательное предсказание слов одно за другим.

Диффузионные языковые модели (ДЯМ), также известные как диффузионные БЯМ, заимствуют метод, более характерный для генерации изображений. Они начинают со случайного шума и постепенно "очищают" его, превращая в связный текст. Такой подход позволяет резко повысить скорость генерации и потенциально улучшить связность и целостность выходных данных.

Gemini Diffusion пока доступна как экспериментальная демо-версия; доступ предоставляется по предварительной регистрации в списке ожидания.

Диффузия против Авторегрессии: В чем разница?
Эти подходы фундаментально различны:

• Авторегрессия: Генерирует текст последовательно, предсказывая токены (слова/части слов) один за другим. Хотя это обеспечивает сильную связность и отслеживание контекста, метод требует больших вычислительных ресурсов и может быть медленным, особенно для длинных текстов.

• Диффузия: Начинает со случайного шума и итеративно "очищает" его до связного результата. Ключевое преимущество — возможность параллельной обработки блоков текста, что позволяет генерировать целые фразы или предложения гораздо быстрее.

По данным Google, Gemini Diffusion способна генерировать 1000-2000 токенов в секунду. Для сравнения: средняя скорость вывода Gemini 2.5 Flash составляет 272.4 токена в секунду. Кроме того, ошибки генерации можно исправлять в процессе "очистки", повышая точность и снижая количество "галлюцинаций". Возможны компромиссы в детальной точности и управлении на уровне отдельных токенов, однако выигрыш в скорости станет прорывом для множества приложений.

Как работает диффузионная генерация текста?
В процессе обучения ДЯМ действуют так:

1. Прямая диффузия (Зашумление): Исходное предложение постепенно "зашумляется" на множестве шагов (часто 500-1000), пока не станет неотличимым от случайного набора данных.

2. Обратная диффузия (Очистка): Модель учится обращать этот процесс шаг за шагом, восстанавливая исходное предложение из зашумленных версий. Через итеративное уточнение она изучает распределение смысловых предложений в обучающих данных.

Хотя детали реализации Gemini Diffusion пока не раскрыты, типичный процесс обучения диффузионной модели включает эти этапы, повторяемые миллионы раз на разных данных и уровнях шума.

После обучения модель способна генерировать новые предложения. Для нацеливания результата (например, по запросу) условие (промпт) внедряется на каждом шаге очистки, направляя преобразование начального "шума" в структурированный и связный текст.

Плюсы и Минусы Диффузионных Моделей
Брендан О’Донохью, научный сотрудник Google DeepMind и один из руководителей проекта Gemini Diffusion, выделил для VentureBeat ключевые преимущества диффузии перед авторегрессией:

• Сниженные задержки: Гораздо быстрее выдают последовательность токенов.

• Адаптивные вычисления: Требуемое число итераций зависит от сложности задачи, экономя ресурсы на простых задачах.

• Некусальная логика (двунаправленность): Токены внутри одного блока могут "внимать" будущим токенам, позволяя делать глобальные правки для большей связности (особенно важно для кода и рассуждений).

• Итеративное уточнение / Самокоррекция: Ошибки, возникающие при "очистке", могут быть исправлены на последующих итерациях внутри блока.

Главные недостатки, по словам О’Донохью: "более высокая стоимость обслуживания и несколько большее время до первого токена (TTFT). Авторегрессионные модели выдают первый токен сразу. У диффузионных первый токен появляется только тогда, когда готова вся последовательность".

Тесты производительности
Google утверждает, что производительность Gemini Diffusion сопоставима с Gemini 2.0 Flash-Lite.

БенчмаркТипGemini DiffusionGemini 2.0 Flash-LiteLiveCodeBench (v6)Код30.9%28.5%BigCodeBenchКод45.4%45.8%LBPP (v2)Код56.8%56.0%SWE-Bench Verified*Код22.9%28.5%HumanEvalКод89.6%90.2%MBPPКод76.0%75.8%GPQA DiamondНаука40.4%56.5%AIME 2025Математика23.3%20.0%BIG-Bench Extra HardЛогика15.0%21.0%Global MMLU (Lite)Многоязычность69.1%79.0%*Оценка без агентства (одношаговое исправление), макс. длина запроса 32K.

Модели сравнивались по проценту правильных ответов с первой попытки. Gemini Diffusion показала себя сильнее в кодинге и математике, Gemini 2.0 Flash-Lite — в логике, научных знаниях и многоязычности.

О’Донохью уверен, что разрыв в производительности между методами "фактически закрыт, по крайней мере, для масштабов, до которых мы пока дошли. Более того, диффузия может иметь преимущество в областях, где важна глобальная согласованность, например, в программировании и логических рассуждениях".