vLLM и PagedAttention / виртуальная память для инференса LLM

Модель поместилась в GPU, тестовый запрос отработал быстро. Что произойдёт, когда одновременно придут сотни запросов с разной длиной контекста и ответа?

23 сентября 2026 года в эфире Research Insights Made Simple #32 разберу whitepaper 2023 года про vLLM и устройство инференса LLM: как управление памятью, планирование запросов и передача состояния между узлами влияют на скорость сервиса.

Начнём с KV-кеша — ключей и значений уже обработанных токенов, которые модель сохраняет для следующих шагов генерации. Посмотрим, как PagedAttention применяет идеи виртуальной памяти к этому кешу и позволяет эффективнее размещать активные запросы на GPU. А дальше разберём, какие задачи приходится решать вокруг движка.

Выпуск для инженеров, архитекторов и платформенных команд, которые разворачивают LLM, выбирают движок инференса или хотят понять, что происходит за API модели.

Исследование PagedAttention, SOSP 2023:
https://arxiv.org/abs/2309.06180

Все выпуски Research Insights Made Simple:
https://polomodov.tech/research-insights/

Timeline
00:00 - Почему возвращаемся к статье 2023 года
03:26 - Обработка промпта и генерация токенов
06:09 - Бюджет памяти и цена KV-кеша
11:10 - Резерв и два вида фрагментации
13:36 - Почему даже знание длины ответа не спасает Orca
15:58 - Страничная память: идея из операционных систем
19:42 - PagedAttention и косвенный доступ к блокам
23:36 - Как растущий запрос получает новые блоки
26:11 - Общий префикс и копирование при записи
29:44 - Дерево блоков для beam search
32:21 - Вытеснение: перенос или повторное вычисление
36:01 - Планировщик и рабочие процессы GPU
38:05 - Пропускная способность при той же задержке
39:17 - Цена косвенности и выбор размера блока
41:37 - Инженерные выводы и границы применимости