← Новости

Nvidia показала 120-кратный рост контекста LLM без отдачи для бизнеса

Nvidia показала 120-кратный рост контекста LLM без отдачи для бизнеса
The Decoder

Исследователи Nvidia утверждают, что массивные контекстные окна искусственного интеллекта представляют собой дорогостоящий тупик. Они предупреждают, что единовременная обработка целых романов зачастую избыточна и финансово неэффективна для корпоративных операций. Расширение рабочей памяти модели раздувает расходы на инфраструктуру, не обеспечивая при этом пропорционального операционного преимущества.

Объемы рабочей памяти агрессивно увеличивались на протяжении последних нескольких лет. Когда в марте 2023 года состоялся запуск GPT-4, модель обладала контекстным окном в 8 192 токена. Сегодня более новые модели оперируют примерно одним миллионом токенов — это приблизительно в 120 раз больше и дает достаточно пространства для загрузки «Войны и мира» Льва Толстого за один проход.

Тем не менее эксплуатация столь массивной рабочей памяти демонстрирует убывающую отдачу. В тестах, проведенных исследовательской группой Nvidia, периодическая суммаризация и целевой поиск данных работали примерно так же эффективно, как и прямая загрузка огромных контекстных окон в модель. Инженерные бюджеты сталкиваются с растущими накладными расходами на инференс ради обработки сырых объемов токенов, тогда как структурированное извлечение информации обеспечивает сопоставимую точность при значительно меньших операционных затратах. Для корпоративного внедрения это означает выплату серьезной финансовой премии за мощности, которые редко трансформируются в измеримое бизнес-преимущество.

Источник: The Decoder