vLLM - это движок для больших языковых моделей (LLM). Начиная с версии 0.10.1 и до версии 0.14.0, vLLM загружает динамические модули Huggin…

vLLM - это движок для больших языковых моделей (LLM). Начиная с версии 0.10.1 и до версии 0.14.0, vLLM загружает динамические модули Hugging Face `auto_map` во время разрешения модели без включения в `trust_remote_code`, что позволяет управляемому злоумышленником коду Python в модели repo/path выполнять при запуске сервера. Злоумышленник, который может влиять на модель РЕПО/пу (локальный каталог или удаленное объятие лица репо), может добиться произвольного выполнения кода на хосте vLLM во время загрузки модели. Это происходит до обработки любого запроса и не требует доступа к API. Версия 0.14.0 исправляет проблему.