Тег / кванты

Локальный инференс на своём железе

Малина управляет запросами, модель работает на ПК. Проверяем кванты, контекст, выгрузку весов и скорость генерации.