Тег / локальный инференс

Локальный инференс на своём железе

Малина управляет запросами, модель работает на ПК. Проверяем кванты, контекст, выгрузку весов и скорость генерации.