Тег / железо

Локальное распознавание речи на малине

Whisper base с русским языком и рабочим лексиконом. Что видно по времени распознавания и чего мы пока не замерили.

Локальный инференс на своём железе

Малина управляет запросами, модель работает на ПК. Проверяем кванты, контекст, выгрузку весов и скорость генерации.