Здесь только то, что мерил сам, с числом прогонов и условиями. Где результат
не подтвердился — так и написано.
- Своя голова решений
- Энкодер Laya-подобной архитектуры, дообучение под свой словарь действий: 0,766 на своей
задаче. Вне своих семейств база почти случайна — 0,362 против 0,461 у тривиального
большинства, то есть это быстрый специализированный слой, а не замена модели общего
назначения. Латентность на T4: 32,8 мс на вопрос, 7,2 мс при батче из 10.
- Внешний решатель
- TypeSafe System One на тех же задачах: soft-distribution 0,580 против 0,471 у базовой
модели, калибровка ECE 0,144 против 0,213; держит больше 20 вариантов ответа — 0,870
против 0,425. Цена — в 6–8 раз медленнее генерации.
- Классификатор с правом на отказ
- macro-F1 0,955 при покрытии 91% и точности 0,987 на отвеченных. На незнакомой
формулировке калибровка падает (ECE с 0,025 до 0,073) — это видно по замеру, а не по
ощущению. Подробности в кейсе A·03.
- Локальный инференс
- llama.cpp на своей 5060 Ti: квантованные веса, длина контекста, скорость генерации;
на малине — faster-whisper с русским лексиконом и временем распознавания как метрикой,
а не «вроде работает».
- Корпус прогонов агента
- 281 прогон «тикет → отчёт»: 94,7% успешных, медиана 430 с, p95 1 500 с, доля прогонов
с файлами 61,6%, упор в потолок времени 5,7%. Тот же корпус — основа публичного
eval-харнесса.