кодло/ студия

Разборы

Статьи

Пять разборов по нашим системам: как обучали свой решатель, как мерили модели, что упирается на локальном железе и как принимать работу модели, когда её ответу нельзя верить на слово.

5 статьи64 мин чтения11666 слов

01

Своя голова решений: обучение, калибровка и пределы System-1

Обучили свой решатель и проверили калибровку. На свободных формулировках качество резко упало.

15 мин · 8 разделов
02

Какое плечо модели нужно какой задаче

Сравниваем модели и усилия рассуждения на одинаковых задачах. Проверяем результаты прогонов и стоимость принятой работы.

13 мин · 8 разделов
03

Локальный инференс на своём железе

Малина управляет запросами, модель работает на ПК. Проверяем кванты, контекст, выгрузку весов и скорость генерации.

13 мин · 8 разделов
04

Локальное распознавание речи на малине

Whisper base с русским языком и рабочим лексиконом. Что видно по времени распознавания и чего мы пока не замерили.

10 мин · 8 разделов
05

Как судить работу модели, если её ответу не доверяешь

Сверяем отчёт агента с патчем, воспроизведением и тестами. Разбираем расхождения между завершением агента, приёмкой и ревью.

13 мин · сплошной разбор