ИИ карманного масштаба: замеры компактных моделей на смартфонах
Замеры возможностей и скорости компактных языковых моделей на реальных смартфонах: оценка вызова инструментов, следования инструкциям, устойчивости к галлюцинациям, времени отклика и расхода оперативной памяти на флагманских мобильных чипсетах.
Почему компактные модели для телефонов сложно тестировать
Модели с числом параметров до нескольких миллиардов сегодня способны следовать инструкциям, вызывать инструменты и отвечать на вопросы прямо на пользовательском устройстве. Однако классические бенчмарки плохо подходят для мобильного сегмента по ряду фундаментальных причин
- Эффект «пола» на бенчмарках для датацентровых гигантов: Большинство известных тестов создавались для разграничения моделей масштаба frontier. Малые модели показывают на них результаты, близкие к нулю, из-за чего невозможно определить, какая из компактных моделей лучше справляется с реальными повседневными сценариями.
- Незрелость мобильных сред исполнения: Движки инференса на смартфонах значительно моложе серверных. Неправильные шаблоны чата, ошибки парсеров при параллельном вызове функций или флаги рантайма могут скрытно делить контекстное окно и искажать реальную точность.
- Поведение самого «железа»: Реальная производительность на смартфоне напрямую зависит от троттлинга при нагреве, профилей энергосбережения и того, как операционная система (iOS или Android) изолирует и очищает оперативную память.
- Огромный разнобой сборок: Одни и те же веса публикуются в десятках форматов квантования. Объём необходимой памяти сильно плавает в зависимости от формата весов, архитектуры модели и размера KV-кэша.
Методология и дисциплины оценки
Все модели тестируются в одинаковых квантованных сборках (4-bit или меньше) на движке llama.cpp. К тестам допускаются модели, чей полный рабочий объём (включая KV-кэш на 8K токенов контекста) укладывается в 8 ГБ оперативной памяти.
Интеллект измеряется по пяти ключевым направлениям
- BFCL (вызов инструментов): набор из 640 задач в трёх категориях — выбор правильной функции, многошаговый вызов цепочки инструментов и корректный отказ от вызова, когда подходящей функции нет.
- IFBench (следование инструкциям): проверка строгого выполнения проверяемых ограничений на формат ответа, количество слов и структуру вывода.
- Устойчивость к галлюцинациям и точность знаний: способность давать точные факты и честно признавать незнание, не выдумывая небылицы.
- GPQA Diamond (рассуждения университетского уровня): сложные научные вопросы в формате множественного выбора.
- MATH-500 (математика): олимпиадные задачи по математике со строгой символьной верификацией ответов.
Результаты тестов на iPhone 17 Pro
Первые строчки по общему баллу (при ограничении контекста в 16K) делят Nanbeige4.2-3B и LFM2.5-2.6B — обе набрали по 63 балла, опередив 9-миллиардные модели Ornith-1.0-9B (62 балла) и Qwen3.5 9B Reasoning (61 балл). При этом LFM2.5 расходует ресурсы значительно бережнее: на промпт в 1024 токена модель отвечает за 8.0 секунд при потреблении 2.3 ГБ памяти, тогда как Nanbeige4.2-3B требует 21.4 секунды и 4.0 ГБ памяти, а 9B-моделям требуется более 25 секунд и 6.9 ГБ RAM.
- Парето-оптимальная граница скорости и интеллекта: Шесть моделей оказались непобедимыми по сочетанию скорости и качества: LFM2.5-230M (27 баллов за 0.9 с), MiniCPM5-1B (45 баллов за 2.9 с), LFM2.5-8B-A1B (58 баллов за 5.7 с), Ling 3.0 Tiny (59 баллов за 5.7 с), LFM2.5-2.6B (63 балла за 8.0 с) и Nanbeige4.2-3B (63 балла за 21.4 с). Архитектуры MoE (Ling 3.0 Tiny и LFM2.5-8B) активируют лишь около 1 млрд параметров на токен, отвечая быстрее 6 секунд при весе 8-миллиардного класса.
- Проблема болтливости reasoning-моделей: Модели вроде Qwen3.5 9B генерируют слишком длинные цепочки рассуждений, что фатально для смартфона. В 29% задач Qwen3.5 упирается в лимит контекста 16K. А при генерации на скорости 55 ток/с выдача длинного ответа выливается в минуты ожидания и быстрый разряд аккумулятора.
- Ограничение ответа в 1 минуту: Если ввести жёсткое ограничение в 60 секунд на ответ (максимум, который готов ждать пользователь на телефоне), рейтинг переворачивается: в лидеры выходит LFM2.5-8B-A1B с 47 баллами, а «тяжеловесы» Nanbeige4.2 и Qwen3.5 Reasoning обваливаются до 18 и 14 баллов соответственно, так как их рассуждения банально не успевают завершиться.
- Разная специализация лидеров: Nanbeige4.2-3B наиболее универсальна (76% на вызове функций, 96% на математике, 67% на науке). Qwen3.5 9B лидирует в вызове функций (77%). А LFM2.5-2.6B лучше всех держит инструкции (59% на IFBench) и почти не выдумывает ложные факты (79% точности против галлюцинаций против всего 33% у Nanbeige и 1% у Qwen3.5).
Сводная таблица ведущих моделей на iPhone 17 Pro
| Модель | Архитектура | Балл интеллекта | Время ответа E2E (1024 токена) | Пиковая память (4K контекст) | Устойчивость к галлюцинациям |
|---|---|---|---|---|---|
| LFM2.5-230M | Dense 230M | 27 | 0.9 с | 0.4 ГБ | 41% |
| MiniCPM5-1B | Dense 1.2B | 45 | 2.9 с | 1.4 ГБ | 28% |
| Ling 3.0 Tiny | MoE 8B (активно ~1B) | 59 | 5.7 с | 2.6 ГБ | 42% |
| LFM2.5-8B-A1B | MoE 8B (активно ~1B) | 58 | 5.7 с | 2.5 ГБ | 52% |
| LFM2.5-2.6B | Dense 2.6B | 63 | 8.0 с | 2.3 ГБ | 79% (лучшая) |
| Nanbeige4.2-3B | Dense 3.2B | 63 | 21.4 с | 4.0 ГБ | 33% |
| Gemma 4 E4B | Dense 4.1B | 59 | 14.8 с | 3.8 ГБ | 45% |
| Qwen3.5 9B Non-reasoning | Dense 9.0B | 61 | 25.2 с | 6.9 ГБ | 24% |
