Могут ли сверхкомпактные нейросети управлять внешними инструментами прямо на слабом процессоре?

TL;DR: Новое исследование показало, что компактные языковые модели до 2 млрд параметров уже способны вызывать внешние инструменты (по протоколу MCP), но для надежной работы на обычных платах и процессорах им все еще требуется строгая страховка.

• Борьба за надежность: Чтобы запустить ИИ-агента локально на мини-ПК вроде Raspberry Pi или Jetson Nano, модели недостаточно просто красиво писать — она должна безошибочно генерировать строгий JSON-код и передавать точные параметры.
• Лидеры и провалы: В тестах модель Qwen2.5-1.5B справилась с вызовом инструментов в 75–79% случаев, тогда как ультракомпактная 0.5B показала до 72%, а старые модели вроде TinyLlama и Phi-1.5 почти полностью провалились.
• Скрытый подвох: Только 5 из 1000 ответов моделей были чистым JSON «из коробки» — без автоматической очистки и исправления разметки маленькие модели пока не могут стабильно взаимодействовать с сервисами.
• Что это дает разработчикам: Полностью автономные локальные ИИ-ассистенты для умного дома и микрокомпьютеров реальны, но критически важна жесткая валидация схем и ограничение прав, чтобы модель не натворила лишнего.