CircuitLens: как нейросети сами выбирают лучшие задачи для обучения

TL;DR: Учёные нашли способ отбирать идеальные обучающие примеры для ИИ, просто заглядывая во внутренние механизмы модели, что заметно улучшает качество её математических рассуждений.

• Взгляд изнутри: Авторы создали метрику Circuit Reasoning Score (CRS), которая отслеживает активность 46 ключевых зон внимания модели, отвечающих за логику, без необходимости долгого тестирования и разметки ответов.
• Парадоксальный эффект: Оказалось, что для обучения полезнее всего задачи, которые модель решает «на автопилоте» (с низкой активацией этих зон), а не те, над которыми она напрягается сильнее всего.
• Экономия и точность: Метод работает за один быстрый прогон и дал модели Qwen2.5-Math-7B ощутимый прирост в точности (до +2.9% на тестах Minerva и GSM8K), избавляя инженеров от ручной и дорогой фильтрации датасетов.

🔗 Источник: https://arxiv.org/abs/2609.07183