Российские ученые разработали метод, который позволяет понять, как и почему ИИ принимает решения, и при необходимости скорректировать их. Метод SAE Match анализирует, как меняются концепции внутри ИИ от слоя к слою, помогая выявить и исправить ошибки в реальном времени.
Такие решения могут в будущем дать исследователям и разработчикам мощный инструмент для анализа внутренней логики нейросетей и повышения их прозрачности, помогая создавать более предсказуемые и надежные системы ИИ, прокомментировала руководитель разработки больших языковых моделей Авито Анастасия Рысьмятова.
CTO направления genAI в Just AI Антон Сипачев добавил, что все это снижает риски недостоверных или токсичных ответов. Задача обеспечения безопасности и контроля ИИ очень важна сегодня, некоторые компании в гонке за новыми моделями и показателями в бенчмарках забывают про этот аспект. Предложенный метод позволит как глубже провести анализ проблемных мест, так и улучшить уже существующие методы, считает Сипачев.
Научное открытие исследователей из T-Bank AI Research получило международное признание и будет презентовано на главной международной конференции по обучению представлений (ICRL) в Сингапуре.
