Искусственный интеллект научили объяснять свои решения

До сих пор нейронные сети оставались «черным ящиком» — после многих раундов обучения даже сами их создатели не всегда знают, какие именно преобразования выполняются на индивидуальных узлах прежде чем будет получен результат. По этой причине системам машинного обучения могут не доверять, например, медики — компьютер не обосновывает свои решения.

В Лаборатории искусственного интеллекта МТИ создали нейросеть для анализа текста, которая не только выдает результат, но и выдает его обоснование. Она состоит из двух модулей — один извлекает фрагменты текста из обучающих данных, назначая им рейтинг в зависимости от длины и степени связности. Второй модуль, получая фрагменты, отобранные первым, выполняет основную задачу — распознавание или классификацию. Модули обучаются вместе; цели обучения — максимизировать рейтинг фрагментов и точность классификации.

Исследователи проверили нейросеть на обзорах пива. Сорта напитка оценивались по запаху, вкусу и цвету, каждый атрибут — по пятибалльной шкале, при этом обозреватели вручную отметили соответствие фраз различным оценкам. После обучения системы ее оценки, выставленные по еще не виденным ею обзорам, совпадали с оценками их авторов в 80-96% случаев.

Впоследствии систему также обучили на тысячах гистологических заключений извлекать текст и участки рентгеновских снимков, являющиеся обоснованием для постановки диагноза.