Interpretability of machine learning models

Abstract

As machine learning algorithms have been used in many areas of our lives, for example, self-driving cars, healthcare, and the financial industry, the problem of trust is becoming even more urgent. To trust the decisions that the algorithms adopt, we need to understand the nature of their occurrence, so often we need not only a theoretical understanding of their work, but also special tools that would explain the origin of the findings within the algorithms themselves and present the withdrawn information in an informative and accessible form. This article will list some problems related to the interpretation of machine learning algorithms, as well as the desired properties of interpreted models that can improve the perception of algorithms and increase people's confidence in the decisions made. In the following, some visual analytics tools will be discussed, as well as one of the model-agnostic methods, LIME, which studies the model locally around the prediction and explains any classifier.

Поскольку алгоритмы машинного обучения стали применяться во многих сферах нашей жизни, например, беспилотные автомобили, здравоохранение, финансовая индустрия, то проблема доверия становится все более актуальной. Чтобы довериться решениям, которые принимают алгоритмы, мы должны понимать природу их возникновения, поэтому часто требуется не только теоретическое понимание их работы, но и специальные инструменты, которые бы объяснили происхождения выводов внутри самих алгоритмов и представили изъятую информацию в информативном и доступном для человека виде. В этой статье будут перечислены некоторые проблемы, касающиеся интерпретации алгоритмов машинного обучения, а также желаемые свойства интерпретируемых моделей, способных улучшить восприятие алгоритмов и увеличить у человека доверие к принятым решениям. В дальнейшем будет рассказано про некоторые инструменты визуальной аналитики, а также один из модельно-агностических методов – LIME, который изучает модель локально вокруг предсказания и объясняет любой классификатор.