Сегодня системы искусственного интеллекта используют, чтобы помочь людям принимать решения во множестве отраслей. ИИ помогает врачам систематизировать тысячи историй болезни; фермерам служит для точного определения количества воды, которое требуется каждому отдельному растению; страховым компаниям — быстрее рассчитывать выплаты. ИИ способен обработать большое количество данных, чтобы предоставить пользователям средоточие бесценных идей и знаний.
Чтобы доверять системе ИИ, мы должны быть уверены в ее решениях. И знать, что принятое решение будет одновременно и надежным, и справедливым, что его можно принимать во внимание и что оно в любом случае не навредит. Нам нужна уверенность в том, что его нельзя сфальсифицировать извне, что сама система защищена.
Речь идет о том, что разработчикам нужно выйти за пределы точности, а также научиться измерять и сообщать о производительности системы по каждому из этих измерений. Мойсилович выделяет четыре основные части инженерного «инструментария», которыми мы располагаем в отношении доверия к ИИ.
1. Справедливость. Информация о предвзятости систем ИИ привлекла внимание как технического сообщества, так и широкой общественности. Если мы хотим поощрять внедрение ИИ, нужно обеспечить максимально толерантное отношение машин, не допустить распространение пороков людей в их управление в процессе обучения.
2. Надежность. Когда дело доходит до больших наборов данных, нейронные сети являются инструментом выбора для разработчиков ИИ и дата-сайентистов. Несмотря на то, что модели глубинного обучения могут демонстрировать сверхчеловеческую классификацию и способности к распознаванию определенных характеристик, их можно легко обмануть, заставляя принимать неправильные решения, внося небольшие корректировки, часто незаметные для человека.
3. Толкование алгоритмических решений. Еще одна проблема, которая достигла пика обсуждений в последнее время, — это страх, что системы машинного обучения по сути своей — «черный ящик», а то, как многие современные алгоритмы принимают решения, едва ли поддается логическому обоснованию.
4. Безопасность. Человеческое доверие к новым технологиям, в первую очередь, основано на понимании того, как это работает, и оценке их безопасности и надежности. Мы управляем автомобилями с полной уверенностью, что тормоза сработают при нажатии педали. Мы делаем офтальмологическую операцию с использованием лазера, всецело доверяя системе, которая исключает человеческий фактор.
источник: hightech.fm