Изначально Diella (название переводится с албанского как «солнце/луч солнца») была запущена в качестве виртуального ассистента на электронной платформе e-Albania. Она представляла собой продвинутый чат-бот, отвечающий на вопросы граждан по поводу предоставления государственных услуг на естественном языке с видео-сопровождением – Diella появлялась перед пользователем в виде аватара женщины, одетой в один из традиционных албанских костюмов района Задрима. Как отмечается, она была разработана в инкубаторе искусственного интеллекта AKSHI на базе инновационных технологий Azure OpenAI и новейших моделей искусственного интеллекта от Microsoft.
Теперь вновь переизбранный премьер-министр страны Эди Рама (Edi Rama), который ранее заявлял, что считает ИИ потенциально эффективным инструментом борьбы с коррупцией, назначил Diella членом нового кабинета министров. Нейросеть будет контролировать и определять победителей во всех государственных закупках, в которых правительство заключает контракты с частными компаниями: процесс передачи функций от государственных органов к новому цифровому министру планируется осуществлять постепенно. Рама выразил уверенность, что Diella позволит сделать государственные закупки в Албании на 100% свободными от коррупции.
При этом, как отмечают некоторые СМИ, правительство не предоставило подробностей о каком-либо контроле со стороны человека за работой Diella и не рассмотрело риски манипуляций с ИИ.
Вместе с тем, такие риски вызывают серьезные сомнения относительно реальной эффективности нейросети в борьбе с коррупцией.
Во-первых, для нейросети критически важным является качество данных, на которых она обучается. Отсутствие информации о том, кто и каким образом собирает эти данные, а также понимания их содержания вызывает обоснованные опасения в том, что при разработке Diella или при ее дальнейшем дообучении могут использоваться «выгодные» для определенных лиц данные, скрытые правки справочников, инженерные атаки и т.п. Это, в свою очередь, не минимизирует риски коррупции, а лишь создает ее новые очаги.
Кроме того, на результаты работы модели могут влиять и используемые при обучении «правила»: если они – случайно или преднамеренно – окажутся сформулированы некорректно, нейросеть может начать системно штамповать неправильные выводы и/или «галлюцинировать» (см., например, недавнее исследование OpenAI, в котором они приходят к выводы, что причина частых «галлюцинаций» больших языковых моделей – в заложенных в них критериях оценки ответов при обучении), а в отсутствие внешних механизмов контроля вовремя заметить это, скорее всего, окажется невозможно.
Во-вторых, как известно, алгоритм обучения нейросетей (а точнее то, как именно распределяются веса внутри модели) остается «черным ящиком» для ИИ-инженеров. Для такой высокорисковой сферы, как определение победителя закупок, непрозрачность и неясность этого процесса недопустима: участники закупок имеют право на мотивированное решение, а «черный ящик» усложняет обжалование результатов и аудит. При этом недавно принятый в ЕС, членом которого стремится стать Албания, Закон об искусственном интеллекте (Artificial Intelligence Act) предписывает для высокорисковых сфер предусматривать документированный риск-менеджмент, прозрачность и обязательный контроль со стороны человека.
В-третьих, можно предположить, что для распознавания коррупции модель обучалась на типовых индикаторах недолжных практик в закупках. Однако такие «очевидные индикаторы» не всегда отражают реальную коррупции. Модели обычно «ловят» простые паттерны (например, в случае закупок – короткие сроки выполнения работ, единственный поставщик и т.п.), но плохо «видят» скрытую связанность – бенефициарные переплетения, картели, «подставные» конкурсы – все то, что требует сквозной сетевой аналитики, изучения различных баз данных, государственных реестров, анализа закупок «в динамике». Как следствие, если Diella обучалась на типовых коррупционных нарушениях в закупках, она будет упускать из виду менее очевидные коррупционные практики.