20.09.2024  Форум «IT ТРАНСФОРМАЦИЯ 2024» в Алтайском крае расширяет границы до международного уровня

20.09.2024  Региональный форум «Амур-ИнфобезФорум 2024» пройдет в Благовещенске

30.08.2024  ГК «Эшелон» приглашает на конференцию «День информационной безопасности» в Екатеринбурге

30.08.2024  В KOMRAD Enterprise SIEM добавлен расширенный пакет экспертиз для выявления современных угроз в среде Windows!

21.08.2024  ГК «Эшелон» вновь в лидерах среди отечественных IT-компаний по данным агентства RAEX

19.08.2024  Компания «Эшелон» - в рейтинге крупнейших IT-компаний в России!

19.08.2024  ГК «Эшелон» приглашает на конференцию «День информационной безопасности» в Новосибирске!

12.08.2024  Продолжаются занятия онлайн-курса подготовки профессионалов в области ИБ!

24.07.2024  Жаркое лето информационной безопасности в СПбГУТ

23.07.2024  Оглушительный успех онлайн-курса по подготовке к экзамену на статус «Сертифицированный специалист по кибербезопасности»

29.12.2023

Может ли ИИ выйти за пределы человеческих возможностей? Отвечают разрушители мифов


Пятый выпуск телепередачи «Разрушители мифов кибербезопасности» на канале «ПроБизнес» был посвящен искусственному интеллекту. Эксперты – ведущий программы, президент ГК «Эшелон» Алексей Марков, и гость студии, председатель технического комитета «Искусственный интеллект», директор по научным проектам НИУ ВШЭ Сергей Гарбук – не только разоблачили мифы, окутавшие эту технологию, но обсудили, как ИИ влияет на кибербезопасность, какие глобальные процессы в области искусственного интеллекта происходят сегодня и какова роль России в исследовании и развитии ИИ.

Даже сам термин «искусственный интеллект», появившийся 70 лет назад, имеет разные трактовки, причем требования к технологии постоянно повышаются.

«Сейчас под ИИ принято понимать область науки и техники, направленную на решение сложных задач обработки данных и управления, в том числе с использованием бионических принципов, которые так или иначе позволяют копировать деятельность мыслительных процессов человека», - объясняет Сергей Гарбук.

Он также подчеркивает, что, хотя область ИИ не сводится только к машинному обучению, но сейчас выдающиеся успехи происходят прежде всего благодаря развитию методов машинного обучения.

Один из главных вопросов, циркулирующих как среди специалистов, так и обывателей, ограничен ли ИИ только копированием человеческого интеллекта или же способен выйти за пределы его возможностей?

«Сейчас он копирует, потому что ИИ и в смысле машинного обучения, и в смысле ИИ, основанного на правилах, опирается на знания, предоставленные ему человеком, - рассуждает гость эфира. – Автоматизированные системы способны, наверное, сформировать свои собственные знания, но тогда они должны обладать определенным уровнем автономности поведения в естественной природной среде. То есть нужны новые требования к сенсорам, независимых от источников энергии, от управления человеком, от целеполагания человеком поведения. Пока, мне кажется, мы находимся не в этой стадии».

Эксперты обсудили использование технологии ИИ в средствах защиты информации (СЗИ). Обнаружение кибератак, проверка ПО на отсутствие недекларированных возможностей, фильтрация трафика – во всех эти сферы уже проник искусственный интеллект, причем технология способна резко повысить эффективность работы специалистов ИБ. Впрочем, необходимо помнить, что по другую сторону баррикад злоумышленники также берут на вооружение ИИ. Причем, если отсутствие 100%-й срабатываемости для киберпреступников не имеет значения, то для специалистов ИБ чрезвычайно важно иметь высокие гарантии точной работы ИИ-инструментов.

Сергей Гарбук также поделился еще одним интересным наблюдением, касательно применения технологии искусственного интеллекта в разработке СЗИ:

«Создание СЗИ заключается в алгоритмизации понятных, интерпретируемых человеком правил. При лицензировании таких СЗИ мы должны убедиться, что набор правил достаточен для эффективного выявления вредоносной активности, с другой стороны, эти правила правильно запрограммированы. В случае машинного обучения так не происходит. Мы не может сформулировать интерпретируемый набор правил, который отличает вредоносную активность от легитимной. Мы лишь можем предъявить системе вредоносные фрагменты информационных массивов, эвристик и добросовестные фрагменты, и система сама формирует критериальное правило. Для сертификации таких СЗИ, основанных на машинном обучении, не разработана методика, которая позволяет давать гарантированные оценки корректности поведения таких СЗИ. В условиях реальной эксплуатации они могут повести себя непредсказуемо».

В передаче были обозначены и основные риски информационной безопасности, связанные с искусственным интеллектом. Одним из первых перед специалистами встает вопрос, как обеспечивать конфиденциальность персональной информации в обучающих наборах данных для ИИ.

Вторая проблема, вытекающая из первой, состоит в том, что по мере накопления массивов данных уровень конфиденциальности информации может возрастать.

«Скажем, сведения о моей поездке на такси за условно 1-2 раза никакого секрета не представляют, и я совершенно не против, чтобы эти сведения были доступны любым желающим, - говорит Сергей Гарбук. – Но сведения о своих поездках на такси за 1 год или 2, наверное, не каждый человек согласится сделать публично доступными, потому что они раскрывают много того, что может быть использовано злоумышленниками для реализации мошеннических сценариев. В какой момент происходит этот качественный скачок, когда данные из публичных становятся чувствительными?»

По мнению эксперта, человек оценить это не сможет. На помощь здесь могут прийти только автоматизированные процедуры оценки конфиденциальности накопленных данных, но таких процедур еще не разработано.

Наконец, третья важная проблема заключается в деструктивном информационно-психологическом воздействии на общество, которое может происходить, к примеру, при некорректной работе крупных поисковых систем приведет к искажению значимых фактов.

К настоящему моменту разработано около 40 международных документов по стандартизации, которые регламентируют различные стороны создания и применения технологий ИИ. Во всех инициативах активно участвуют и представители нашей страны. Ключевая позиция России – независимо от того, где и кем была создана система ИИ, конечный потребитель должен иметь возможность убедиться в функциональной корректности и безопасности этой системы благодаря эффективным испытаниям на месте.


Возврат к списку