↓
 ↑
Регистрация
Имя/email

Пароль

 
Войти при помощи
Marlagram Онлайн
9 ноября 2017
Aa Aa
К вопросу о том, что должны секретить разработчики ИИ с нейросетями. Предположим например, что дроидоделы StarWars входят в эту группу...
...
Хотя метод «заточен» именно для конкретной нейросети, но в комментариях к прошлым научным статьям на эту тему обращали внимание на ремарку исследователей, что, скорее всего, атака подействует на многие модели, обученные на данном конкретном наборе данных — включая разные архитектуры свёрточных сетей и даже линейные классификаторы. Так что для проведения атаки достаточно гипотезы, на основе каких данных могла обучаться модель.

«В конкретных терминах это означает, что вполне вероятно, появляется возможность создать дорожный знак о продаже дома, который для человеческих водителей кажется совершенно обычным, но для беспилотного автомобиля будет казаться пешеходом, который внезапно появился на тротуаре, — сказано в научной работе. — Состязательные примеры вызывают практический интерес, который нужно учитывать по мере того, как нейросети становятся всё более распространёнными (и опасными)».

Для защиты от подобных атак разработчики ИИ будущего может держать в секрете информацию об архитектуре своих нейросетей, а главное — о наборе данных, который использовался при обучении.
...

отсюда
Но как-то это (кажется) дурной принцип - секретить такое...

#Geektimes
9 ноября 2017
9 комментариев
"Security through obscurity", ага. В _нормальной_ ("академической") криптографии от этой практики отказались уже давно.

Хотя если рассматривать нейросеть как своеобразный "криптоалгоритм", где ключ - обучаюшая выборка...
Любопытно и крипово.
В комментариях https://tproger.ru/news/capsule-neural-network такая ссылка. Или к вопросу о сложности. Думаю, такую штуку, если их наловчаться делать, обмануть будет... мягко говоря, тяжело. Сколько там человек различает признаков объектов при первичной идентификации? Даже если 100000, что вряд ли, сеть можно заставить работать с 1000000. И тогда, за исключением аналогов зрительных иллюзий, она будет ошибаться реже, чем человек.
Marlagram Онлайн
Матемаг
Тут надо иметь ввиду обстоятельства.
1. "Идеальный ученик" невозможен, см. работы Уолперта - в качестве следствия из теоремы у любой (конфигурации) нейросетки обязательно будет слабое место.
2. "Железные" ограничения - штука любопытная. Нонче обещают (причём уже два подхода всерьёз раскручено до реальных чипов) радикальное увеличение быстродействия и/или ёмкости, хотя и ценой потери части гибкости...
3. Подборки обучающих выборок - это, на самом деле, стремительно "дорожающая" в смысле потребных ресурсов и вложений штука. Причём пока кажется, что для устранения "длинного хвоста" редких ошибок рост объёма/качества потребной выборки происходит как-то быстрее...
1. "работы Уолперта" - они о нейросетях ЛЮБОЙ конфигурации? То есть, уровень абстракции какой? Если мы введём, допустим, аналог нейромедиаторов или ещё как-то приблизим нейросети к аналогу?
И, да, нам не нужен идеальный, нам нужен ошибающийся реже специально обученного человека.
2. Какой именно части гибкости?
3. Да, но тут есть один хороший факт. Единожды "идеально" обученную нейросеть можно после использовать как программу (или корректней - "прошивку", если нейроны реализованы в железе?) сколько угодно раз.
Marlagram Онлайн
Матемаг
1. Это математика. Я, честно говоря, не очень копал об ограничениях применимости этих теорем - но речь о очень глубоких принципах.
2. С одной стороны, речь о аппаратном ускорении тензорной плавучки малой точности. Это довольно универсальный подход, хотя конечно шаг в сторону от возможностей конкретных АЛУ - и быстродействие падает радикально. С другой стороны, речь о "кремниевых нейронах" - и тут всё куда сложнее...
3. Идеальное обучение невозможно. Более того, как-то обновлять и обмениваться "опытом", как-то достраивать даже на конечных устройствах (правда, это очень сложно сочетается с надёжностью/безопасностью) похоже придётся почти всегда для хоть сколько-нибудь человекозаменяющих систем.
1. А можно где-нибудь обзор этих штук? В смысле, на русском и именно общий, что ли. Например, о той же теореме Гёделя вполне можно без особых проблем рассказать человеку с улицы, слегка введя в термины. Есть эдакое что-то о работах Уолперта али не знаешь-с?
2. Ясно, что ничего не ясно.
3. Точно так же, как и меняют прошивки на телефонах или обновляют программы до новых версий. Не вижу в этом ничего за рамки выходящего обычного процесса поддержки ПО, в котором периодически находятся разного рода баги.
Marlagram Онлайн
Матемаг
Популярно, с водой и неточностями и без конкретных формул - Педро Домингос "Верховный алгоритм: как машинное обучение изменит наш мир".
Вода-то ладно... но неточности:( Спасибо за наводку, в любом случае.
ПОИСК
ФАНФИКОВ









Закрыть
Закрыть
Закрыть