Киберэкспертиза: мифы и реальность

Москва22 июня 2016г.

2

«Экспертиза» – что это?!• Профессиональная (предметная) экспертиза

• Научно-техническая и реализуемости• Первый закон Кларка: Когда уважаемый, но пожилой учёный

утверждает, что что-то возможно, то он почти наверняка прав. Когда он утверждает, что что-то невозможно, — он, весьма вероятно, ошибается.

• Означает ли это, что машинный интеллект должен моделировать работу только молодых экспертов? ;-)

• Исследовательская экспертиза• Эксперт: тот кто решил общепризнанную проблему• Теперь он же может ставить проблемы (предлагать проекты) [случай с

Перельманом: критика Михайлова]

• Предпринимательская (рыночный успех) экспертиза• Госпроекты, венчурные проекты, трейдинг (фундаментальный анализ)• Принципиально предсказать рыночный успех нельзя (не только

чёрные лебеди Талеба, но и калькуляционный аргумент Мизеса)

Системная схема проекта (одного, под вашим контролем).Будущее не под вашим контролем, там множество проектов.

3

Инженерный менеджмент

Инженерия

Технологический менеджмент

Using system

Enabling system

System of interest

БудущееБудущее

Будущее

Будущее

БудущееТехнологический менеджмент и предпринимательство

Научно-техническая экспертиза и экспертиза реализуемости

4

Предпринимательство

• Научиться угадывать будущее нельзя [по Талебу – «чёрный лебедь»]• Готовность принять риск, без риска не бывает.• Не делать глупых ошибок (модели, чеклисты, экспертизы) [по Талебу «не

быть лохом»] – научно-техническая и реализационная экспертиза тут• Полно исключений и контрпримеров, гарантирующей успех теории нет,

поэтому технологии тоже нет.

Стремительное окончание «зимы искусственного интеллекта».Всё будет быстро

http://blogs.nvidia.com/blog/2016/01/12/accelerating-ai-artificial-intelligence-gpus/

2012 – догадались использовать GPU для распознавания изображений

2015 –стали распознавать лучше людей

С тех пор темп открытий не уменьшился.

6

Машинный интеллект• 2012 старт очевидного

«пузыря» -- очередное «лето AI»

• Что изменилось?• Обучение как главная

парадигма (в том числе с подкреплением для построения планов)

• «Чуйка», или распределённые представления

• Многоуровневые абстракции, или глубокие сети

• Картинки, аудио, видео и тексты как «одно и то же»

• Сейчас: период раздутых обещаний, «в ожидании AGI»

http://arxiv.org/abs/1606.05433

7

Глубокое обучение: глубокие абстракции

• У людей не так много уровней нейронной сети, в компьютерах уже сегодня число уровней моделируется больше, чем в мозге (Microsoft демонстрировала 1152 уровня!).

• Это означает, что мощность представления мира в нейронных сетях в каждой предметной области выше. Так что речь сейчас идёт больше о наборе достаточной «широты» (предметных областей), глубины (числа уровней абстракции) уже хватает.

• Снятие ограничения на число уровней абстракции заодно позволяет нейронной сети быть «умней» в науке и инженерии: работать с более сложными, более абстрактными теориями и эвристиками – в том числе и недоступными для понимания человеком (superhuman performance).

8

Теорема бесплатного завтрака

Shallow LearningBig Data

Deep Learning

Neuroevolution

Bayes Army

Symbolic

Предел обучения(запрос DARPA)https://www.fbo.gov/utils/view?id=933e5aa90007234da5cc8c38615b8cc3

What are the fundamental limitations inherent in machine learning systems?A historical analogy is the Shannon channel capacity limit which established the achievable limit of the information rate that can be transmitted on a noisy channel and can be fully recovered at the receiver. The Shannon limit mentioned here is an analogy only and is not suggestive of any particular approach.

Articulation of a general mathematical framework that, independent of any particular machine learning method, provides quantifiable and generalizable measures of learning and fundamental limits across supervised, unsupervised, and reinforcement learning settings.

9

Использование машинного интеллекта в экспертизе• Прямо использовать для экспертного заключения

ещё нельзя, и долго будет нельзя! Машинного интеллекта ещё нет, superhuman performance – только в простейших задачах (типа игр, например в Go).

Можно использовать:• Как источник идей по теории экспертизы• Для не слишком формальной («интуитивной»)

обработки информации при организации экспертизы

10

Идеи по теории экспертизыPerhaps then it would make sense sometimes to reward maximal disagreement instead of agreement. It’s possible that anti-consensus may be more interesting than bland agreement. After all, attracting a unanimous vote in science could be a sign of nothing more than echoing the status quo. If you’re doing whatever is hot and parrot the right buzzwords, you might be able to attract wide support.

On the other hand, an interesting idea is likely to split votes. At the border between our present knowledge and the unknown are questions whose answers remain uncertain. That’s why the opinions of experts should diverge in such uncharted territory. It’s in this wild borderland between the known and the unknown that we should want our greatest minds probing, rather than within the comfortable vacation-spot of maximal consensus. Just think, which project is likely more revolutionary, one that receives excellent, excellent, poor, poor, or one that receives excellent, excellent, excellent, excellent? Splitting experts may be more of an achievement than unifying them.

Note that we’re not suggesting that all-around poor proposals should be funded. If experts all agree that an idea is terrible, as in poor, poor, poor, poor, then there’s no evidence that it’s worth pursuing. But when experts radically disagree with each other, something interesting is happening

На базе идей и экспериментов эволюционного подхода к машинному обучению

11

Помощь в организации экспертизы: путь нейронет• Помощь отдельным экспертам (персональные

ассистенты, «киберпсихика» для повышения осознанности в экспертизе), http://openmeta.livejournal.com/237056.html• Виртуальный коллаборативный ассистент

экспертной очной панели:• Отслеживание групповой когнитивной нагрузки

http://openmeta.livejournal.com/236784.html• Отслеживание групповой динамики• Факт-чекинг

12

Помощь в организации экспертизы: традиционная оргработа• Поиск экспертов: автоматизация HR

• Поиск экспертов по информации в социальных сетях и библиографических базах данных (поиск сотрудников)

• Помощь в проведении переговоров по найму и в ходе ЖЦ оценки (сценарии диалога, технологии call-centers и переписки, чат-боты). Если сообщать, что переговоры ведёт робот, люди готовы быть терпимыми к ошибкам робота.

• Секретарская оргработа (напоминания, организация проведения совещаний, x.ai)

• Compliance:• Проверка отсутствия конфликта интересов• соответствия результатов экспертизы принятым

административным форматам (но самое интересное будет пропущено из-за несоответствия форматам)

• Факт-чекинг

13

Спасибо за внимание

2016Анатолий Левенчук,http://ailev.ruailev@asmp.msk.su