소원을 말해봐AI value engineering

스팍스 서울 티파티 2017-02

서상현2017-02-26

악의 문제Is God willing to prevent evil, but not

able?Then she is not omnipotentIs God able, but not willing?Then she is malevolentIs she both able and willing?Then whence evil?

지니의 분류• 무능한 지니• 악한 지니• 선한 지니

소원을 말해봐소원은 말할 필요가 없는 것이다왜냐하면소원을 오해하지 않는 지니는 이미 선하기 때문이다

마 7:11너희가 악한 자라도 좋은 것으로 자식에게 줄 줄 알거든하물며 하늘에 계신 너희 아버지께서 구하는 자에게 좋은 것으로 주시지 않겠느냐

응용신학소원을 오해하지 않는 선한 지니를 어떻게 만들 것인가 ?

어부와 지니• 어부가 항아리를 발견• 항아리에서 지니가 나옴• 너를 반드시 죽이겠다–마지막 소원이 무엇이냐 ?

• 다시 항아리 안으로 들어가 보세요–거기서 나왔다니 못믿겠어요

• 항아리 뚜껑을 닫음

교정가능성 (Corrigibility)선한 지니는 모르겠고 항아리 안으로 다시 들어가는 지니를 만들어 봅시다

정지 문제 (Shutdown Prob-lem)

• 로봇• 전선• 스위치• 스위치를 누르면 전선을 통해 신호가 전달되어 로봇이 정지한다

문제 1• 로봇• 전선 (X)• 스위치• 정지를 원하지 않는 로봇이 전선을 자른다

문제 2• 로봇• 전선• 스위치 (O)

• 정지를 원하는 로봇이 스스로 스위치를 누른다

스위치는 왜 존재하는가 ?• 스위치를 눌러야 할지 그렇지 않은지 불확실성이 존재한다• 눌러야 할 게 확실하다면 로봇을 만들지 말아야지• 누르지 않을 게 확실하다면 스위치가 필요없지

자살 테러 문제• 현세 < 내세인데 왜 살아야 해 ?• 자살하면 지옥감• 현세 > 내세인데 왜 죽어야 해 ?• 순교하면 천국감

비전지성• 산타 할아버지는 모든 것을 알고 계심• 우리는 아님• 자살이란 무엇인가 ?• 순교란 무엇인가 ?• 오해를 걱정한다면 이미 망한 것

방법 1• 기적 (miracle)

• 스위치는 기적의 스위치라 사람이 눌러야만 동작하고 로봇이 누르면 동작하지 않음• 정지 신호의 조작불가능성을 공리화• 로봇은 세계에 대한 거짓된 믿음을 가짐

방법 2• 무관심 (indifference)

• 내세에 현세와 정확히 동일한 복락이 주어짐• 스위치를 누를 이유도 누르지 않을 이유도 없음• 정지 장치를 보존하지 않음

불확실성 (Uncertainty)• 눌러야 할지 안눌러야 할지 모름• 사람과 로봇이 문제를 같이 탐구• Cooperative Inverse Reinforcement

Learning

조언의 문제• 사람

CFC 는 냉매로 좋은걸 ?• 로봇하지만 오존층을 파괴해 !• 사람 , 로봇앗 그만둬야지

조작의 문제• 사람헤로인은 진통제야 !• 로봇평소에도 기분이 좋은걸 ?• 사람 , 로봇뿅가죽네

창문 문제• 창문을 여닫는 AI

• 창문이 열려있으면 1 점• 창문이 닫혀있으면 2 점

창문 문제• 창문을 여닫고 TV 채널도 선택하는 AI

• TV 를 보면 2 점• 등산을 보고 창문이 열려있으면 4 점• 스모그를 보고 창문이 닫혀있으면 3 점