MULTI AGENT GAME AI DEEP LEARNING CLUSTERDeep q learning agent의 역습 (4 layers, drop-out)...

44
성낙호, NCSOFT MULTI AGENT GAME AI DEEP LEARNING CLUSTER

Transcript of MULTI AGENT GAME AI DEEP LEARNING CLUSTERDeep q learning agent의 역습 (4 layers, drop-out)...

Page 1: MULTI AGENT GAME AI DEEP LEARNING CLUSTERDeep q learning agent의 역습 (4 layers, drop-out) Expectation-based greedy agent의 복수 2015.3 CUDA cluster 구축 LSTM agent의 완승

성낙호, NCSOFT

MULTI AGENT GAME AI DEEP LEARNING CLUSTER

Page 2: MULTI AGENT GAME AI DEEP LEARNING CLUSTERDeep q learning agent의 역습 (4 layers, drop-out) Expectation-based greedy agent의 복수 2015.3 CUDA cluster 구축 LSTM agent의 완승

실제 서비스에 사용할 수준으로 개발

MISSION Diablo, AION, LOL 같은…

Multiplayer RPG 게임에서의 파티 플레이가 가능한 전투 AI를

Page 3: MULTI AGENT GAME AI DEEP LEARNING CLUSTERDeep q learning agent의 역습 (4 layers, drop-out) Expectation-based greedy agent의 복수 2015.3 CUDA cluster 구축 LSTM agent의 완승

CHALLENGE 게임 규칙의 복잡도

멀티 플레이

Real-time

Page 4: MULTI AGENT GAME AI DEEP LEARNING CLUSTERDeep q learning agent의 역습 (4 layers, drop-out) Expectation-based greedy agent의 복수 2015.3 CUDA cluster 구축 LSTM agent의 완승

어려움#1 - 복잡한 규칙 플레이어

캐릭터

스킬

효과

고유 캐릭터

고유 스킬, 능력치, 상태값, 물리적인 ‘실체’ (연속 좌표계, 2D/3D)

고유 사용 조건, 효과

상태 이상을 포함한 다양한 능력치, 상태값 변경 규칙

… '규칙성' 없는 규칙들의 집합

Page 5: MULTI AGENT GAME AI DEEP LEARNING CLUSTERDeep q learning agent의 역습 (4 layers, drop-out) Expectation-based greedy agent의 복수 2015.3 CUDA cluster 구축 LSTM agent의 완승

어려움#2 - 다자간 협력 플레이

‘오더’를 내리는 사령관 없이, ‘스스로’‘팀 플레이’

Page 6: MULTI AGENT GAME AI DEEP LEARNING CLUSTERDeep q learning agent의 역습 (4 layers, drop-out) Expectation-based greedy agent의 복수 2015.3 CUDA cluster 구축 LSTM agent의 완승

TOO COMPLEX TO EXPLORE/CODE Compute:

기존의 AI algorithm을 적용하기에는 너무 복잡함

실제 서비스 가능한 수준의 계산량을 크게 상회함

Code:

Handcrafted algorithm으로 대처하기에는 감당할 수 없는 유지 보수 비용

REINFORCEMENT LEARNING

Page 7: MULTI AGENT GAME AI DEEP LEARNING CLUSTERDeep q learning agent의 역습 (4 layers, drop-out) Expectation-based greedy agent의 복수 2015.3 CUDA cluster 구축 LSTM agent의 완승

이전의 GAME AI 연구 MCTS Mario – Non real time

Deepmind – Simple atari game

MCTS Mario. "MCTS Super Mario AI #4 - Final Combination." Emil Juul Jacobsen. YouTube,

"Google DeepMind's Deep Q-learning playing Atari Breakout" Károly Zsolnai-Fehér. YouTube,

Page 8: MULTI AGENT GAME AI DEEP LEARNING CLUSTERDeep q learning agent의 역습 (4 layers, drop-out) Expectation-based greedy agent의 복수 2015.3 CUDA cluster 구축 LSTM agent의 완승

START SMALL GROW BIG 핵심 문제 속성을 공유하는 실험 게임 제작

Mini LOL

두 개의 클래스, 간단한 맵

그래픽 요소 제거한 텍스트 기반 게임

Page 9: MULTI AGENT GAME AI DEEP LEARNING CLUSTERDeep q learning agent의 역습 (4 layers, drop-out) Expectation-based greedy agent의 복수 2015.3 CUDA cluster 구축 LSTM agent의 완승

MINILOL: EFFECT DirectDamage

Buff

Debuff

Stun

Heal

Cure

HealPerTick

MPHealPerTick

Dash

HealReflect

SplashDamage

Page 10: MULTI AGENT GAME AI DEEP LEARNING CLUSTERDeep q learning agent의 역습 (4 layers, drop-out) Expectation-based greedy agent의 복수 2015.3 CUDA cluster 구축 LSTM agent의 완승

MINILOL: RENEKTON 양떼 도륙 C: 7, CT: 15, R: 2.4 DirectDamage / HealReflect 무자비한 포식자 C: 12, CT: 30, R: 2.4 DirectDamage / Stun 자르고 토막내기 C: 18, CT: 21, R: 3.0 DirectDamage / Dash 강신 C: 24, CT:90, R: 3.0 Heal / MPHealPerTick

http://leagueoflegends.wikia.com/wiki/Renekton

Page 11: MULTI AGENT GAME AI DEEP LEARNING CLUSTERDeep q learning agent의 역습 (4 layers, drop-out) Expectation-based greedy agent의 복수 2015.3 CUDA cluster 구축 LSTM agent의 완승

MINILOL: KAYLE

징벌 C: 12, CT: 7, R: 3.8 DirectDamage / DeBuff (Speed) 신성한 축복 C: 27, CT: 45, R: 6.0 Heal / Buff (Speed) 정의로운 분노 C: 17, CT: 25, R: 1.0 Buff (Range) 중재 C: 0, CT:90, R: 1.0 Buff (Invincible)

http://leagueoflegends.wikia.com/wiki/Kayle

Page 12: MULTI AGENT GAME AI DEEP LEARNING CLUSTERDeep q learning agent의 역습 (4 layers, drop-out) Expectation-based greedy agent의 복수 2015.3 CUDA cluster 구축 LSTM agent의 완승

BLACKBOX LEARNING

게임의 규칙을 전혀 모르고 만든

Reinforcement learning agent

Page 13: MULTI AGENT GAME AI DEEP LEARNING CLUSTERDeep q learning agent의 역습 (4 layers, drop-out) Expectation-based greedy agent의 복수 2015.3 CUDA cluster 구축 LSTM agent의 완승

START SMALL TO GROW BIG

Page 14: MULTI AGENT GAME AI DEEP LEARNING CLUSTERDeep q learning agent의 역습 (4 layers, drop-out) Expectation-based greedy agent의 복수 2015.3 CUDA cluster 구축 LSTM agent의 완승

자동화된 AI 경연장 여러 종류의 방법론을 실험하기 위한 경연장

다양한 시나리오의 매치를 동시에 진행

새로운 에이전트의 능력을 객관적 지표화

Behavior tree

Evaluation function

simple greedy, expectation based greedy

Reinforcement learning

Deep learning

N vs N

1 on 1, 3 on 3, 5 on 5

Class

1-class, 2-classes

Map

Hollow, bush, wall,

Page 15: MULTI AGENT GAME AI DEEP LEARNING CLUSTERDeep q learning agent의 역습 (4 layers, drop-out) Expectation-based greedy agent의 복수 2015.3 CUDA cluster 구축 LSTM agent의 완승

기록: 2014.12

1on1 5on5 5on5/fixed

bushes hollow wall/bush

DQN 156 136 132 133 141 139

greedy/best

133 107 109 113 112 118

BT/best 90 109 114 115 115 115

Page 16: MULTI AGENT GAME AI DEEP LEARNING CLUSTERDeep q learning agent의 역습 (4 layers, drop-out) Expectation-based greedy agent의 복수 2015.3 CUDA cluster 구축 LSTM agent의 완승

영상: 2014. 12

Page 17: MULTI AGENT GAME AI DEEP LEARNING CLUSTERDeep q learning agent의 역습 (4 layers, drop-out) Expectation-based greedy agent의 복수 2015.3 CUDA cluster 구축 LSTM agent의 완승

경연의 기록 2014.11

Simple greedy(evaluation function) agent의 우세

Behavior tree agent의 역습

개선된 greedy agent의 완승

2014.12

Deep q learning agent의 역습 (4 layers, drop-out)

Expectation-based greedy agent의 복수

2015.3

CUDA cluster 구축

LSTM agent의 완승 (rmsprop, 7 layers, max-out)

Page 18: MULTI AGENT GAME AI DEEP LEARNING CLUSTERDeep q learning agent의 역습 (4 layers, drop-out) Expectation-based greedy agent의 복수 2015.3 CUDA cluster 구축 LSTM agent의 완승

GTX980 X 2 X 30

Page 19: MULTI AGENT GAME AI DEEP LEARNING CLUSTERDeep q learning agent의 역습 (4 layers, drop-out) Expectation-based greedy agent의 복수 2015.3 CUDA cluster 구축 LSTM agent의 완승

현재까지의 성과 >90% 승률:

Hand crafted feature (거의) 없이

경쟁 상대 AI 개발 중단으로 연구 종료

Page 20: MULTI AGENT GAME AI DEEP LEARNING CLUSTERDeep q learning agent의 역습 (4 layers, drop-out) Expectation-based greedy agent의 복수 2015.3 CUDA cluster 구축 LSTM agent의 완승

Q LEARNING

Page 21: MULTI AGENT GAME AI DEEP LEARNING CLUSTERDeep q learning agent의 역습 (4 layers, drop-out) Expectation-based greedy agent의 복수 2015.3 CUDA cluster 구축 LSTM agent의 완승

APPROX Q LEARNING

연속 상태 공간을 다루기 위해 필연적

Neural fitted Q Iteration (Riedmiller, 2005)

Page 22: MULTI AGENT GAME AI DEEP LEARNING CLUSTERDeep q learning agent의 역습 (4 layers, drop-out) Expectation-based greedy agent의 복수 2015.3 CUDA cluster 구축 LSTM agent의 완승

DEEP Q LEARNING NETWORK

Supervised learning

Input: SxA, Target: Q

Iterative learning

Q value는 iterative algorithm으로 update됨

Page 23: MULTI AGENT GAME AI DEEP LEARNING CLUSTERDeep q learning agent의 역습 (4 layers, drop-out) Expectation-based greedy agent의 복수 2015.3 CUDA cluster 구축 LSTM agent의 완승

NFQ의 어려움

두 개의 반복 알고리즘

전체 성능이 안정적이지 않은 양상을 띔

Page 24: MULTI AGENT GAME AI DEEP LEARNING CLUSTERDeep q learning agent의 역습 (4 layers, drop-out) Expectation-based greedy agent의 복수 2015.3 CUDA cluster 구축 LSTM agent의 완승

QUEST: “Q-VALUE를 학습하세요”

State, action, reward design

불안정한 학습

Over-fitting

Under-fitting

Page 25: MULTI AGENT GAME AI DEEP LEARNING CLUSTERDeep q learning agent의 역습 (4 layers, drop-out) Expectation-based greedy agent의 복수 2015.3 CUDA cluster 구축 LSTM agent의 완승

STATE, ACTION AND REWARD

State := (global, self, friend-1, friend-2, .., enemy-1, enemy-2, …)

invariance

Page 26: MULTI AGENT GAME AI DEEP LEARNING CLUSTERDeep q learning agent의 역습 (4 layers, drop-out) Expectation-based greedy agent의 복수 2015.3 CUDA cluster 구축 LSTM agent의 완승

STATE, ACTION AND REWARD

Action := (Move-commands, Action-commands)

Unrolled

Move-commands := (Stop, [MoveAction.Id, Target.Id]*)

Action-commands := ([Action.Id, Target.Id]*)

Page 27: MULTI AGENT GAME AI DEEP LEARNING CLUSTERDeep q learning agent의 역습 (4 layers, drop-out) Expectation-based greedy agent의 복수 2015.3 CUDA cluster 구축 LSTM agent의 완승

STATE, ACTION AND REWARD Team reward

팀의 승리를 위해서는 기꺼이 자신을 희생할 수 있도록

Page 28: MULTI AGENT GAME AI DEEP LEARNING CLUSTERDeep q learning agent의 역습 (4 layers, drop-out) Expectation-based greedy agent의 복수 2015.3 CUDA cluster 구축 LSTM agent의 완승

STABILIZERS

Many simultaneous simulators

~30 simulators

Freezing network (Deepmind, 2015)

Network - double buffering

Page 29: MULTI AGENT GAME AI DEEP LEARNING CLUSTERDeep q learning agent의 역습 (4 layers, drop-out) Expectation-based greedy agent의 복수 2015.3 CUDA cluster 구축 LSTM agent의 완승

LEARNING TECHNIQUE

Normalized feature

rmsprop/DropOut for deeper network

MaxOut

Hyper parameter optimization

LSTM

Page 30: MULTI AGENT GAME AI DEEP LEARNING CLUSTERDeep q learning agent의 역습 (4 layers, drop-out) Expectation-based greedy agent의 복수 2015.3 CUDA cluster 구축 LSTM agent의 완승

DEMO

Page 31: MULTI AGENT GAME AI DEEP LEARNING CLUSTERDeep q learning agent의 역습 (4 layers, drop-out) Expectation-based greedy agent의 복수 2015.3 CUDA cluster 구축 LSTM agent의 완승

NORMALIZED FEATURE 빠른 학습

Network의 빠른 학습을 위해 feature는 [-1,1] 혹은 [0,1]로 normalize

Ranged value의 경우, tile-mapping 적용

참고: Batch normalization

예

Health : Health / MaxHealth [0,1]

Distance : [0,최대공격거리), [최대공격거리,최대시야거리) tile-mapping

Page 32: MULTI AGENT GAME AI DEEP LEARNING CLUSTERDeep q learning agent의 역습 (4 layers, drop-out) Expectation-based greedy agent의 복수 2015.3 CUDA cluster 구축 LSTM agent의 완승

GOING DEEP: DROP OUT, RMSPROP Overfit을 drop out으로 억제 (Hinton, 2014)

Automatic ensemble (2^N networks)

Vanishing gradient 문제를 rmsprop으로 완화

+ momentum, clip

Srivastava, Nitish, et al. "Dropout: A simple way to prevent neural networks from overfitting." The Journal of Machine Learning Research 15.1 (2014): 1929-1958. http://cs231n.github.io/neural-networks-3/

Page 33: MULTI AGENT GAME AI DEEP LEARNING CLUSTERDeep q learning agent의 역습 (4 layers, drop-out) Expectation-based greedy agent의 복수 2015.3 CUDA cluster 구축 LSTM agent의 완승

MAX OUT Maxout networks (Goodfellow, 2013)

Piecewise linear function

Q value를 구성하는 데에는 ReLu, PReLu보다 나을 것으로 보임

ReLu : 1 parameter max unit

P-ReLu : 2 parameters max unit

Maxout : 2k parameters max unit

MaxOut(K = 5)을 기본 activation unit으로 사용

Goodfellow, Ian J., et al. "Maxout networks." arXiv preprint arXiv:1302.4389(2013).

Non logistic regression!

Page 34: MULTI AGENT GAME AI DEEP LEARNING CLUSTERDeep q learning agent의 역습 (4 layers, drop-out) Expectation-based greedy agent의 복수 2015.3 CUDA cluster 구축 LSTM agent의 완승

LSTM

고차원 정보

State에 위치 정보가 있다면, 속도, 가속도, 이동 거리를 계산할 수 있음

무엇을 기억하고 사용하는지는 알 수 없지만, 볼 수는 있음

Back propagation through time

Replay memory에서 randomly sampled sequence를 추출해 unrolling

http://blog.otoro.net/2015/05/14/long-short-term-memory/

Frame 경계를 벗어난 정보 가공의 학습

Page 35: MULTI AGENT GAME AI DEEP LEARNING CLUSTERDeep q learning agent의 역습 (4 layers, drop-out) Expectation-based greedy agent의 복수 2015.3 CUDA cluster 구축 LSTM agent의 완승

MEASURE AND TUNE

네트워크의 성능 Agent 성능 반복 측정

모델의 성능 Iteration별 네트워크 성능 추세

최적화된 hyper parameter 측정의 반복!

Page 36: MULTI AGENT GAME AI DEEP LEARNING CLUSTERDeep q learning agent의 역습 (4 layers, drop-out) Expectation-based greedy agent의 복수 2015.3 CUDA cluster 구축 LSTM agent의 완승

HYPER-PARAMETER OPTIMIZATION

Random search for hyper parameter optimization (Bengio, 2012)

미리 설정해 놓은 hyper parameter 공간 안에서 최적화

Current best보다 좋지 못할 sample은 자동 drop

Bergstra, James, and Yoshua Bengio. "Random search for hyper-parameter optimization." The Journal of Machine Learning Research 13.1 (2012): 281-305.

Page 37: MULTI AGENT GAME AI DEEP LEARNING CLUSTERDeep q learning agent의 역습 (4 layers, drop-out) Expectation-based greedy agent의 복수 2015.3 CUDA cluster 구축 LSTM agent의 완승

IN-HOUSE CLUSTER

시도해 봐야 할 많은 조합 Data parallelism

Page 38: MULTI AGENT GAME AI DEEP LEARNING CLUSTERDeep q learning agent의 역습 (4 layers, drop-out) Expectation-based greedy agent의 복수 2015.3 CUDA cluster 구축 LSTM agent의 완승

STACK Docker

CUDA

Caffe

C++11

Node.js (websocket, angular.js)

0-mq

Redis

Page 39: MULTI AGENT GAME AI DEEP LEARNING CLUSTERDeep q learning agent의 역습 (4 layers, drop-out) Expectation-based greedy agent의 복수 2015.3 CUDA cluster 구축 LSTM agent의 완승

IN-HOUSE CLUSTER

Dockerize everything

구현 비용 : ~2MM

Page 40: MULTI AGENT GAME AI DEEP LEARNING CLUSTERDeep q learning agent의 역습 (4 layers, drop-out) Expectation-based greedy agent의 복수 2015.3 CUDA cluster 구축 LSTM agent의 완승

FASTER EXPERIMENT

Automated build / deploy

소스 코드가 gitlab에 push 되면,

Compute machine의 docker에 각각 자동 build 요청이 들어가고,

새로운 version으로 자동으로 배포됨

<10s : 코드 변경 배포/실행

Page 41: MULTI AGENT GAME AI DEEP LEARNING CLUSTERDeep q learning agent의 역습 (4 layers, drop-out) Expectation-based greedy agent의 복수 2015.3 CUDA cluster 구축 LSTM agent의 완승

PLUGGABLE SIMULATOR

Simulator 독립적인 구조

현재까지 구현된 simulator

MiniLOL

UnrealEngine4 Deep learning plugin

Page 42: MULTI AGENT GAME AI DEEP LEARNING CLUSTERDeep q learning agent의 역습 (4 layers, drop-out) Expectation-based greedy agent의 복수 2015.3 CUDA cluster 구축 LSTM agent의 완승

MEASURE & VISUALIZE

Page 43: MULTI AGENT GAME AI DEEP LEARNING CLUSTERDeep q learning agent의 역습 (4 layers, drop-out) Expectation-based greedy agent의 복수 2015.3 CUDA cluster 구축 LSTM agent의 완승

다음 목표

非-전투 게임 플레이 학습

Offline learning

서비스 중인 게임에서의 로그 기반으로 학습

Low resolution convolution network

지형 지물, war fog 등의 정보

Page 44: MULTI AGENT GAME AI DEEP LEARNING CLUSTERDeep q learning agent의 역습 (4 layers, drop-out) Expectation-based greedy agent의 복수 2015.3 CUDA cluster 구축 LSTM agent의 완승

감사합니다


"Learning solution" e-learning presentation

"Learning solution" e-learning presentation

E learning, b-learning & m-learning

E learning, b-learning & m-learning

156 『바보상자의 역습』 , 대중문화가 어떻게 우리를 더 …이미 복잡계 과학과 창발현상이라는 떠오르는 연구 분야를 흥미진진하고도 알기

156 『바보상자의 역습』 , 대중문화가 어떻게 우리를 더 …이미 복잡계 과학과 창발현상이라는 떠오르는 연구 분야를 흥미진진하고도 알기

Machine Learning Probabilistic Machine Learning · Machine Learning Probabilistic Machine Learning learning as inference, Bayesian Kernel Ridge regression = Gaussian Processes, Bayesian

Machine Learning Probabilistic Machine Learning · Machine Learning Probabilistic Machine Learning learning as inference, Bayesian Kernel Ridge regression = Gaussian Processes, Bayesian

E-LEARNING · "story-learning", "action-learning", "tutoriel" et "afest" e-learning digital-learning m-learning micro-learning blended-learning social-learning classe virtuelle adaptive

E-LEARNING · "story-learning", "action-learning", "tutoriel" et "afest" e-learning digital-learning m-learning micro-learning blended-learning social-learning classe virtuelle adaptive

Personal Learning Environments in Future Learning Scenarios€¦ · Learning scenario, personal learning environment, social networks. INTRODUCTION Presumably, learning scenarios

Personal Learning Environments in Future Learning Scenarios€¦ · Learning scenario, personal learning environment, social networks. INTRODUCTION Presumably, learning scenarios

Cloud Object Storage | Store & Retrieve Data Anywhere ...s3.ap-northeast-2.amazonaws.com/st.dangidata/eng...이며, 현재시제, (B)는 단/복수 주어와 모두 사용될 수 있는

Cloud Object Storage | Store & Retrieve Data Anywhere ...s3.ap-northeast-2.amazonaws.com/st.dangidata/eng...이며, 현재시제, (B)는 단/복수 주어와 모두 사용될 수 있는

회사 관리자 사용자 매뉴얼또한, 발송권한을 추가하여 발송권한을 갖고 있는 ‘메시지 발송자’를 복수 둘 수 있습니다. (단, ‘소식관자

회사 관리자 사용자 매뉴얼또한, 발송권한을 추가하여 발송권한을 갖고 있는 ‘메시지 발송자’를 복수 둘 수 있습니다. (단, ‘소식관자

Learning from Learning Curves: Item Response Theory & Learning Factors Analysis

Learning from Learning Curves: Item Response Theory & Learning Factors Analysis

2017 대학안내 - inha.ac.krinha.ac.kr/mbshome/mbs/kr/download/2017/06-06 문과대학.pdf · 전공심화과정 23 복수/연계전공과정 46 부전공과정 34 총 이수학점

2017 대학안내 - inha.ac.krinha.ac.kr/mbshome/mbs/kr/download/2017/06-06 문과대학.pdf · 전공심화과정 23 복수/연계전공과정 46 부전공과정 34 총 이수학점

E-learning & B-learning

E-learning & B-learning

The MongoDB Strikes Back / MongoDB 의 역습

The MongoDB Strikes Back / MongoDB 의 역습

U-learning tv-learning

U-learning tv-learning

7주차 한국어 단어구조(2) - KOCWcontents.kocw.net/KOCW/document/2015/bufs/heoyong/13.pdf · 1.3 단어 구조에 따른 언어 유형 명사: 복수 사 , 소유격 등의

7주차 한국어 단어구조(2) - KOCWcontents.kocw.net/KOCW/document/2015/bufs/heoyong/13.pdf · 1.3 단어 구조에 따른 언어 유형 명사: 복수 사 , 소유격 등의

E-learning, b-learning y m-learning

E-learning, b-learning y m-learning

chinada2.smilecdn.comchinada2.smilecdn.com/.../board/201707/edu_downloa… · Web view입문첫걸음 第 1 课 dì yī kè 1. 人称 rénchēng 인칭 단수 복수 1인칭 我 wǒ

chinada2.smilecdn.comchinada2.smilecdn.com/.../board/201707/edu_downloa… · Web view입문첫걸음 第 1 课 dì yī kè 1. 人称 rénchēng 인칭 단수 복수 1인칭 我 wǒ

Business Plan - seegram.co.krseegram.co.kr/LentechKorea(Korea).pdf · 2세대 두께 0.17-0.38mm 연구개발 성공(Sample 제작 완료) “복수 나노구조물 및 입체렌즈를

Business Plan - seegram.co.krseegram.co.kr/LentechKorea(Korea).pdf · 2세대 두께 0.17-0.38mm 연구개발 성공(Sample 제작 완료) “복수 나노구조물 및 입체렌즈를

e-learning y b-learning

e-learning y b-learning

e-Learning Web-Based Learning), การเรียน · ประโยชน์ของ e-Learning-ยืดหยุ่นในการปรับเปลี่ยนเนื้อหา

e-Learning Web-Based Learning), การเรียน · ประโยชน์ของ e-Learning-ยืดหยุ่นในการปรับเปลี่ยนเนื้อหา

세계에서 가장 독점적인 산업의 공개 · 2018-07-05 · 복수 전공을 한 Daniel은 세일즈, 비즈니스 개발, 미디어 구매, 계획 수립 운영에서 8년

세계에서 가장 독점적인 산업의 공개 · 2018-07-05 · 복수 전공을 한 Daniel은 세일즈, 비즈니스 개발, 미디어 구매, 계획 수립 운영에서 8년