딥러닝 활용 11번가 영상 검색 상용화에 적용

한 경험 공유

SK Planet, Machine Intelligence Lab, 전혁준

이름: 전혁준

탄생일: 19XX년으로 추정

2012~2016(현재) SK플래닛 매니저아직 회고할 시기는 아님...

2011~2012 한국항공우주연구원 , 박사후아리랑 3호 영상검보정팀특수한 영상을 많이 만져보고 나랏일에 도움이 된다는 자부심을 가진 시절...

2005~2011 충남대학교 컴퓨터공학과 석사/박사 학위(지도교수님 : 황치정)많은 것을 해본 시절...

2004 (주)엠게임보드 게임 서버 및 클라이언트 개발 담당사고도 많이 쳤던 시절...개인적으로 벤처하고 싶어서 뛰처 나왔음…젊어서 아쉽지만 짧게 다녔음…그러나 현실은 달랐음 T_T

2004 우송대학교 컴퓨터과학과 학사

전공: 컴퓨터 비전, 패턴 인식, 영상 검색사용 가능 언어: C++/Python/Golang/Lua취미: 매년 달라 짐결혼: 사랑하는 와이프가 있음.

비슷한 이미지 검색의 목적

소비자 관심 > 노출 > 구매

패션 옷!

탐색(아이쇼핑)

가격비교

장바구니 담기

주문/결재

배달

구매 패턴

탐색 구간에 집중!

11번가에 많은 상품!

기존 텍스트 기반

1. 강점a. 대중성 b. 품번 검색c. 키워드 검색d. 검색 대상이 넓음

2. 단점a. 판매자 키워드 조작b. 시각적인 특징 검색이 부족함.

영상 기반 검색

1. 강점a. 판매자의 조작 행위가 어려움 → 영상 자체에서 텍스트 추출

b. 시각적인 특징 부분을 채워줌.

2. 단점a. 참조 사진이 있어야 함.b. 품번 검색을 못함.

효과적으로 비슷한 것을 잘 찾자!

많은 판매 영상

텍스트에서 표현(x) → 시각 정보를 활용하여

탐색(아이쇼핑)

추천 가격비교

질의 추천

비슷한 상품 v.s.

동일 상품

아이 쇼핑 v.s.

가격 비교

Deep Learning 적용

Deep Learning 브랜드 11에 적용 사례

2014.1 2015.122015.1

4월

Deep Learning 기술 활용 브랜드11

- Detector 개선이 필요- 상품만 보는 detector

- 학습 라벨링 데이터 필요(현재 기계학습의 한계!)- 많은 종류의 상품 검출 필요

- 수공업으로 설계하기에는 힘듬.

- Feature 개선 필요- 더 추상적인 시각정보를 담고있는 feature

- 학습 라벨링 데이터 필요(현재 기계학습의 한계!)

Deep Learning 적용(검출기)

학습 데이터 생성

기계 학습은 인간을 모방이 목표

모방 가능한 데이터 생성

데이터 구축 정책

Training Set Validation Set Test Set

(황금 비율)Training Set & Validation Set vs. Test Set:1. 7 : 32. 8(6:2) : 2 (Andrew Ng)

Training set: 모델의 인자를 최적화(학습) 하는 용도개수↑, 정확한 구축↓, 비용↓

Validataion set: 서로 다른 구조로 인자가 여러 개의 최적화된 모델들 중에서 최고로 좋은 것을 찾는 용도,

이 모델의 훈련을 go/stop 판단하는 용도개수↓, 정확한 구축↑, 비용↑

Test set: 잘 훈련한 모델의 성능을 평가하는 용도, 선택된 모델로 튜닝이 안된 셋.개수↓, 정확한 구축↑, 비용↑

라벨링 구축

http://www.youtube.com/watch?v=RuDPPIkfCHY

Deep Learning Object Detector

batch

사람이 수작업으로 라벨링한 화면 Deep Learning으로 검출한 박스(부족한 부분도 학습하여 검출)11번가 패션 상품: 100만장 구축

2015 SK Planet의 Deep Learning Object Detector

Deep Learning 적용(Deep Learning Feature)

Deep Learning Feature

- Inception Network(Googlenet)- Inception-Style Nework(SK Planet)

1000개의 category: http://image-net.org/challenges/LSVRC/2015/browse-synsets

Inception Neural Network - GoogleNet

- Oversampling- Average Pooling Feature- Binary Feature- Hamming Distance

0101∙∙∙0001001

22-Layers

Dense-HOG Feature(Handcrafted Feature)

Dense-HOG Feature v.s. Deep Learning Feature

Deep Learning Feature

그러나기계는 비슷하다고 판단!사람의 직관과 맞지 않는 결

과들...

옷깃의 주름을 보고 판단

목부위에 칼라의 주름을 보고

옷의 벌어진 것의 모양을 보고 판단

칼라의 모양을보고 판단

매듭을 보고 판단 하였음.

피드백

Desen-HOG 보다 패턴 특성을 거리 함수에 잘 적용된다.

일부 내용의 비슷한 점이 거리에 크게 반영된다.

원래 인식기의 학습은 강인성 목표였음.

Feature 최적화 필요: 부분 → 전체 특성

Deep Lerning Feature Extractor - SK Planet

- GoogleNet 개선(11번가 기획자 피드백 반영)- Inception-Style Network

- Multiscale- Dimension Reduction- Network size 제한

- Fully Convolutional Network- Oversampling (x)

피드백

2015. 12. 전체적으로 기존(Dense-HOG)보다 좋다.

2016. 03. - 사람의 직관과 맞는 개선이 더 필요하다.- 입력 절차 간소화.

데모

내부 상품끼리 비슷한 이미지 검색(Detector+Feature)

촬영 기반한 비슷한 상품 검색

결 론

Deep Learning으로 개선 측면

Detector 측면- 카테고리 개선:

- 7 카테고리(21.6%) → 90 카테고리(90%)- ROI 영역 정확성 개선

- 상반신 검출기(포즈에 집중) → 제품에 집중

Feature 측면- 패턴 성능 개선- Robustness 조절이 필요.

손으로 구현한 feature 개발이 많이 해소되었다.

적용이 어려웠던 것이 Deep Learning으로 되더라…

집중도: How → What

관점의 전환

Feature Design 알고리즘 개발:

사람 → 기계학습 데이터 생성에 집중

(show me the money!)

배포

비즈니스 이해데이터 이해

데이터 준비

모델링

모델 평가

데이터 마이닝 프로세스

DATA