* 중소형스마트팩토리를위한대용량데이터저장및활용방안

* 김찬석 부사장

* aimSystems

Contents

1. 제조현장의 대용량 데이터

4. 활용 사례

2. 주요 핵심 기술 및 기능

3. aimDBBank 기능 소개

3

[Heading 1 Arial,24pt,bold]

• [Heading 2, Arial, 24pt]

– [Heading 3. Arial, 20pt]Figure 1 [Figure Caption, Times New Roman, 12pt]

Table 1 [Table Caption, Times New Roman, 12pt]

[제조현장의대용량데이터]

4

• MES 데이터 –생산이력데이터의 장기저장 (10년이상)– 대상 : Lot History, 검/계측데이터– 문제점 : 저장비용상승 - DBMS 필요, Disk 가격, Tape Backup

시의불편함

• 센서데이터 –설비센서에서발생하는 설비상태모니터링데이터– 1초당여러항목들을수집– 문제점 : 센서데이터의과다로저장비용상승

• Log 데이터 –시스템/설비등 Log 데이터– 설비이상유무, 문제발생시 Trace

– 문제점 : Text 데이터로문제발생시분석의어려움

[MES 이력데이터저장및활용]

• MES 및자동화시스템의 DB에서생산완료된 Lot 데이터를주기적으로아카이브후적재하고이를조회할수있는기능

App

MES

DB

App

EAS

DB

App

MCS

DB

데이터이력조회DSS (Distributed Storage

Solution )

ETL Module

Lot 이력, 품질이력(DCOLL), Rework 등의주요항목조회

IN

OUT

• 생산완료된데이터에대해서 History, 품질이력을 Document 및Binary 형태로저장

검사데이터계측데이터

Lot 이력

고객요구및소비자분쟁시신속한대응

[설비센서데이터분석]

• 설비센서데이터저장, 조회및분석기능

APP

•설비상태

•제품진행정보

•설비센서데이터

설비

Server

DSS (Distributed Storage

Solution )

• 설비센서데이터적재• 실시간설비상태모니터링및불량발생시센서데이터분석

설비센서데이터를설비와I/F하여저장

센서데이터분석

VID 3

Chamber B

Chamber C

Material In

Median, Cp/ Cpk, Std

Chamber B Chamber C

Cpk : 0.95 Cpk : 1.10

[로그데이터분석]

• 설비센서데이터저장, 조회및분석기능

APP

•장비상태변경

•제품진행정보

•장비Alarm 정보

Syste

m

장비

Server

DSS (Distributed Storage

Solution )

• 장비로그, 시스템로그등의로그파일을 DSS 에적재

• 비정형데이터를정형화시키는 Data Mining 기법적용

Agent

Log Agent 를이용하여App, 장비 Log 를자동수집

Log분석

일수백 GB ~ 수 TB 이상대용량고속검색.

필요시신속한검색

대용량검색/분석

장비및시스템간연관분석이가능

장애사전조치

신규장비추가시로그추가구성 /

빠르게변화하는요구사항대응

비정형로그추가

장비로그, 시스템로그, 사용자로그, 보안로그

등의각로그에맞는시스템개발가능

다양한업무시스템확장

Contents

1. 제조현장의 대용량 데이터

4. 활용 사례

2. 주요 핵심 기술 및 기능

3. aimDBBank 기능 소개

* DSS (Distributed Storage Solution)

* ATS (Archiving & Tracing Solution)

[기술개요]

• aimDB 는 NoSQL 데이터베이스기술의성능을최대로활용, 지속적으로가장높은성능을구현하도록최적화된Distributed Storage Solution 전용어플라이언스제품

• Big Data 처리 S/W 기술과 Big Data 전용 H/W 기술을결합하여확장이가능하도록설계된일체형제품

NoSQL

•최적화된 NoSQL

•전용 S/W

•빅데이터서버

•저비용고효율의최적의 H/W SPEC

에임시스템분산처리프레임워크

+ 데이터처리기술

+

•데이터추출기술

•데이터분산처리

[고성능]

• Memory-mapped File (OS에서제공하는 mmap 을사용)

기법을사용하여메모리용량내에서는 In-Memory DB 급의성능을보장

• 데이터를 write 할때, 논리적으로 memory 공간에 write 하고, 일정주기에따라서이메모리 Block 을주기적으로Disk 로 write 함으로써, 성능보장 (Hot Data 기준)

[고안정성]

• Replica Set : 과거의 Master-Slave Replication 대신, 3대이상의노드가결합된보다안정적인 Replica Set 을지원

• Single Primary – Multiple Secondary 구조

• Replica Set 내에서자동 Fail-Over 지원

Primary

Secondary Secondary Secondary

Rep

lica

tion

Heartbeat Heartbeat

한국

미국

[쉬운확장성]

• Sharding : N 대의 Shard 에데이터를분산저장하는기법

• 조회나통계명령어를경우에따라각 Shard Node 에나누어서실행가능 (M/R 이용)

Collection

1 TB

Shard A

256 GB

Shard B

256 GB

Shard C

256 GB

Shard D

256 GB

[Data 추출]

• 다른시스템의 DB 나 File 로부터 Data 를추출하여변환또는가공된 Data 를또다른시스템으로적재

• 사용자는 Data 의추출, 변환, 적재에따른일련의과정을시각적으로표현할수있으며작성된 Job 을바로수행하거나 Schedule 에의해정해진시간에따라수행도가능

[관리기능 (1/3)]

• Dash board

[관리기능 (2/3)]

• Instance 및 Sharding 정보

[관리기능 (3/3)]

• 각항목별모니터링 (그래프)(Page fault, Lock, Memory, Connection 정보, 쿼리현황, 네트워크송수신)

Page Fault Lock Memory

Connection Query Network

Contents

1. 제조현장의 대용량 데이터

4. 활용 사례

2. 주요 핵심 기술 및 기능

3. aimDBBank 기능 소개

[데이터백업및조회솔루션]

• 단순 Backup 시스템이아닌, 실시간 Back up 및즉시조회, 분석등이가능하고초기구축비용이높지않은고효율의솔루션

[설비BOM 구축]

aimBox (Hardware)

aimDB (Software)

Client

(Web/Mobile)

• 이력데이터조회및검색기능으로빠르고

편리한시스템제공

• Web, Mobile 지원

• 실시간 Backup 기능과 , 이를쉽게분산

처리할수있는기능제공

• 고성능, 고가용성지원

• 낮은가격, 고성능의하드웨어

• Scale-out, up 모두가능한형태의구성지원 :

향후확장성이용이함

주요특징

aimDBBank

[시스템구축구성도]

MES DB

MES

기존시스템

Tape

Backup

ETL aimDB aimDB aimDB

Web

Server

• 12 T (3T *

4)

• Xeon CPU

• 64G Mem

•…….

• 12 T (3T *

4)

• Xeon CPU

• 64G Mem

•…….

• 12 T (3T *

4)

• Xeon CPU

• 64G Mem

•…….

구분 업무 Remark

aimDB 어플라이언스시스템 신규구매또는기존서버활용

ETL 기존시스템 Data 추출기존서버활용 (통합운영)

Web Server Web Service

aimDBBank

[사용자화면기술 (1/2)]

• 사용자화면은반응형웹기반으로개발되어 PC, 모바일,

태블릿등에서접근이가능하고, 사용자환경에맞도록커스터마이징이가능

– 표준화된기술적용 (HTML5, CSS 3.0, PHP 5.0)

– 다국어지원을위한 Architecture 지원– 사용자에따라메뉴를구성할수있는개인화기능– One-Source 로 PC / 태블릿 / 스마트폰환경을모두지원– 상용웹어플리케이션수준의웹 UI 품질및 Theme 기능지원– 멀티브라우저(인터넷익스플로러, 파이어폭스,크롬, 오페라등)

를지원

조회및분석화면

TemplateModelingCustomization

[사용자화면기술 (2/2)]

• One Source 로 PC 환경과 Mobile 환경모두지원

PC 환경

Mobile 환경

[사용자화면소개]

• 데이터추출이력조회

데이터추출작업에대한성공유무, 건수,

평균걸린시간등에대한데이터를제공

[사용자화면소개]

• 검색조건

다양한검색조건을통해생산이완료된제품을쉽게찾을수있는기능제공

[사용자화면소개]

• 이력조회

LOT 의생산이력을조회할수있는기능제공

[사용자화면소개]

• 계측, 검사데이터조회

계측, 검사데이터조회화면을제공(Image Data 포함)

[사용자화면소개]

• 자재검색

특정소모성자재 (Consumable) 를사용하여생산한 Lot 을조회할수있는기

능제공

[사용자화면소개]

• Cassette 이력조회

Cassette 이력을조회할수있는기능제공

(Lot Change, Clean 상태등)

[사용자화면소개]

• 설비이력조회

Machine 이력을조회할수있는기능제공(Online상태, Machine 상태,진행 Lot 등)

[비교자료]

• RDBMS 및기존 Backup 솔루션과의비교자료

aimDBBankRDBMS

(Ora*, MS*)

Backup 솔루션

(EM*)

주요특징

- 기존MES 시스템의특징을고려하여설계됨

- 제조시스템운영환경에영향을미치지않도록데이터보호가가능함

- 공용화된소프트웨어로써제조운영환경에최적화되지않음

- 해당공장시스템환경을잘알고있는전문 Vendor 가필요함

- 데이터복구관리에한정

Scale Out- 저비용의하드웨어를병렬로연결함으로써가능

- 지원하지않음- Disk 또는 Tape 를추가연결하여가능

데이터

조회기능

- 신속하고즉각적인조회가능

(Web, Mobile 또는기존

MES 화면재사용)

- 신속하고즉각적인조회가능

(Data 가많아질수록

조회속도가느려짐)

- Disk 및 Tape 에서 Restore

가필요.

- 상당한시간이소요됨

도입비용

(20T 기준)- 1/6 (Ora* 기준대비) - 1 (Ora* 기준) - 1/3 (Ora* 기준대비)

Contents

1. 제조현장의 대용량 데이터

4. 활용 사례

2. 주요 핵심 기술 및 기능

3. aimDBBank 기능 소개

[MES 데이터 BackUp]

• 적용대상 : MES DB Table– MES의주요이력데이터실시간백업및 Tracing 기능 : Lot,

LotHistory등

• MES Log Data 수집– 장비에서발생한이벤트메시지수집및메시지별 ElapseTime

Trend 조회

• 백업 Data– MES및 REPORT DB : 일별 30만건데이터백업

<그림> Archive Trend <그림> Log Trend

[설비센서데이터]

• 적용대상 : LCD 설비센서데이터분석시스템– 설비 1대의 Unit대상, 1 Unit당 16개의 Subunit에서 Trace Data를동시수신

– 설비가하루 24시간 Run 상태일경우 Data는 Daily 약 2 GB 처리됨.

• 조회성능 : 하루 2GB 데이터기준

기준시간 1분 1시간 10시간 24시간 3일

측정시간 0.4 1.2 7.5 14 40

※단위 : s

기준시간

[Pilot : FDC Data to aimDB]

• Pilot 대상 : 국내 M사(반도체) FDC DATA• 현황 : 대용량의 FDC Data조회에따른성능이슈발생• 요청내용 : 대용량의 FDC Data 조회성능비교 (Oracle vs

aimDB)• Pilot 결과 : 오라클대비조회성능향상

0

50

100

150

200

2,000 5,000 50,000 300,000 500,000

조회 성능 비교 (aimDB vs Oracle)

aimDSS Oracle

[Pilot : System Log to aimDB]

• Pilot 대상 : 국내 H사(반도체) 자동화시스템 Log

• 현황 : 자동반송시스템의 Transaction Log를 File로저장하며, 그중일부 Data를 DB에저장하고있음.

• 문제점 : DBMS시스템부하로일부 Data만 DB화되어있으므로, 실제장애분석시파일을로딩해야함.

• 요청내용- Transaction Log의모든내용을 DB화-기존오라클DB의성능부하감소- Log Data 저장/조회성능비교

• Pilot 결과 : 오라클대비저장및조회성능향상

0

100

200

300

400

500

600

TS01.log TS02.log TS03.log TS04.log TS05.log

Insert 성능 비교 (aimDB vs Oracle)

aimDSS Oracle

0

20

40

60

80

374 14,003 54,069 93,556 183,121

조회 성능 비교 (aimDB vs Oracle)

aimdss oracle

[Pilot : System Log to aimDB]