전공연구실 계획9

한승호 차맑음 성홍기 한태희

목 차

1. Cloud deveolpe

2. Twitter Data Mining

3. Twitter Weather Engine

4. BigData Hadoop

5. Schedule

Cloud deveolpe Web Server, Cloud9 IDE

Server tweak

Performance

Security

Usability

http://ami.hansh.kr

Team information

Web IDE

Prototype TEST

Keynote Share

Database Web DBMS

Twitter Data Mining Twitter API Mash up

데이터 의미 해석

데이터 분석

대량의 데이터에서 특정한 주제를 찾는다.


Twitter 에서 날씨 정보를 찾는다.



날씨 정보에서 지역 정보를 찾는다.




지역에 따른 날씨 정보





날씨정보가

엔터테인먼트

데이터 분석


Twitter에서 싸이를 찾는다.

싸이의 이슈를 찾는다.

특정 연예인의 스캔들 예측

싸이의 이슈에서 스캔들을 찾는다.






해석

입력

해석

입력

해석

입력






해석 입력

해석

입력

해석

입력

해석 입력

해석

입력

해석

해석

입력






해석 입력

해석

입력

해석

입력

해석

입력 해석

입력

해석

입력

해석

입력

해석

입력

Twitter Weather Engine Engine diagram

http://www.youtube.com/watch?v=41YMQFlfmS8&feature



Realtime Tweet

해석 입력

해석

입력

해석

입력

해석 입력

해석

입력

해석

해석

입력

SNS, YouTube, Web content….

해석 입력

해석

입력

해석

입력

해석 입력

해석

입력

해석

해석

입력

Query ‘단어’

‘해시태그’ ‘언어’

‘인물&기관’ ‘장소’

해석 입력

해석

입력

해석

입력

해석 입력

해석

입력

해석

해석

입력

Search API

C# .NET WINDOWS SERVER SNS, WEB

트윗 토큰화

지역명, 날씨관련 단어

‘단어’ ‘해시태그’

‘언어’ ‘인물&기관’

‘장소’

Search API

=

DATABASE ( MySQL ) LINUX SERVER

Database I/O Module

Display Module

Data-mining Module

DATABASE

MOBILE

PC

MS WINDOWS

APPLE MAC

LINUX

GOOGLE ANDROID

APPLE IOS

MS WINPHONE

예전 서비스 설계

Database I/O Module

Display Module

Data-mining Module

DATABASE

MOBILE

PC

MS WINDOWS

APPLE MAC

LINUX

GOOGLE ANDROID

APPLE IOS

MS WINPHONE

예전 서비스 설계의 문제점

! ! !

MOBILE

PC

MS WINDOWS

APPLE MAC

LINUX

GOOGLE ANDROID

APPLE IOS

MS WINPHONE

Display Module

OpenAPI Connect Module

Data-mining Module

DATABASE

SERVER1 SERVER2

현재 서비스 설계

Mashup!

BigData?

서비스의 방향

BigData Hadoop BigData Ecosystem

Hadoop?

하둡의 창시자 더그 커팅 (Doug Cutting)

대용량 데이터를 처리하는 분산 응용 프로그램을 개발하고 실행시키기 위한 오픈 소스 프레임워크 대용량 데이터를 저렴하면서도 빠르게 분석할 수 있게 도와준다. 기존에 슈퍼컴퓨터로 며칠씩 돌려야 했던 데이터를 하둡을 이용하면 x86 서버로도 실시간 분석이 가능해질 정도다.

출처: http://www.bloter.net/archives/122834

빅데이터의 가장 현실적인 대안

Hadoop? 하둡의 장점

견고성(Robust) 범용 컴퓨터에서 실행되도록 개발되어 하드웨어의 빈번한 고장을 가정하고 설계되었다.

출처: http://programmingpearls.tistory.com/2

접근(Accessible) 윈도우PC 같은 범용 컴퓨터들로 구성된 큰 규모의 클러스터나 아마존의 EC2와 같은 클라우드 컴퓨팅 서비스에서 실행된다.

확장가능성(Scalable) 대용량 데이터를 처리하는 데 있어서 클러스터에 단순히 컴퓨터(nodes)를 추가함으로써 선형적으로 확장할 수 있다. 간단성(Simple) 효과적인 병렬 코드를 빠르게 작성할 수 있다.

Hadoop?

Amazon Facebook Yahoo NHN Oracle Microsoft IBM HP

하둡을 좋아하는 기업들

http://wiki.apache.org/hadoop/PoweredBy

MOBILE

PC

MS WINDOWS

APPLE MAC

LINUX

GOOGLE ANDROID

APPLE IOS

MS WINPHONE

Display Module

OpenAPI Connect Module

Data-mining Module

DATABASE

Hadoop 적용?

프로토타입 조건…멀티 코어가 탑재된 한 쌍의 서버, 24GB 이상의 RAM, 2TB 용량의 하드디스크 드라이브 수십 개 + 보안 + 능력 + 시간…

Mashup! BigData… NOSQL…

서비스의 방향

장비와 능력, 시간을 고려해서…

감사합니다

전공연구실 계획9

Documents

Transcript of 전공연구실 계획9