Đơn vị chủ trì : Công ty CP Dịch vụ CNTT NaiscorpNhóm thực hiện: KS. Nguyễn Khánh Toàn TS. Lê Thị Lan SV. Nghiêm Tiến Viễn
NGHIÊN CỨU, XÂY DỰNG HỆ THỐNG GỢI Ý QUẢNG CÁO TRONG CÁC DỊCH VỤ CHIA SẺ HÌNH ẢNH TRỰC TUYẾN
Mã số: KC.01.TN10/11-15
ĐỀ TÀI NGHIÊN CỨU KHOA HỌC TIỀM NĂNG
109/10/14
NỘI DUNG
• Thông tin chung v đ tàiề ề• M c tiêu c a đ tàiụ ủ ề• Các n i dung nghiên c u trong đ tàiộ ứ ề• K t qu đ t đ cế ả ạ ượ• K t lu nế ậ
09/10/14 2
Thông tin chung về đề tài
• Công ty Naiscorp - đ n v ch trìơ ị ủ– T o n n t ng Server/websiteạ ề ả– K t n i các module ế ố– Nghiên c u đ nh h ng kinh doanhứ ị ướ
• Trung Tâm MICA – đ n v ph i h pơ ị ố ợ– Nh n d ng đ i t ng và khung c nh trong nhậ ạ ố ượ ả ả– C i ti n nâng cao ch t l ng moduleả ế ấ ượ– Module đ c nghiên c u khá đ c l p v i h ượ ứ ộ ậ ớ ệ
th ngố09/10/14 3
Mục tiêu và nội dung khcn
Ý t ng c a đ tài:ưở ủ ề•Google r t thành công v i h th ng Ads Wordấ ớ ệ ố
– B n ch t là tìm xâu qu ng cáo phù h p v i n i ả ấ ả ợ ớ ộdung d ng textạ
•Nhóm d án mu n làm vi c t ng t v i nhự ố ệ ươ ự ớ ả– Nh n d ng đ i t ng/ khung c nh trong nhậ ạ ố ượ ả ả– Tìm xâu qu ng cáo phù h p v i nhả ợ ớ ả– Đ a nh kèm v i qu ng cáo cho khách hàngư ả ớ ả
09/10/14 4
Sơ đồ hệ thống
09/10/14 5
Hoạt động của hệ thống
• Kho nh t 2 ngu nả ừ ồ– Ng i dùng t Upanh lênườ ự– Trang web có ch a nhứ ả
• L y nh t kho -> Nh n d ng nh -> Tìm ra ấ ả ừ ậ ạ ảđ i t ng/ khung c nh ch a trong nhố ượ ả ứ ả
• Khách hàng qu ng cáo ả– G n 1 đ i t ng qu ng cáo v i 1 xâu qu ng cáoắ ố ượ ả ớ ả
• N u trong nh có ch a đ i t ng/khung c nh ế ả ứ ố ượ ả-> Hi n th xâu qu ng cáoể ị ả
09/10/14 6
Nội dung cần nghiên cứu
• Nghiên c u xây d ng C s h t ngứ ự ơ ở ạ ầ– Back–End: H th ng database, sao l u d li uệ ố ư ữ ệ– Front-End: DNS, Load Balance, Webserver
• Nh n d ng nhậ ạ ả– Nh n d ng đ i t ng trong nhậ ạ ố ượ ả– Nh n d ng khung c nh trong nhậ ạ ả ả
• K t n i và v n hành h th ngế ố ậ ệ ố– Th nghi m ch c năng nh n d ngử ệ ứ ậ ạ– Th nghi m ch c năng qu ng cáoử ệ ứ ả
09/10/14 7
Phần 1: Nền tảng cho Quảng Cáo
Nghiên cứu công nghệ Webserver Portal cho phép phục vụ hàng
triệu lượt truy vấn mỗi ngày
Công nghệ lưu trữ phân tán
o Hệ thống file phân tán (Hadoop, GlusterFS, Riak Store,
OpenStack Swift
o Hệ thống caching (Varnish Cache trên RAM, Squid trên SSD,
Nginx Cache trên HDD
09/10/14 8
Nội dung đăng ký theo thuyết minh đề tài Kết quả đạt được
- Tìm hiểu và đánh giá các kết quả đã đạt được về nhận dạng đối tượng, khung cảnh trong ảnh- Tìm hiểu và phân tích các lớp đối tượng, khung cảnh trong ảnh
Báo cáo phân tích và đánh giáCơ sở dữ liệu ảnh khung ảnh- 5 khung cảnh (biển, chùa, núi, phố, rừng) - 500 ảnh/khung cảnh- Thu thập từ CSDL của Naiscorp và một vài CSDL chuẩn khácCơ sở dữ liệu ảnh đối tượng-10 lớp đối tượng- 500 ảnh/đối tượng- Thu thập từ CSDL của Naiscorp và một vài CSDL chuẩn khácXây dựng groundtruth cho các ảnh trong CSDL
Nội dung 2.1: Phát hiện và nhận dạng các đối tượng trong ảnh
Mô đun phát hiện và nhận dạng đối tượng
Nội dung 2.2: Nhận dạng khung cảnh Mô đun nhận dạng khung cảnh
Nội dung 2.3: Thử nghiệm và đánh giá hiệu quả của engine nhận dạng ảnh
Các kết quả thử nghiệm, đánh giá online và offline của các mô đun xây dựng
Phần 2. Engine nhận dạng ảnh
Nhận dạng khung cảnh- Định nghĩa bài toán:
o Đầu vào: 1 ảnho Đầu ra: tên của khung cảnh có trong ảnh (ví dụ: biển, núi
v.v.)
Núi
Nhận dạng đối tượng trong ảnh
- Định nghĩa bài toán: o Phát hiện: Xác định sự tồn tại
của đối tượng trong ảnho Nhận dạng: Xác định lớp mà
đối tượng thuộc vào
Ng iườ
Ng aựChó
Xe Ng iườBò
- Các khó khăn của bài toáno Thay đổi hướng nhìno Thay đổi ánh sángo Thay đổi kích thước, diện mạo
Thay đổi hướng nhìn
Thay đổi kích thướcThay đổi ánh sáng
Engine nhận dạng Ảnh đầu vào
Nhận dạng đối tượngNhận dạng khung
cảnh
0
0
0
0
0
0
0
0
0
0
0
0
1
0
0
Máy bay
Đồng hồ
Giày dép
Hoa
Kính
Laptop
Người
Ôtô
Thuyền
Xe máy
Biển
Chùa
Đường phố
Núi
Rừng
Hệ thống nhận dạng đối tượng / Khung cảnh
Đầu ra của hệ thống nhận dạng
Vector N chiều (N là số lớp đối tượng)
Vector M chiều (M là số
lớp khung cảnh)
Không có đ i t ngố ượ
(1)
(2)
(2)
Nhận dạng khung cảnh
Ảnh đầu vào
Trích chọn đặc trưng
Nhận dạng (SVM, KNN)
GIST, LDO, Phân bố màu sắc
Kết quả đầu ra
Cở sở dữ liệu
Tiền xử lý
Trích chọn đặc trưng
Huấn luyện bộ phân lớp(SVM, KNN)
Các bộ phân lớp
Pha hu n luy nấ ệ Pha nh n d ngậ ạ
Nhận dạng khung cảnh• Mô đun nh n d ng khung c nh trong đ tài:ậ ạ ả ề- Nh n d ng 5 khung c nh (bi n, núi, chùa chi n, ậ ạ ả ể ề
đ ng ph , r ng)ườ ố ừ- Th nghi m và đánh giá các đ c tr ng và ử ệ ặ ư
ph ng pháp nh n d ng khung c nhươ ậ ạ ả- Color histogram + color moment + SVM- Local dominant orientation (LDO) + kNN- GIST + kNN
• Đ xu t s d ng ề ấ ử ụ GIST và kNN
50 100 150 200
50
100
150
200
Dominant Orientation
0.01
0.02
30
210
60
240
90
270
120
300
150
330
180 0
LDO feature
50 100 150 200
50
100
150
200
Dominant Orientation
0.01
0.02
30
210
60
240
90
270
120
300
150
330
180 0
LDO feature
Nhận dạng khung cảnh
Tên khung c nhả
ID Phân b màuố
LDO GIST
Bi nể 0 64.2 51 86.8
Chùa 1 68.2 55 93
Núi 2 60.4 48 82.9
Đ ng phườ ố 3 66.2 59 92.4
R ngừ 4 80.1 64 84.7
Trung bình 67.82 55 87.96
Cơ sở dữ liệu khung cảnh:• 2500 ảnh (5 khung cảnh * 500 ảnh/khung cảnh) Kết quả nhận dạng: •5 lớp khung cảnh, •1250 ảnh huấn luyện (250 ảnh huấn luyện/khung cảnh)•1250 ảnh thử nghiệm (250 ảnh thử nghiệm/khung cảnh )
Th i gian th c hi n trung bìnhờ ự ệ : 96.5 ms/ảnh (core i5-2520M CPU @ 3.2 GHz x 2 RAM: 8GB) ~ 10 ảnh/s
Báo cáo chi ti t th nghi m đi kèmế ử ệ
Nhận dạng đối tượng trong ảnh
Ảnh đầu vào
Quét cửa sổ trên ảnh
Trích chọn đặc trưng
Nhận dạng (Adaboost, SVM, KNN)
Haar, HoG, Gist
Kết quả đầu ra
Cở sở dữ liệu
Tiền xử lý
Trích chọn đặc trưng
Huấn luyện bộ phân lớp(Adaboost, SVM, KNN)
Các bộ phân lớp
Pha hu n luy nấ ệ Pha nh n d ngậ ạ
Nhận dạng đối tượng trong ảnh Đặc trưng Haarlike
M i đ c tr ng Haar-like bao g m hai ho c ba hình ch nh t đen và ỗ ặ ư ồ ặ ữ ậtr ng k nhauắ ề
Đặc trưng HOG: L c đ h ng các vector gradientượ ồ ướ
Đặc trưng GIST: T p đ u ra c a các b l c ậ ầ ủ ộ ọ
Gabor
Averaging over a grid 64 x64 for each filter output
Nhận dạng đối tượng trong ảnh
Dữ liệu huấn luyện và thử nghiệm Huấn luyện: 250 ảnh mỗi lớp x 10 lớp = 2500 ảnh Thử nghiệm: 250 ảnh mỗi lớp x 10 lớp = 2500 ảnh Ảnh positive của lớp này có thể là ảnh negative của lớp khác
Nhận dạng đối tượng trong ảnh
Kết quả thử nghiệmSTT
Tên lớp
Haar-Adaboo
st
HOG -SVM
Gist - KNN
1 Điện thoại di động 0.97 0.67 0.88
2 Đồng hồ 0.98 0.95 0.813 Giầy dép 0.34 0.67 0.734 Hoa 0.90 0.76 0.755 Kính 0.91 0.87 0.986 Laptop 0.62 0.78 0.997 Người 0.91 0.90 0.778 Xe oto 1.00 0.85 0.919 Tàu thuyền 1.00 0.78 0.9210 Xe máy 0.56 0.88 0.96 Trung bình 0.82 0.81 0.87
Th i gian th c hi n trung bìnhờ ự ệ : 88 ms/ảnh (core i5-2520M CPU @ 3.2 GHz x 2 RAM: 8GB) > 10 ảnh/s
Kết quả của đề tài
• Website www.quangcaoanh.com ở quy mô phòng thí nghiệm– Cho phép thử nghiệm chức năng nhận
dạng ảnh– Cho phép thử nghiệm chức năng gắn
quảng cáo trên các ảnh
– Ảnh được lấy từ các website khác
• Cho phép thống kê quảng cáo
09/10/14 20
Kết quả của đề tài
o Sản phẩm trung gian:
Phần mềm nhận dạng đối tượng/khung cảnh trong ảnh
o Bài báo khoa học:
02 bài đ c ch p nh n trong h i ngh qu c t (Commantel ượ ấ ậ ộ ị ố ế2012, Seatuc 2013)
01 bài báo đ c g i cho T p chí Khoa h c và công ngh các ượ ử ạ ọ ệTr ng k thu t đang ch k t qu ph n bi nườ ỹ ậ ờ ế ả ả ệ
o Đào tạo:
01 h c viên cao h c đang đ c đào t o trong đ tàiọ ọ ượ ạ ề
09/10/14 21
Website: Quangcaoanh.com
09/10/14 22
Demo Quảng cáo trên ảnh
09/10/14 23
Demo Quảng cáo trên ảnh
09/10/14 24
Demo Nhận dạng
09/10/14 25
KẾT LUẬN
• Đ tài đã hoàn thành các m c tiêu c a ề ụ ủch ng trình ti m năngươ ề
• S n ph m c a đ tài là m t h th ng qu ng ả ẩ ủ ề ộ ệ ố ảcáo d a vào n i dung nh hoàn thi n quy mô ự ộ ả ệphòng thí nghi mệ
• Đ nh h ng qu ng cáo d a trên n i dung là ị ướ ả ự ộđúng và đi tr c xu h ng công nghướ ướ ệ
• Ti m năng c a th tr ng s n ph m là r t l nề ủ ị ườ ả ẩ ấ ớ• Đ tài nên đ c đ u t đ phát tri n thêmề ượ ầ ư ể ể
09/10/14 26
Top Related