雲科大電子系蘇慶龍ivs.ee.nctu.edu.tw/iac/pdf/簡報檔-雲科蘇慶龍... · 2015. 7....

35
雲科大電子系蘇慶龍

Transcript of 雲科大電子系蘇慶龍ivs.ee.nctu.edu.tw/iac/pdf/簡報檔-雲科蘇慶龍... · 2015. 7....

Page 1: 雲科大電子系蘇慶龍ivs.ee.nctu.edu.tw/iac/pdf/簡報檔-雲科蘇慶龍... · 2015. 7. 7. · 2014 年雲科大研發 ... 23/35. 24/35. 35/35. 26/35 Ultra low complexity algorithm

雲科大電子系蘇慶龍

Page 2: 雲科大電子系蘇慶龍ivs.ee.nctu.edu.tw/iac/pdf/簡報檔-雲科蘇慶龍... · 2015. 7. 7. · 2014 年雲科大研發 ... 23/35. 24/35. 35/35. 26/35 Ultra low complexity algorithm

2/35

Page 3: 雲科大電子系蘇慶龍ivs.ee.nctu.edu.tw/iac/pdf/簡報檔-雲科蘇慶龍... · 2015. 7. 7. · 2014 年雲科大研發 ... 23/35. 24/35. 35/35. 26/35 Ultra low complexity algorithm

研究領域: SoC多核心設計(NSoC PAC計畫ITRI技術副組長) 3D應用系統-即時2D to 3D轉換技術、DIBR 車用電子-影像系統 視訊技術-壓縮、錯誤補償 嵌入式多核心應用-Cuda、OpenCL、TI DSP目前執行計畫: 智慧節能(教育部)典範計畫(中心副營運長) 國科會微電子學門三年計畫(計畫主持人) 國科會產學(汽車)小聯盟計畫(計畫共同主持人) IRTI ICL特聘研究 3個以上技轉案與產品設計案

3/35

Page 4: 雲科大電子系蘇慶龍ivs.ee.nctu.edu.tw/iac/pdf/簡報檔-雲科蘇慶龍... · 2015. 7. 7. · 2014 年雲科大研發 ... 23/35. 24/35. 35/35. 26/35 Ultra low complexity algorithm

獲獎 2015年度全國技專院校實務專題競賽第二名 2015年第九屆數位訊號處理創思設計競賽第二名 2015年全國微電腦應用系統設計創作競賽第二名 2014年雲科大研發績優獎(第一名) 2014年 TI (德州儀器) 台灣DSP競賽創思應用實現組

第一名 2014年第九屆數位訊號處理創思設計競賽第二名 2014年全國微電腦應用系統設計創作競賽第三名 2014年經濟部搶鮮大賽第三名 2014年度全國大專校院智慧電子系統設計競賽優勝 2014年度全國大專校院智慧電子系統設計競賽佳作 2013年國家發明獎

4/35

Page 5: 雲科大電子系蘇慶龍ivs.ee.nctu.edu.tw/iac/pdf/簡報檔-雲科蘇慶龍... · 2015. 7. 7. · 2014 年雲科大研發 ... 23/35. 24/35. 35/35. 26/35 Ultra low complexity algorithm

5/35

Page 6: 雲科大電子系蘇慶龍ivs.ee.nctu.edu.tw/iac/pdf/簡報檔-雲科蘇慶龍... · 2015. 7. 7. · 2014 年雲科大研發 ... 23/35. 24/35. 35/35. 26/35 Ultra low complexity algorithm

先進駕駛輔助系統(ADAS)

1. 車道偏移系統(LDWS) 2. 前方防撞系統 (FCWS)

3. 前方車距偵測系統 4. 環景視訊(2D AVM)

5. 車側盲區偵測系統(BSD) 6. 後方防撞系統(BCWS)

7. 睡眠偵測(N/A) 8. 3D AVM (2015 Q2 完成)

9.行人偵測(2015 Q3) 10. AVM物件偵測(2015 Q3)

自動化操作系統

1. 紅綠燈號偵測 2. 速限標誌偵測與警示

3. 頭燈自動啟閉 4. 頭燈遠近光自動切換

5. 雨量偵測與雨刷開啟 6. 動態倒車軌跡

7. 後車廂自動開啟 8. 自動路邊停車與倒車入庫

9. 多資訊源防翻車系統 10. 智慧型行車紀錄器

共約20功能,均透過CANbus整合ECU訊號。

6/35

Page 7: 雲科大電子系蘇慶龍ivs.ee.nctu.edu.tw/iac/pdf/簡報檔-雲科蘇慶龍... · 2015. 7. 7. · 2014 年雲科大研發 ... 23/35. 24/35. 35/35. 26/35 Ultra low complexity algorithm

7/35

Page 8: 雲科大電子系蘇慶龍ivs.ee.nctu.edu.tw/iac/pdf/簡報檔-雲科蘇慶龍... · 2015. 7. 7. · 2014 年雲科大研發 ... 23/35. 24/35. 35/35. 26/35 Ultra low complexity algorithm

OEM

單一系統同時執行多功能

純軟體結合異質多核心SoC解決方案

移植性高

彈性產品功能組合

低成本(含所有BOM元件)

實車展示

8/35

Page 9: 雲科大電子系蘇慶龍ivs.ee.nctu.edu.tw/iac/pdf/簡報檔-雲科蘇慶龍... · 2015. 7. 7. · 2014 年雲科大研發 ... 23/35. 24/35. 35/35. 26/35 Ultra low complexity algorithm

基於Android開發之系統

利用CANbus與ECU同步資料

全觸控式人機介面

提供嵌入式多核心GPU運算

高速Cortex A15處理器

低成本、高彈性之架構

可與智慧型手機以藍芽同步各項資料

提供各式Android之多媒體娛樂環境:包含MP3、YouTube…等

中央整合式行車安全與智慧駕駛運算平台

雛形系統

9/35

Page 10: 雲科大電子系蘇慶龍ivs.ee.nctu.edu.tw/iac/pdf/簡報檔-雲科蘇慶龍... · 2015. 7. 7. · 2014 年雲科大研發 ... 23/35. 24/35. 35/35. 26/35 Ultra low complexity algorithm

10/35

Page 11: 雲科大電子系蘇慶龍ivs.ee.nctu.edu.tw/iac/pdf/簡報檔-雲科蘇慶龍... · 2015. 7. 7. · 2014 年雲科大研發 ... 23/35. 24/35. 35/35. 26/35 Ultra low complexity algorithm

1. 無縫AVM接線精準

2. 高線性多參數與數學校正魚眼鏡頭校正

3. 環景距離2M

4. 安裝自動校正(30秒內)

5. 高精準四周圍亮度平衡

6. 行車即時校正

7. 支援HD 2D AVM

8. 3D AVM (預計 2015 Q2)

11/35

Page 12: 雲科大電子系蘇慶龍ivs.ee.nctu.edu.tw/iac/pdf/簡報檔-雲科蘇慶龍... · 2015. 7. 7. · 2014 年雲科大研發 ... 23/35. 24/35. 35/35. 26/35 Ultra low complexity algorithm

12/35

Page 13: 雲科大電子系蘇慶龍ivs.ee.nctu.edu.tw/iac/pdf/簡報檔-雲科蘇慶龍... · 2015. 7. 7. · 2014 年雲科大研發 ... 23/35. 24/35. 35/35. 26/35 Ultra low complexity algorithm

13/35

Page 14: 雲科大電子系蘇慶龍ivs.ee.nctu.edu.tw/iac/pdf/簡報檔-雲科蘇慶龍... · 2015. 7. 7. · 2014 年雲科大研發 ... 23/35. 24/35. 35/35. 26/35 Ultra low complexity algorithm

14/35

Page 15: 雲科大電子系蘇慶龍ivs.ee.nctu.edu.tw/iac/pdf/簡報檔-雲科蘇慶龍... · 2015. 7. 7. · 2014 年雲科大研發 ... 23/35. 24/35. 35/35. 26/35 Ultra low complexity algorithm

右上方紅色數字為CANbus之方向盤轉動角度

15/35

Page 16: 雲科大電子系蘇慶龍ivs.ee.nctu.edu.tw/iac/pdf/簡報檔-雲科蘇慶龍... · 2015. 7. 7. · 2014 年雲科大研發 ... 23/35. 24/35. 35/35. 26/35 Ultra low complexity algorithm

16/35

Page 17: 雲科大電子系蘇慶龍ivs.ee.nctu.edu.tw/iac/pdf/簡報檔-雲科蘇慶龍... · 2015. 7. 7. · 2014 年雲科大研發 ... 23/35. 24/35. 35/35. 26/35 Ultra low complexity algorithm

17/35

Page 18: 雲科大電子系蘇慶龍ivs.ee.nctu.edu.tw/iac/pdf/簡報檔-雲科蘇慶龍... · 2015. 7. 7. · 2014 年雲科大研發 ... 23/35. 24/35. 35/35. 26/35 Ultra low complexity algorithm

1. 4 cores ARM Cortex A-15 SoC2. 8 SD CVBS (4 AVM+4 Collision pretension)3. Integrated in automotive system via CANbus interface4. Realtime operation5. Full automotive BOM devices6. HW and SW design available for production7. Simulation data base: 1,000 Maga frames (2015 Q4)

18/35

Page 19: 雲科大電子系蘇慶龍ivs.ee.nctu.edu.tw/iac/pdf/簡報檔-雲科蘇慶龍... · 2015. 7. 7. · 2014 年雲科大研發 ... 23/35. 24/35. 35/35. 26/35 Ultra low complexity algorithm

19/35

Page 20: 雲科大電子系蘇慶龍ivs.ee.nctu.edu.tw/iac/pdf/簡報檔-雲科蘇慶龍... · 2015. 7. 7. · 2014 年雲科大研發 ... 23/35. 24/35. 35/35. 26/35 Ultra low complexity algorithm

Lidar (FCWS Error) Camera (LDWS Error)

AVM Camera

Front CameraMulticore SoC Luxgen M7 Turbo (Model 2014)

AVM+BSD Camera

20/35

Page 21: 雲科大電子系蘇慶龍ivs.ee.nctu.edu.tw/iac/pdf/簡報檔-雲科蘇慶龍... · 2015. 7. 7. · 2014 年雲科大研發 ... 23/35. 24/35. 35/35. 26/35 Ultra low complexity algorithm

21/35

Condition:

Interlaced D1 camera solution

CVBS Analog signal transfer

Total performance requirement: only 1.5 A15 cores for ADAS 5 function (on H2)

Specification:

LDWS (Error < 5cm)

FCWS (Detected range = 50M)

2D AVM (Around range 2-3M)

BSD (Detected range = 25M)

BCWS (Detected range = 40M)

Page 22: 雲科大電子系蘇慶龍ivs.ee.nctu.edu.tw/iac/pdf/簡報檔-雲科蘇慶龍... · 2015. 7. 7. · 2014 年雲科大研發 ... 23/35. 24/35. 35/35. 26/35 Ultra low complexity algorithm

22/35

Renesas R-Car H2

TW 2866TV Decoder

Video MuxCANbus

ControllerAudio

Module

HDMI to CVBS

4 CSI

UART UART4 CVBS

1 2

4 Collision Camera4 AVM Camera

4 CVBS4 CVBS

Speed, Indicator, ...

Original Speaker

CANbus Analog audio

HDMI

Original Display

CVBS

GPIO

Page 23: 雲科大電子系蘇慶龍ivs.ee.nctu.edu.tw/iac/pdf/簡報檔-雲科蘇慶龍... · 2015. 7. 7. · 2014 年雲科大研發 ... 23/35. 24/35. 35/35. 26/35 Ultra low complexity algorithm

Renesas R-Car H2

Input Video MuxCANbus Controller

Audio Module

Original Display

Function ControlKeypad

Front Camera Original Speaker

CVBS Wires

23/35

Page 24: 雲科大電子系蘇慶龍ivs.ee.nctu.edu.tw/iac/pdf/簡報檔-雲科蘇慶龍... · 2015. 7. 7. · 2014 年雲科大研發 ... 23/35. 24/35. 35/35. 26/35 Ultra low complexity algorithm

24/35

Page 25: 雲科大電子系蘇慶龍ivs.ee.nctu.edu.tw/iac/pdf/簡報檔-雲科蘇慶龍... · 2015. 7. 7. · 2014 年雲科大研發 ... 23/35. 24/35. 35/35. 26/35 Ultra low complexity algorithm

35/35

Page 26: 雲科大電子系蘇慶龍ivs.ee.nctu.edu.tw/iac/pdf/簡報檔-雲科蘇慶龍... · 2015. 7. 7. · 2014 年雲科大研發 ... 23/35. 24/35. 35/35. 26/35 Ultra low complexity algorithm

26/35

Ultra low complexity algorithm only required 1.5 Cortex A15 cores for ADAD & AVM functions

Real car road test available, now!

Real time processing on H2 or M2 Renesas chip solution

Pure low cost analog camera solution on H2 or M2

We provide turnkey solution: chip (H2 or M2), camera, algorithm, system integration and production experience.

Page 27: 雲科大電子系蘇慶龍ivs.ee.nctu.edu.tw/iac/pdf/簡報檔-雲科蘇慶龍... · 2015. 7. 7. · 2014 年雲科大研發 ... 23/35. 24/35. 35/35. 26/35 Ultra low complexity algorithm

27/35

Page 28: 雲科大電子系蘇慶龍ivs.ee.nctu.edu.tw/iac/pdf/簡報檔-雲科蘇慶龍... · 2015. 7. 7. · 2014 年雲科大研發 ... 23/35. 24/35. 35/35. 26/35 Ultra low complexity algorithm

Lidar RAW DataAfter our image

processing

Synchronized image RAW Data

Noise28/35

Page 29: 雲科大電子系蘇慶龍ivs.ee.nctu.edu.tw/iac/pdf/簡報檔-雲科蘇慶龍... · 2015. 7. 7. · 2014 年雲科大研發 ... 23/35. 24/35. 35/35. 26/35 Ultra low complexity algorithm

29/35

Page 30: 雲科大電子系蘇慶龍ivs.ee.nctu.edu.tw/iac/pdf/簡報檔-雲科蘇慶龍... · 2015. 7. 7. · 2014 年雲科大研發 ... 23/35. 24/35. 35/35. 26/35 Ultra low complexity algorithm

1. 先進演算法僅需D1解析度低成本CVBS鏡頭

2. 整合360度全方位防碰撞資訊

3. 適合各類駕駛人習慣

4. 4鏡頭可連續監控高危險車輛行為

5. LDWS可自動開啟方向燈

6. 前方危險車況可透過警示燈預警後方車輛

7. 動態倒車軌跡可同步呈現於AVM畫面

8. 超低成本優勢

30/35

Page 31: 雲科大電子系蘇慶龍ivs.ee.nctu.edu.tw/iac/pdf/簡報檔-雲科蘇慶龍... · 2015. 7. 7. · 2014 年雲科大研發 ... 23/35. 24/35. 35/35. 26/35 Ultra low complexity algorithm

1. 先進超低運算量演算法

2. 多核心程式技術+多執行緒程式技術

3. 鏡頭韌體調教

4. 系統設計與規劃

5. DSP組合語言程式設計

6. OpenCL GPGPU程式技術

7. 嵌入式作業系統技術

8. 快速開機技術

9. 客制化驅動程式技術

10.人機介面設計技術

11.量產、維修、韌體更新網路技術31/35

Page 32: 雲科大電子系蘇慶龍ivs.ee.nctu.edu.tw/iac/pdf/簡報檔-雲科蘇慶龍... · 2015. 7. 7. · 2014 年雲科大研發 ... 23/35. 24/35. 35/35. 26/35 Ultra low complexity algorithm

1. 純可見光鏡頭影像處理

2. 鏡頭解析度可低至720x480 (CVBS介面)

3. 提供高階硬體平台 4xA15+4xA7/低階硬體平台2xA9+GPGPU之完整解決方案

4. 可建議量產搭配之鏡頭廠

5. 可移除紅外線雨滴感應器/頭燈亮度感應器/自動啟閉車廂紅外線感應器…等成本

6. 可達OEM要求標準

7. 提供完整之測試車與OEM測試校正設備 (與Mobileye同級)

8. 電路板BOM cost可低至60-70美金(不含軟體費用)

9. 提供目前所有主流汽車電子之技術32/35

Page 33: 雲科大電子系蘇慶龍ivs.ee.nctu.edu.tw/iac/pdf/簡報檔-雲科蘇慶龍... · 2015. 7. 7. · 2014 年雲科大研發 ... 23/35. 24/35. 35/35. 26/35 Ultra low complexity algorithm

1. 已技轉數家廠商

2. 國內IC設計公司合作提供台灣之低成本解決方案

3. 日本汽車IC大廠Renesas整合提供高階OEM產品

4. 多項產品已導入設計

5. 目前主力在OEM與DPI市場

6. 已整合IC與鏡頭供應商提供Turnkey Solution

7. 完整之道路測試車技術

8. 含車廠安裝時之靜態系統測試技術

9. 含車廠整車組裝完成之動態測試技術

10.提供下一代4 Channel HD與立體視訊高畫質平台

33/35

Page 34: 雲科大電子系蘇慶龍ivs.ee.nctu.edu.tw/iac/pdf/簡報檔-雲科蘇慶龍... · 2015. 7. 7. · 2014 年雲科大研發 ... 23/35. 24/35. 35/35. 26/35 Ultra low complexity algorithm

1. 依客戶提供之錄影視訊做演算法之初步效果評估

2. 依客戶現有硬體平台進行效能評估

3. 提供完整之,系統規格規劃→鏡頭搭配→鏡頭周邊機構設計協助→鏡頭韌體調校→電路板設計服務(合作IC廠商提供)→嵌入式系統軟體→系統整合→測試數據自動化分析→ OEM或Tier1測試服務→測試車設計服務→軟體防盜拷技術→靜態安裝測試→動態出場測試→雲端軟體版本管控技術→保養廠遠端維修技術

4. 實驗室具軟、硬體及系統之各種技術人力佈局

34/35

Page 35: 雲科大電子系蘇慶龍ivs.ee.nctu.edu.tw/iac/pdf/簡報檔-雲科蘇慶龍... · 2015. 7. 7. · 2014 年雲科大研發 ... 23/35. 24/35. 35/35. 26/35 Ultra low complexity algorithm