KFB - Gives eyes to the Blind
description
Transcript of KFB - Gives eyes to the Blind
![Page 1: KFB - Gives eyes to the Blind](https://reader031.fdocument.pub/reader031/viewer/2022020106/56813c08550346895da56bab/html5/thumbnails/1.jpg)
KFB - Gives eyes to the Blind
: פרוייקט מהנדסידלל • גלשימקין • צחי
: פרוייקט מנחהכוחי • קובי
לישראל, טכנולוגי מכון טכניוןחשמל להנדסת הפקולטה
![Page 2: KFB - Gives eyes to the Blind](https://reader031.fdocument.pub/reader031/viewer/2022020106/56813c08550346895da56bab/html5/thumbnails/2.jpg)
Quick Overview
• - ה את מציג זה מכשיר. KFB (Kinect For the Blind)פרויקט. היומיום בחיי להליכה לעיוורים לסייע ומיועד המתכונן
הינו • ידי standaloneהמוצר על מכשולים שיזהה כך ומיועד. הקינקט ממכשיר המתקבלת עומק תמונת סריקת
• " של המותנים אזור על שמולבשת רצועה י ע נישא המכשירלגבי אינדיקציה לעיוור נותן ופשוטה קלה ובהפעלה המשתמש
. ' מולו ' הנמצא מכשול כל
![Page 3: KFB - Gives eyes to the Blind](https://reader031.fdocument.pub/reader031/viewer/2022020106/56813c08550346895da56bab/html5/thumbnails/3.jpg)
Why they need us
ישנם • לבדה של 23בישראל לקהילה המצטרפים עיוורים אלף. העולם ברחבי עיוורים מיליוני
טכנולוגיים • פתרונות ליצירת וגוברים הולכים וצורך דרישה ישעצמאי באופן דרכו את לנווט עיוור של לצורך מענה ייתנו אשר
. מוכרת לא בסביבהזה • צורך מספקים אינם בשוק היום הקיימים הפתרונות
במלואו.
![Page 4: KFB - Gives eyes to the Blind](https://reader031.fdocument.pub/reader031/viewer/2022020106/56813c08550346895da56bab/html5/thumbnails/4.jpg)
Project Objectives
אוטונומי )• מוצר עיוור( standaloneתכנן אדם להכווין יוכל אשר. ברחוב והן מבנים בתוך הן הליכה במהלך
• ( , אחיזה מצריך אינו לנשיאה קל זול שיהיה כך המוצר בנית. ) עצמאי לתפעול ופשוט ביד ממושכת
ובעלי • מספיק יעילים יהיו אשר רובוסטים אלגוריתמים בנייתהביטחון תחושת את למשתמש לתת מספקת מהימנות
. במוצר הנדרשת
![Page 5: KFB - Gives eyes to the Blind](https://reader031.fdocument.pub/reader031/viewer/2022020106/56813c08550346895da56bab/html5/thumbnails/5.jpg)
Similar Projects
: לעיוורים לסייע שמטרתם קודמים פרויקטים מספר נעשורטט + RGBמצלמות 2• חגורת כחיישנים
בין מידע העיוור 2הצלבת והכוונת עומק מימד לקבלת מצלמות. המותניים באזור הממוקמת רטט חגורת בעזרת
• Eadept – מבוסס רחובות GPSרישותהתקן בעזרת וניווט הרחובות GPSמיפוי
רטט + + • מנועי חגורת מחשב כחיישן קינקט מצלמת
• + + - יד כף מחשב בקר למיקרו מחוברים סונר חיישנירטט חגורת
![Page 6: KFB - Gives eyes to the Blind](https://reader031.fdocument.pub/reader031/viewer/2022020106/56813c08550346895da56bab/html5/thumbnails/6.jpg)
Device Components Overview
קינקט • כוח + מצלמת ספקחיישני ושני אדום אינפרא ממקרן מורכב – 30בקצב CMOSהקינקט הראשון הרץ
- ה להחזר כמצלמת IR uמקלט מתפקד מיקרופונים. RGBוהשני מערך קיים בנוסףשל דגימה .16בקצב קילוהרץ
הפתיחה ) בזווית מוגבל הקינקט , 57מכשיר לרוחב ( 43מעלות העצמים ובטווח לגובהבמדוייק לחזות יכול הוא מרחקם את אשר
נייד • הפעלה pc2מחשב מערכת .windowsמותקןבשנת לראשונה הושק מחשבים של זה חדש " 2007דור חברת י ע CompuLabומיוצר
הישראלית.
הפעלה smartphoneמכשיר • מערכת .androidמותקן . , המערכת לב המרכזי העיבוד ככוח לשמש תפקידו האנדרואיד מכשיר
אוזניות•
![Page 7: KFB - Gives eyes to the Blind](https://reader031.fdocument.pub/reader031/viewer/2022020106/56813c08550346895da56bab/html5/thumbnails/7.jpg)
So how does it work ?
![Page 8: KFB - Gives eyes to the Blind](https://reader031.fdocument.pub/reader031/viewer/2022020106/56813c08550346895da56bab/html5/thumbnails/8.jpg)
So how does it work ? Data transfer : Kinect to PC2
Raw Data
Running client
application
Captures image
![Page 9: KFB - Gives eyes to the Blind](https://reader031.fdocument.pub/reader031/viewer/2022020106/56813c08550346895da56bab/html5/thumbnails/9.jpg)
So how does it work ? Client application
Process raw data, generate depth
matrix
Input:Run navigation
algorithmsraw data
Generate strings from algorithm
results
![Page 10: KFB - Gives eyes to the Blind](https://reader031.fdocument.pub/reader031/viewer/2022020106/56813c08550346895da56bab/html5/thumbnails/10.jpg)
So how does it work ? Data transfer : PC2 to Android machine
String output
Server application
Client application
![Page 11: KFB - Gives eyes to the Blind](https://reader031.fdocument.pub/reader031/viewer/2022020106/56813c08550346895da56bab/html5/thumbnails/11.jpg)
So how does it work ? Server Application
Process string
Input: Determine instruction
according to stringstring
Generate sound instructions
![Page 12: KFB - Gives eyes to the Blind](https://reader031.fdocument.pub/reader031/viewer/2022020106/56813c08550346895da56bab/html5/thumbnails/12.jpg)
So how does it work ? Data transfer : Android Machine to Ears
Sound output
Play sound to user
Generate guiding instructions from
string
![Page 13: KFB - Gives eyes to the Blind](https://reader031.fdocument.pub/reader031/viewer/2022020106/56813c08550346895da56bab/html5/thumbnails/13.jpg)
So how does it work ? Full Path
![Page 14: KFB - Gives eyes to the Blind](https://reader031.fdocument.pub/reader031/viewer/2022020106/56813c08550346895da56bab/html5/thumbnails/14.jpg)
The System’s Heart – Navigation Algorithms
הנווט • אלגוריתמי עומדים המערכת של .בבסיסהשל • העומק תמונת של גולמי מידע מקבלים אלו אלגוריתמים
" , . ניתוחים י ע מטרתם למשתמש הקרובה הסביבה , סיגנלים ולשלוח זה מידע לעבד היא מתימטיים אלגוריתמים
. תנועה הנחיות מהם לייצר שניתןתהיה • המערכת כך יותר טובים יהיו שהאלגוריתמים ככל
יותר ושימושית יותר מהימנה•: הבאים האלגוריתמים את תכננו הראשון הפרוייקט במסגרת
![Page 15: KFB - Gives eyes to the Blind](https://reader031.fdocument.pub/reader031/viewer/2022020106/56813c08550346895da56bab/html5/thumbnails/15.jpg)
Navigation by Shortest Distance – Stereo Beeps
חלקים • לשני המטריצה את מחלקחלק • כל של המינימלי הערך את מחשב מקבילי באופןהשניה • באוזן תלוי ובלתי נפרד שמע אות אוזן לכל מייצרצפצוף • בעזרת נעשת ההכוונהותדירותו • הצפצוף עוצמת את קובע המועבר הערך
![Page 16: KFB - Gives eyes to the Blind](https://reader031.fdocument.pub/reader031/viewer/2022020106/56813c08550346895da56bab/html5/thumbnails/16.jpg)
Hallway Navigation
חלקים • לשלושה המטריצה את מחלקחלק • כל של הממוצע הערך את מחשב מקבילי באופןביותר • הגדול המרחק לכוון ללכת המשתמש את מכווין•. " קוליות פקודות י ע נעשת ההכוונה
![Page 17: KFB - Gives eyes to the Blind](https://reader031.fdocument.pub/reader031/viewer/2022020106/56813c08550346895da56bab/html5/thumbnails/17.jpg)
Android GUI
• - ה אפליקציית :serverממשק האנדרואיד מכשיר על
![Page 18: KFB - Gives eyes to the Blind](https://reader031.fdocument.pub/reader031/viewer/2022020106/56813c08550346895da56bab/html5/thumbnails/18.jpg)
Summary 1
הצגנו • זה לכדי אבטיפוסבפרוייקט אלמנטים מספר המשלבפוטנציאל בעל שהינו עיוורים ניווט לצרכי אינטגרלי מוצר
. השוק בדרישות לעמודשהוא • הינם הסופי המוצר של יחסית, יתרונותיו קל נייד
שלו, לחלופות יחסית וזול לתפעול פשוט . לנשיאה , : מחשב קינקט מצלמת במוצר המשולבים , pc2האלמנטים
רבים בבתים נפוצים מוצרים הינם ואוזניות אנדרואיד מכשיר. סבירים במחירים הרחב בשוק לקניה וזמינים
![Page 19: KFB - Gives eyes to the Blind](https://reader031.fdocument.pub/reader031/viewer/2022020106/56813c08550346895da56bab/html5/thumbnails/19.jpg)
Summary 2 – What did we learn?
• : חדשות טכנולוגיה סביבות עם בעבודה התנסינו הפרוייקט במהלך.1OpenNI for Kinect פונקציות 2. עם ה matlabבסביבת mexהתנסות פרוייקט תחת נכתבו . open NIאשר
) , אחרת) פיתוח סביבת עם לעבודה לעבור הוחלט ונבחנה נלמדה זו שאופציה לאחרJava Development:
של 3. הסיפריות המידע Javaעבור openNIלמידת את קוראת אשר אפליקציה וכתיבת- מה . Kinectהגולמי איתה לעבוד שנוח עומק למטריצת אותו וממירה
ה 4. סיפריות אפליקצית Javaעבור TCP-IPלמידת בין תקשורת מודול על Javaוכתיבתלבין ברשת . Smartphoneמחשב ה בין החיבוריות אנדרואיד smartphoneבסביבת
. אלחוטית רשת דרך גם להתבצע יכולה למחשבשל 5. הפיתוח סביבת אפליקציה Androidלמידת במכשיר Multi-threadedויצירת
למשתמש Androidה- אודיו מעבירה גם אשר
![Page 20: KFB - Gives eyes to the Blind](https://reader031.fdocument.pub/reader031/viewer/2022020106/56813c08550346895da56bab/html5/thumbnails/20.jpg)
Future Development
של • מתקדם עיבוד לבצע המסוגלים יותר חזקים אלגוריתמים בנייתאינפורמציה יותר ולהעביר הקינקט ממצלמת המתקבל המידע
למשתמש.• : הקינקט מצלמת מתוך נוספים מידע בערוצי שימוש תוך מידע עיבוד
. בחיישני לשימוש אפשרות כן כמו קול ועיבוד צבע תמונות עיבודה במכשירי המתוחכמים קוליות Androidהתנועה פקודות וזיהוי
במכשיר• . למשתמש האידיאלית האינפורמציה העברת צורת ומימוש בחינת
. לאוזניות פרט נוספות אינפורמציה העברת דרכי של בחינהל • ישירות הקינקט מצלמת לחיבור האפשרות smartphoneבחינת
ה מחשב הוצאת . pc2תוך כאשר יתאפשר זה תהליך מהמערכת . מתאימים דרייברים יתוכנתו
![Page 21: KFB - Gives eyes to the Blind](https://reader031.fdocument.pub/reader031/viewer/2022020106/56813c08550346895da56bab/html5/thumbnails/21.jpg)
Questions?