פרויקט במעבדה לבקרה

מערכת עזר לעיוור באמצעות שליטה ובקרה קולית

2005 נובמבר אביעד הבר ובועז הייליג

מנחה: ארי טוטפלד

:מטרת הפרויקט

פיתוח מערכת לעזרה בביצוע פעולות הקשורות באחזקת הבית •

לאנשים בעלי מוגבלויות.

הכרה ועבודה עם אלמנט תוכנה לזיהוי ועיבוד קול הקיים בשוק.•

שימוש בממשק חומרה לייצוג קלט ופלט מן המערכת לסביבה •החיצונית.

התנסות ביצירת תוכנה בעלת מגוון אלמנטים – סטאטיים, דינאמיים, •

והתאמתה לדרישות המשתמש.

רקע היסטורי( ופענוח מילים, התפתחהASRטכנולוגית הזיהוי הקולי האוטומטי )

בצורה ניכרת בשנים האחרונות.

, המחסום העיקרי 1936 מאז החל המחקר של הטכנולוגיה הזאת בשנת

למהירות ודיוק של הזיהוי הקולי היה מהירות וכוח מחשוב. אך כיום,

( ורמת זיכרון של Pentium III ממוצע ומעלה ) CPUבאמצעות

500 MB RAM ,ואף יותר, 95%רמות הדיוק הגיעו לכ- ומעלה

מילים בדקה.160ולפענוח של יותר מ-

מטרות ומאפייני המערכת קבלת פקודות בצורת משפטים פשוטים •

בשפה יום יומית.

זיהוי המילים הנאמרות תוך התעלמות •מרעשי רקע ומהברות לא ברורות.

פענוח הפקודות הקוליות והפיכתן •למילים בשפת הממשק )אנגלית(.

בדיקת קיום ביצוע הפקודה בהתאם •למצב הנוכחי.

מתן משוב קולי )לעיוור( וויזואלי )לחירש( •על ביצוע הפקודה.

הפעלת הייצוג המתאים בחומרה הנלוות.•

Open lights !

The lights are now on

מבנה המערכת

חלקי התוכנה: : זהו מנוע זיהוי הדיבור של Speech recognition מנוע זיהוי הדיבור – • ™Microsoft מספק .API( ליצירת תכני דיבור contexts( וחוקי תחביר )grammar .)

את המנוע ניתן לאמן לזיהוי מאפייני דיבור המתאימים לאדם מסוים באמצעות •הממשק של מערכת ההפעלה. לאחר האימון ניתן לייצר פרופיל המתאים לאדם זה. ניתן

לייצא ולייבא פרופיל זה וכך לאפשר זיהוי טוב יותר.

(, ומאפשרת ליצור משפטים dictationיצירת התחביר כוללת את המשפט המוכתב ) •כמו כן ניתן לאפשר זיהוי דינאמי של הכוללים אלמנטים מחייבים ואלמנטים אפשריים.

כל מילה מהמילון.

המחוברת חומרה, אשר אחראית על זיהוי הדיבור ומתוכנה המערכת מורכבת מ•ליציאה המקבילית של המחשב ומאפשרת חיבור של מכשירי חשמל לבקרה באמצעות

התוכנה. המערכת כוללת עיבוד מידע סטאטי ודינאמי.•

שלבי עבודת התוכנה:

, יצירת אובייקט לפענוח מילים, COM אתחול יציאת ה אתחול:•

)חוקי דקדוק( לצורה בינארית.XMLקומפילציה של ה

והפנייתו לפונקציה SAPI ע"י event זיהוי :events טיפול ב •המתאימה.

שאינם מעניינים אותנו.eventsסינון של טיפול במשפטים שלמים כרשימה מקושרת של :phrases טיפול ב •

מילים,השוואתם לחוקי הדקדוק שהגדרנו, וביצוע הפעולות

בהתאם לפקודה שזוהתה.

החומרה:

מעגל מודפס המתחבר ליציאה המקבילית של המחשב.

כולל :•

ערוצי יציאה11 •

ערוצי כניסה5 •

חציצה אופטית בין יציאות המחשב למעגל •

הפיקוד למניעת פגיעה במעגלי המחשב.

מימוש באמצעות ממסרים זולים אשר מדמים •את

וולט הנדרשים.220 ממסרי ה-

ממשקי המערכת – קלט ופלט המערכת מקבלת כקלט פקודות קוליות. חלק מן הפקודות •

ידועות מראש וחלקן פתוחות )מקבלות כל תוכן(.

קלט נוסף הינו מצב המתגים על החומרה, המייצגים נתונים •מסוימים

בסביבה.

המערכת מעבדת את הפקודה ובהתאם למצב הפנימי שלה •מוציאה

פלט בצורות הבאות: הדפסה גראפית על המסך.• הקראה קולית של התוצאה.• חיווי באמצעות החומרה על המצב הפנימי.•

מצבי המערכת וסוגי הפקודות:

פקודות נוקשות )תחביר ידוע מראש(:

פתיחת וסגירת האזעקה – פקודות אלו מדליקות ומכבות את האזעקה.

החיווי הניתן הינו גרפי, קולי ובחומרה.

פתיחת וסגירת האורות – פקודות אלו מדליקות ומכבות את האורות. החיווי הניתן הינו גרפי, קולי ובחומרה.

פתיחת וסגירת הרדיו – פקודות אלו מדליקות ומכבות את הרדיו, הפקודה דורשת בשלב השני את שם התחנה

שם זה יכול להיות מן השמות הקבועים או תחנה משתנה. החיווי הניתן הינו גרפי, קולי

ובחומרה.

קריאת הטמפרטורה – פקודה זו דוגמת את מצב המפסקים על החומרה המייצגים את הטמפרטורה.

החיווי הניתן הינו גרפי וקולי.

קריאת מצב הדלת – פקודה זו דוגמת את מצב הדלת המיוצג במפסק

הראשון בחומרה. החיווי הניתן הינו גרפי וקולי.

מצב לילה – זוהי פקודה המפעילה תוכנית ידועה מראש לכיבוי

האורות, הדלקת האזעקה, כיבוי הרדיו ובדיקת הדלת. החיווי הניתן הינו גרפי, קולי ובחומרה.

שמירת מצב – זוהי פקודה השומרת לשימוש עתידי את המצב הנוכחי של המערכת, על מנת לאפשר לחזור אליו

בעתיד. החיווי הניתן הינו גרפי וקולי.

הרצת מצב שמור – פקודה זו מחזירה את המערכת למצב שנשמר בפקודת השמירה.

. החיווי הניתן הינו גרפי, קולי ובחומרה

פקודות גמישות )תחביר שינוי תחנת שם הרדיו – בנוסף לתחנות הקיימות, ישנה תחנה דינאמי(:

נוספת הניתנת לקביעה על ידי המשתמש. שם

התחנה יכול להיות מילים מן המילון או תדר התחנה. אם נאמר התדר, המערכת

תתרגם אותו למספר. החיווי הניתן הינו גרפי,

קולי ובחומרה.

קביעת טיימר לכיבוי הרדיו – במידה והרדיו פועל, ניתן לקבוע טיימר אשר

יכבה אותו לאחר הזמן הנדרש. הטיימר יכול

להיקבע למספר שניות, דקות או שעות. בפקיעתו, יכובה הרדיו ויינתן חיווי גרפי,

קולי ובחומרה.

בעיות בהן נתקלנו ופתרונן: זיהוי של מילים לא רלוונטיות כפקודה למערכת.•

:פתרוןצמצום אוצר המילים של המערכת באמצעות

היררכי.XML הגדרת חוקי דקדוק ברורים בקובץ

בעיית גישה לכתובות הזיכרון הקשורים לכתיבה וקריאה • ליציאה המקבילית עקב חסימה של מערכת ההפעלה.

מתן פקודות קריאה וכתיבה דרך תוכנה :פתרוןחיצונית. בעיית זיהוי התחנה הדינאמית כתדר.•

בניית מנוע לזיהוי ועיבוד מספרים וספרות. :פתרון

יתרונות וחסרונות המערכת

אפשרות התקנה פשוטה יחסית על מחשב ביתי, ודרישות מערכת• נמוכות יחסית.

עיקר מנוע הזיהוי הקולי כבר קיים במערכת ההפעלה הפופולארית• ביותר.

(. V5 מתח עבודת החומרה קיים במחשב אישי ) •

:יתרונות

המערכת זולה יחסית לייצור.•

המערכת ידידותית למשתמש ופונה לקהל רחב של משתמשים.•

יתרונות וחסרונות המערכת

.windows המערכת כרגע עובדת אך ורק על מערכת ההפעלה •

BIOS הינו מיושן ומוגבל. ואף דורש הגדרות parallel חיבור ה • ספציפיות על מנת שהמערכת תפעל כראוי.

:חסרונות

כיווני פיתוח עתידיים

התאמת החומרה לעבודה עם מכשור חשמלי ביתי.•

ואף שילובה בטכנולוגייתUSB מעבר המערכת לעבודה עם יציאת • Bluetooth.

התאמת המערכת לכל מערכות ההפעלה הקיימות בשוק.•

הוספת משוב אלקטרוני לווידוא ביצוע פקודות המערכת.•

תודות

, על התמיכה ואורך הרוח.ארי ל•

, על העזרה ושיתוף הפעולה.צוות המעבדה ל•

פרויקט במעבדה לבקרה

מערכת עזר לעיוור באמצעות שליטה ובקרה קולית