זיהוי קולי בסמארטפון לעסק: SDK, ענן מול על המכשיר ואבטחה

זיהוי קולי בסמארטפון הוא יכולת של אפליקציית נייד להמיר את הדיבור של המשתמש לטקסט או לפקודה, באמצעות ערכת פיתוח (SDK) או ממשק (API) של מנוע זיהוי דיבור. המנוע יכול לפעול בענן או על המכשיר עצמו (On-device), והבחירה ביניהם קובעת פרטיות, זמן תגובה, עלות ויכולת לעבוד בלי אינטרנט.

עיקרי הדברים

• לפי התיעוד של Android, SpeechRecognizer עשוי לשדר שמע לשרתים מרוחקים, אינו מיועד לזיהוי רציף ודורש הרשאת RECORD_AUDIO.
• זיהוי על המכשיר זמין באנדרואיד מרמת API 31 (createOnDeviceSpeechRecognizer), ובדיקת הזמינות נעשית עם isOnDeviceRecognitionAvailable.
• ב-iOS כל recognizer תומך בשפה אחת, ומגבלת ההקלטה היא דקה אחת. הפעלה על המכשיר מונעת שליחת שמע ברשת, אבל לפי Apple היא פחות מדויקת.
• Microsoft Azure Speech מציעה Speech SDK לכל הפלטפורמות, ועברית (he-IL) מופיעה בתיעוד שלה, כולל Custom speech.
• הקול של עובדים ולקוחות הוא מידע אישי, ולכן ההחלטה אם השמע עוזב את המכשיר היא גם החלטת פרטיות.

העמוד הזה עוסק בהטמעה באפליקציות נייד לעסק. את ההסבר הכללי על הטכנולוגיה, על עברית ועל טלפוניה תמצאו במדריך זיהוי קולי.

איך עובד זיהוי קולי בתוך אפליקציה בסמארטפון?

האפליקציה מבקשת הרשאה לשימוש במיקרופון, מקליטה את הדיבור ומעבירה אותו למנוע. המנוע מחזיר טקסט, ושכבת הבנת כוונה מתרגמת את המשפט לפעולה באפליקציה: רישום נתון, חיפוש או פתיחת מסך. הכול מתרחש תוך שניות, והמשתמש רואה את התוצאה ויכול לתקן.

כל אפליקציה שמשתמשת בזיהוי קולי צריכה לטפל בשלושה מצבים שהמשתמש פוגש בפועל: שהמנוע לא הבין, שאין אינטרנט, ושההרשאה נדחתה. ב-Android קיימים קודי שגיאה ייעודיים לכך, למשל ERROR_LANGUAGE_NOT_SUPPORTED כשהשפה אינה נתמכת במנוע, ו-ERROR_LANGUAGE_UNAVAILABLE כשהשפה נתמכת אבל טרם הורדה למכשיר.

הגדלהשאלה על התרשים?שאלו מהנדס בוואטסאפ

זיהוי קולי כולל שני תחומים: זיהוי דיבור (Speech Recognition), שממיר את הדיבור לטקסט ומבין את הבקשה, וזיהוי דובר (Speaker Recognition), שמאמת זהות לפי טביעת הקול. שישה שימושים עיקריים מוצגים: מענה קולי וניתוב (IVR) לפי מה שהלקוח אומר, אימות ביומטרי של המתקשר, הפעלה קולית ללא ידיים, הכתבה ותמלול של שיחות ופגישות, נגישות לאנשים עם מוגבלויות וניתוח שיחות לזיהוי נושאי פנייה. בין היתרונות לעסק: פחות עומס על המוקד, שיחה בשפה טבעית במקום הקשת מקשים ושכבת אבטחה נוספת לצד אמצעי הזיהוי הקיימים.

זיהוי קולי בענן או על המכשיר: מה לבחור?

ההחלטה נקבעת לפי ארבעה שיקולים: פרטיות, איכות, תלות ברשת ועלות. בענן השמע עובר לשירות חיצוני, ועל המכשיר הוא נשאר אצל המשתמש.

ב-iOS התכונה supportsOnDeviceRecognition מציינת אם אפשר לפעול בלי רשת, ו-requiresOnDeviceRecognition מונעת שליחת שמע ברשת. ב-Android הפעלה על המכשיר דורשת בדיקה מוקדמת של זמינות, כי לא בכל מכשיר ובכל שפה זה אפשרי. בעברית יש לבדוק את שני הדברים על המכשירים שהעובדים משתמשים בהם בפועל.

אילו SDK ו-API קיימים לאפליקציות עסקיות?

יש ארבע קבוצות עיקריות, והן נבדלות בשליטה ובעלות.

• מנועי המערכת: SpeechRecognizer באנדרואיד ו-SFSpeechRecognizer ב-iOS. הם נוחים להטמעה, אך כפופים למגבלות הפלטפורמה, וב-iOS כוללים מגבלת דקה להקלטה ומגבלות כמות לכל מכשיר ולכל אפליקציה.
• Microsoft Azure Speech: Speech SDK לפלטפורמות רבות, תמלול בזמן אמת, תמלול מהיר ומודלים מותאמים לרעש ולז'רגון.
• Google Cloud Speech-to-Text: עברית בקוד iw-IL במודלי Chirp באזורים שמופיעים בתיעוד.
• Amazon Transcribe: עברית בקוד he-IL בתמלול קבצים ובתמלול זורם.

בנוסף קיימים מנועים שפועלים על המכשיר ללא חיבור. מדריך ה-API של AudioCodes למנוע AC Voca לאנדרואיד ול-iOS מתאר יכולת עבודה בלי אינטרנט בזמן אמת, המבוססת על קובצי דקדוק סגורים, כלומר רשימה קבועה של פקודות. המדריך אינו מזכיר עברית ותאריכו לא נבדק, ולכן בעברית יש לוודא תמיכה מול היצרן לפני כל החלטה.

מתי זיהוי קולי בנייד משתלם לעסק?

הוא משתלם כשהידיים או העיניים של העובד תפוסות, או כשהקלדה בנייד איטית ומעכבת. הדוגמאות הנפוצות בעסקים:

• עובדי שטח שמתעדים ביקור, ממצא או דוח שירות בדיבור במקום בהקלדה.
• הזנת הערות לאחר פגישה ישירות ל-CRM, בלי לחזור למשרד.
• חיפוש בקטלוג או במלאי בשאלה בקול, באפליקציה פנימית.
• טופס קצר באפליקציה ללקוחות, שבו קל יותר לומר פרט מאשר להקליד אותו.

לא מומלץ להתחיל ביישום שדורש שיחה חופשית ארוכה. עדיף להתחיל במשימה אחת עם אוצר מילים מוגבל, למדוד כמה פעמים המשתמשים תיקנו ידנית, ורק אחרי זה להרחיב.

מה ההבדל בין הכתבה, פקודות קוליות ושיחה עם בוט באפליקציה?

שלושה סוגי שימוש נראים דומים, אבל דורשים החלטות טכניות שונות, והם משפיעים על בחירת המנוע ועל המחיר.

• הכתבה: המשתמש מדבר חופשי והאפליקציה ממירה לטקסט. נדרש מנוע דיבור חופשי, בדרך כלל בענן, ויש לתכנן עריכה ידנית של התוצאה.
• פקודות קוליות: המשתמש אומר משפט מתוך רשימה מוגדרת, כמו "פתח הזמנה" או "סמן כבוצע". אפשר להסתפק במנוע עם דקדוק סגור שפועל על המכשיר, והדיוק גבוה יותר כשהרשימה קצרה.
• שיחה עם בוט: האפליקציה מנהלת דו-שיח, שואלת שאלות ומחכה לתשובה. נדרשת הבנת כוונה, תגובה קולית וטיפול במצבים שבהם המשתמש משנה כיוון באמצע.

עסק שמבלבל בין השלושה משלם על יכולת שאינו צריך, או מקבל מנוע שאינו מתאים למשימה. לכן כותבים בהצעה מראש איזה סוג שימוש נדרש, ובודקים אותו על אותה משימה בדיוק.

איך מתכננים חוויית משתמש נכונה לזיהוי קולי בנייד?

איכות החוויה נקבעת פחות ממנוע הזיהוי ויותר מהתכנון סביבו. עיקרי הכללים שמתאימים לאפליקציה עסקית:

• להציג את הטקסט שזוהה מיד, כדי שהמשתמש יראה אם המנוע הבין נכון ויוכל לתקן.
• לבקש אישור לפני פעולה שאי אפשר לבטל, כמו מחיקה, שליחה ללקוח או שינוי סכום.
• להבחין בין שגיאת זיהוי, אובדן רשת והרשאה שנדחתה, ולהציג לכל אחת מהן הודעה אחרת ברורה.
• להציע הקלדה ידנית בכל מסך, כדי שעובד בסביבה רועשת לא ייתקע.
• לציין במסך מתי האפליקציה מקליטה, כפי שגם Apple מבקשת מפתחים לעשות.

המדידה חשובה לא פחות מהתכנון. בפיילוט סופרים כמה פעמים המשתמש תיקן ידנית, כמה זמן ארכה כל פעולה בדיבור לעומת הקלדה, וכמה משתמשים חזרו להקלדה אחרי שבוע. נתונים אלה קובעים אם ההשקעה משתלמת, ולא ההדגמה הראשונה.

איך מחברים זיהוי קולי לאפליקציה עסקית קיימת?

1. מגדירים משימה אחת ומה נחשב הצלחה: זמן השלמה, מספר תיקונים ידניים, שביעות רצון.
2. בוחרים מנוע לפי עברית, פרטיות ועלות, ובודקים אותו על מכשירים אמיתיים של העובדים.
3. מטמיעים בקשת הרשאה ברורה למיקרופון, עם הסבר מדוע היא נדרשת.
4. בונים מסלול גיבוי: הקלדה ידנית כשהמנוע לא מבין או כשאין רשת.
5. מריצים פיילוט עם קבוצה קטנה, מודדים ומתקנים את אוצר המילים.
6. מחברים את הפלט למערכות העסק, כגון CRM, ומגדירים מי ניגש להקלטות ולכמה זמן.

כשהאפליקציה מחברת גם שיחות טלפון, אפשר לשלב אותה עם מרכזיה בענן ועם אפליקציית סופטפון, כך שהשיחות וההקלטות נשמרות במערכת אחת. תמלול של שיחות שנשמרות במרכזיה הוא תוספת בתשלום, ולכן קובעים מראש אילו שיחות מתומללות. מי שרוצה מענה קולי אוטומטי בשיחות יקרא על בוט קולי.

אילו סיכוני אבטחה ופרטיות יש בזיהוי קולי בנייד?

הסיכון הראשון הוא שהשמע עוזב את המכשיר. לפי התיעוד של SpeechRecognizer באנדרואיד, המימוש עשוי לשדר שמע לשרתים מרוחקים. ב-iOS הדבר נכון לשירות המבוסס רשת. לכן יש להחליט מראש אם שמע של עובדים ולקוחות יעבור לענן, ולתעד זאת.

הסיכון השני הוא ההקלטות עצמן. שמע שנשמר על שרת העסק או אצל הספק הוא מידע אישי, ויש להגדיר גישה, הצפנה ותקופת שמירה. אם המערכת שומרת חתימת קול לצורך אימות זהות, היא מטפלת במזהה ביומטרי, ובמדריך הרשות להגנת הפרטיות לתיקון 13 הוא מוגדר כמידע בעל רגישות מיוחדת. הסיכון השלישי הוא ההרשאות: אפליקציה שמבקשת גישה למיקרופון בלי הסבר פוגעת באמון המשתמשים.

אילו מכשירים וגרסאות מערכת הפעלה צריך לבדוק?

זיהוי קולי מתנהג אחרת בכל מכשיר, ולכן לא בודקים רק על הטלפון של המפתח. מרכיבים מטריצת בדיקה קצרה לפי המכשירים שהעובדים משתמשים בהם בפועל: דגם, גרסת מערכת הפעלה, ושפת המכשיר. באנדרואיד זיהוי על המכשיר זמין מרמת API 31, ולכן מכשירים ישנים יותר יסתמכו על שירות מבוסס רשת, והשפה צריכה להיות מורדת למכשיר. ב-iOS כל recognizer מוגדר לשפה אחת, ולכן אפליקציה דו-לשונית צריכה לטפל במעבר בין שפות.

בנוסף בודקים את איכות המיקרופון באוזניות ובדיבורית, ואת הסביבה: מחסן, רכב או אתר בנייה. תוצאות הבדיקה הזו קובעות אם נדרש מיקרופון חיצוני או מעבר למנוע עם התאמה לרעש.

מה ההבדל בין זיהוי דיבור לזיהוי דובר?

זיהוי דיבור (Speech Recognition) קובע מה נאמר, ומחזיר טקסט. זיהוי דובר (Speaker Recognition) קובע מי דיבר, לפי מאפייני הקול. שני המנגנונים משתמשים בשמע, אבל המטרות, הנתונים והסיכונים שונים:

• בזיהוי דיבור אפשר לא לשמור את השמע אחרי שהטקסט התקבל, והמידע הרגיש הוא התוכן שנאמר.
• בזיהוי דובר נשמרת חתימת קול, שהיא מזהה ביומטרי, ולכן היא מצריכה החלטה מפורשת על אחסון, הצפנה והרשאות.
• אפליקציה עסקית שרק ממירה הכתבה לטקסט לא צריכה זיהוי דובר, ואין סיבה לאסוף חתימת קול שלא נדרשת למשימה.

כשמבקשים הצעה, מציינים בבירור איזה מהשניים נדרש, כי הם מתומחרים ונבדקים בנפרד.

איך מודדים דיוק של זיהוי קולי בפיילוט?

המדד המקובל הוא שיעור שגיאות המילים (WER, Word Error Rate): סוכמים את המילים שהוחלפו, שהושמטו ושנוספו, ומחלקים במספר המילים בתמלול הנכון. ככל שהמספר נמוך יותר, התמלול מדויק יותר. כדי שהמדידה תשקף את העבודה בפועל, עושים אותה כך:

1. אוספים קבוצת הקלטות אמיתיות מהמשימה, עם הדוברים, המכשירים והרעשים של העובדים.
2. מכינים לכל הקלטה תמלול נכון ידני, שהוא נקודת ההשוואה.
3. מריצים את אותן הקלטות בכל מנוע שנבחן, ומחשבים WER לכל אחד בנפרד.
4. בודקים גם מונחים מקצועיים, שמות מוצרים ומספרים, כי שגיאה בהם פוגעת בעבודה יותר משגיאה במילה שגרתית.
5. משווים את התוצאה לזמן התיקון הידני: מנוע עם WER נמוך מעט יותר עשוי להיות פחות שימושי אם הוא מתקשה דווקא במילים החשובות.

אפשר להפעיל חיפוש קולי באתר או באפליקציית אינטרנט?

באפליקציית אינטרנט או באתר אפשר להשתמש בממשק Web Speech API (SpeechRecognition), שזמין בכרום, באדג' ובגרסאות חדשות של סאפרי, ובפיירפוקס אינו מופעל כברירת מחדל לפי המקורות שנבדקו. בכרום השמע נשלח לשירות זיהוי בענן, ולכן חלות כאן אותן שאלות פרטיות שחלות על מנוע ענן באפליקציית נייד. לפני שמחליטים, בודקים את התמיכה בעברית ואת התנהגות הדפדפנים שהעובדים והלקוחות משתמשים בהם, ומציגים למשתמש הודעה ברורה כשהמיקרופון פעיל.

מה בודקים בהצעה להטמעת זיהוי קולי באפליקציה?

1. איזו עברית נבדקה, ועל אילו מכשירים ואילו רעשי רקע.
2. האם המנוע פועל על המכשיר, בענן או בשני המצבים, ולאן עובר השמע.
3. כיצד מתומחר השימוש: לפי דקה, לפי משתמש או ברישיון, ומה כלול.
4. איך מעדכנים את אוצר המילים כשמתווספים מוצרים, שמות וסניפים.
5. מי אחראי על עדכוני מערכת ההפעלה, ומה קורה כשהפלטפורמה משנה את ה-API.
6. מהם תנאי השימוש בשמע לצורך אימון מודלים, ומה מדיניות המחיקה.

איך עובדים עם טלקום אקספרט?

טלקום אקספרט מלווה עסקים כאינטגרטור תקשורת. מהנדס תקשורת עם מעל 25 שנות ניסיון מגדיר את הצורך, בוחן אפשרויות ומחבר את הפתרון לטלפוניה של העסק. השירות מיועד לעסקים ולארגונים בלבד. טלקום אקספרט אינה חברת פיתוח אפליקציות, והיא לא מספקת נציגים או שירות מענה אנושי: היא מלווה בהחלטה ובחיבור לצד הטלפוניה והתקשורת, והמחיר נקבע לפי היקף הפרויקט.

מרכזיה בענן מתחילה מ-20 ש"ח לשלוחה, במינימום 60 ש"ח לחודש, והממוצע בשוק הוא 20 עד 80 ש"ח לשלוחה לפני מע"מ. מי שרוצה לבדוק זיהוי קולי באפליקציה עסקית יכול לבקש הצעה מהטבלה שלהלן.

הצעת מחיר לליווי בזיהוי קולי ובטלפוניה

ההצעה נבנית לפי היקף הפרויקט והמכשירים, ואלה השירותים שמרכיבים אותה.

לייעוץ ללא התחייבות: 077-8123111.

שאלות נפוצות על זיהוי קולי בסמארטפון