רשת ביטחון: מערכת לזיהוי וניטור בריונות באינטרנט

​מחלקה: הנדסת מערכות תוכנה ומידע
סטודנטים: אופק ישראל, שגיא אברמוב ויוחאי משיח
מנחים: ד"ר ארז שלום, ד"ר נמרוד מילוא וד"ר ארמין שמילוביץי

הרשתות החברתיות הפכו להיות חלק מרכזי בחיינו; אנו קמים לתוכן בבוקר, עוקבים אחריהן לאורך היום והולכים לישון איתן בלילה. הזמינות והיד הקלה על המקלדת יוצרת לעיתים תחושה בקרב הגולשים שאין גבול לחופש הביטוי, מה שמוביל לא אחת לפגיעות ולהשפלות שחוצות את גבולות העולם המקוון. פלטפורמת האינטרנט מאפשרת למשתמשים ליצור תכנים אלימים, בריוניים ופוגעניים, כמעט ללא חסמים, ונתונים מראים שההשלכות משמעותיות – כל ילד שלישי בישראל נפגע מעבירות "שיימינג" והשפלה ברשת.

בניסיון למצוא פתרון יעיל לתופעה המדאיגה שהולכת ומחמירה פעלו הסטודנטים אופק ישראל, שגיא אברמוב ויוחאי משיח, בהנחיית ד"ר ארז שלום, ד"ר נמרוד מילוא וד"ר ארמין שמילוביץ, לפיתוח מערכת למיגור תופעת הבריונות ברשת במסגרת פרויקט הגמר ההנדסי שלהם. המערכת נועדה להפחית את חשיפת הגולשים לתכנים פוגעניים ואלימים ולהפוך את חווית הגלישה לנעימה ולבטוחה יותר.

צוות הפרויקט שם למטרה לבנות מערכת המותאמת לשפה העברית, אשר תסווג תכנים בריוניים באמצעות "מודל סיווג". מודל זה מקבל כקלט טקסטים החשודים כבריוניים וקובע באמצעות שימוש באלגוריתמים של למידת מכונה (Machine Learning) האם הם אכן כאלו.

האתגר המרכזי: הדקויות בשפה שהמחשב מתקשה להבין >>

לצורך בניית המערכת, פנה הצוות לחברת ניטור הרשת VIGO אשר סיפקה תכנים החשודים כבריונים ממגוון רשתות חברתיות כמו Facebook, Youtube ו-Twitter . באמצעות מודלים סטטיסטיים בנתה המכונה מודל המייצג את המושג "בריונות". בעת פעולתה המערכת משווה בזמן אמת טקסטים חדשים למול הגדרות המודל זה, ומסוגלת לסווגם – האם מדובר בטקסטים בריוניים או לא.

כבר בתחילת הפרויקט גילו הסטודנטים שללמד מחשב להבדיל בין טקסטים בריוניים לטקסטים 'חבריים' זו משימה מאתגרת מאוד. למשל, הטקסט "יימח שמך יוני, איזה ציון קיבלת!" יכול בקלות להתפרש כבריוני על-ידי המכונה. לכן, בשלב הראשוני של הפרויקט עבד הצוות על בניית מערכת תיוג ידנית לקביעת רמת הבריונות של הטקסט החשוד על-ידי מומחים. השלב השני כלל גזירת תכונות איכותיות מהתוכן הגולמי ויצירת אשכולות התפלגויות של מילים במצבים שונים בטקסטים. התכונות הללו משמשות את האלגוריתמים של המכונה, ומסייעות ליצור מודל אמין ומהימן יותר, שידע להתמודד עם הדקויות של תקשורת אנושית. לבסוף הפעילו הסטודנטים את האלגוריתם שפתחו על טקסטים חדשים והשיגו תוצאות מעודדות של שלמות ונכונות האלגוריתם.

 
מדובר במערכת הראשונה בתחום שמותאמת לשפה העברית והסטודנטים טוענים שמדובר בצעד חשוב להפיכת רשת האינטרנט למקום בטוח יותר עבור הגולשים והגולשות הישראליים.