מדען נתונים – כלים וטכניקות

משרת ה-Data Scientist היא אחת המקצועות החמים בשוק העבודה הנוכחי. יותר מזאת ב-Glassdoor מעניקים לעבודה זאת התואר העבודה הטובה ביותר של 2017. כבר בשנת 2011, בחברת McKinsey חזו כי יהיה מחסור של 1.5 מיליון מנהלים ואנליסטים עם הידע להשתמש בניתוח של נתוני Big Data על מנת לקבל החלטות מושכלות.
כל פעולה שמבצעים באינטרנט מייצרת נתונים הנרשמים בבסיס נתונים או קובץ כלשהו. ה-Data Scientist צריך להבין את הנתונים, לגלות מגמות בנתונים ולבצע תחזיות כדי לראות אם הנתונים שימושיים. בפוסט הזה אתמקד במיומנויות הנדרשות ובכלים הדרושים והנפוצים ביותר בשוק.

תִכנוּת וכתיבת סקריפטים – Data Scientist משתמשים בתכנות כדי לעבוד עם מסדי נתונים שלמים שהם מטפלים בהם כדי לאסוף מידע המשמש אותם. שפות ( חלקם שפות סקריפט) הנפוצות ביותר בשימוש למטרות אלו עפ"י סקר של KDnuggets הם: R, Python, SQL, Java/Scala, C/C++, Perl, Julia

ניתוח נתונים – ניתן להתחיל עם בעיה ולנתח נתונים בניסיון למצוא את הפתרון לבעיה זו, וניתן להתחיל עם כמויות גדולות של נתונים (Big Data) ולנתח אותו בחיפוש אחר מגמות ספציפיות להצביע על הזדמנויות הנובעות מתוך הנתונים. לפני שמתחילים את מלאכת הניתוח יש לנקות ולסדר את ה-Data לבצע אגרגציות או לצמצם את מספר המשתנים המסבירים. כמובן שלאחר הניתוח יש להציג את התובנות באופן המובן לקהל שאינו Data Scientist. שלב הניקיון וסידור הנתונים ניתן לבניה תהליכית בשימוש ב-KNIME או Pentaho לדוגמה.

חזוי ובניית מודלים סטטיסטיים – בניית מודלים וחיזוי הוא מה שמפריד בין Data Scientist ובין אנליסט / מנתח הנתונים. Data Scientists צריכים לנבא באמצעות נתונים מן העבר. על כך כתבנו בפוסטים קודמים. הכלים שמשתמשים הם מגוונים ומשתנים מארגון לארגון. מרבית האנליסטים משתמשים ב-R וב-Python כברירת מחדל ולו בשביל מחקר ראשוני מקדים. אחרי הניתוח וההסתכלות הראשוניים ישנם מוצרים שונים המקלים מאוד על העבודה ובוודאי בסביבת Production. מתוך אותו סקר ניתן לראות במה Data Scientists משתמשים:

מעניין גם לראות את הכלים שחוו ירידה משמעותי בשימוש :

שימוש ב – R, Python, SQL היא בד"כ הגישה הפרקטית והמהירה לנתח לבנות תחזיות ולהפיץ מידע. כאשר Python בדרך כלל מהיר יותר מאשר R ומאפשר משיכה ודחיפת נתונים קלה יותר. R מספק הרבה מאוד חבילות ומודלים לכל דרישה ניתוחית סטטיסטית. R מציע מודלי נישה רבים אבל Python נתמך טוב יותר ויש לו את היתרון של Scale. כמו כן' הרבה מוצרים תומכים בהרחבות ע"י הוספה של סקריפטים ב- R ו-Python כגון Azure ML, KNIME. או שילוב של Python עם Tensorflow.

שלום דינור, Senior data scientist
צביקה ירון, סמנכ"ל מכירות
דטה קיוב.