מהפכת המידע כבר כאן!

מהפכת המידע כבר כאן!

עולם המידע נמצא לאחרונה בתהליך מרגש וחסר תקדים – כמויות המידע הנאספות על הגולשים והמשתמשים בשירותי האון ליין השונים הן עצומות, והאופן שבו הארגונים משתמשים במידע הזה משתכלל יותר ויותר. במאמר זה נכיר את הכלי החדש לאיסוף וניתוח נתונים של מייקרוסופט ונבחן האם זה מתאים לארגון שלך

מאת: עידן אזולאי, מנהל טכנולוגיות ראשי בדטה-קיוב (DataCube) | כדי לבדוק כיצד ניתן ליישם גם אצלכם קבעו ייעוץ חינם כעת.

השינויים הטכנולוגיים הובילו לשינויים דרמטיים בהרגלי הצריכה שלנו בשנים האחרונות.
רכישה של מוצרים ושירותים ברשת הפכה להיות פעולה פשוטה של לחיצת כפתור (לפעמים, אפילו תוך כדי בחינה של מוצרים דומים בזמן אמת).
התקשורת הפכה מיידית, המידע הפך זמין ומהיר והדוגמאות הן אינסופיות.

במקביל לתזזיתיות והעושר של המידע ברשת, מתחת לפני השטח רוחש וגועש עולם שלם שלא מפסיק להפתיע – הוא עולם הדאטה (מידע).
לכל עסק, בעיקר עם אתר ורכישות מקוונות, מצטבר מידע רב שקשור לאתר, לתנועה ולמשתמשים.
מידע זה הינו מיותר אם לא עושים איתו כלום.
רק תשתית טכנולוגית מתאימה יכולה לאסוף את המידע על המשתמשים והגולשים, ולאפשר ניתוח אפקטיבי ושימוש מושכל כך שנוכל להפיק ממנו תובנות וערך רב.
מידע זה יכול להצביע לדוגמא על איפה העסק מאבד כסף ואיפה כדאי להשקיע כדי למקסם את הרווחים.

עם החידושים האחרונים, ניתן כיום להקים מערכות מידע המציעות פתרונות מגוונים ומהירים, תוך שימוש בצוותי פיתוח מצומצמים ושימוש בטכנולוגיות שבעבר היו בשימוש אצל מדענים במכוני מחקר בלבד, כמו יכולות חיזוי ובחינת אופי המשתמשים השונים.

ה-Game Changer של מייקרוסופט

היכולת המואצת בבניית מערכות מידע מורכבות מתאפשרת בעיקר בזכות מהפיכת הענן שהחלה בשנים האחרונות, ואשר מובלת על ידי ספקיות התוכנה הגדולות.
הענן הינו למעשה תשתית מחשוב הפזורה בכל רחבי העולם, המאפשרת הקמה של התשתיות והמוצרים הנדרשים, אחסון מידע רב בעלות ריאלית (בעיקר בשיטת תשלום פר-שימוש), וכמובן תוך הקפדה על אבטחת מידע ונתונים.

בשנתיים האחרונות שותפה דטה קיוב לפיתוח מערכות BI / Big Data על גבי תשתית הענן של מיקרוסופט – Azure Data Platform יחד עם צוותי ארכיטקטים בכירים ממייקרוסופט בחברות המובילות בישראל, לצד חברות סטארטאפ חדשניות. זוהי נכון להיום פלטפורמת הנתונים הגדולה ביותר בעולם, המאפשרת איסוף הנתונים, אחסונם, עיבודם, הפקת תובנות עיסקיות וכמובן ויזואליזציה מתקדמת.

חדשנות הפלטפורמה מתבטאת במספר פרמטרים:

עלויות – התשלום הוא על פי שימוש בלבד. עובדה זו מקטינה דרמטית עלויות נלוות כמו רכש של תוכנות סטנדרטיות קלאסיות ורכש שרתים. במקרים מסוימים מדובר בחיסכון של מאות אלפי דולרים בשנה.

גישה לתכונות מתקדמות – ספקיות הענן פועלות בגישת Cloud First, כלומר כל הפתרונות החדשים משוחררים תחילה בענן ומאפשרים חשיפה ראשונה לארגונים העובדים בענן.

התמקדות בעיקר – אם בעבר היתה נדרשת התערבות של אנשי תשתיות, כיום הפלטפורמה מאפשרת הפעלת יכולות מתקדמות בלחיצת כפתור והתמקדות בפיתוח המערכת.

ניתן לחלק את פלטפורמת הנתונים של מייקרוספוט למספר שכבות עיקריות:

שכבת איסוף המידע – קיימות כמה טכניקות למשיכת הנתונים אל התשתית. הראשונה והסטנדרטית הינו ע"י שימוש בכלי ה-ETL הסטנדרטי והוותיק – SSIS. טכניקה נוספת הינה באמצעות כלי חדשני המעביר כמויות נתונים עצומות בפעולת אצווה אל הענן. עוד אפשרות חדשה הינה משיכת נתונים בזמן אמת ממערכות "חיות" אל הענן, כמו אתרי מסחר לדוג', על מנת לבצע ניתוח פעילות ב- On Line.

שכבת אחסון הנתונים – פלטפורמת הנתונים מאפשרת אחסון נתונים במגוון שיטות על פי הצורך: שיטות האחסון הקלאסיות כמו בסיס הנתונים הסטנדרטי Sql Server, המאפשרות אחסון בשיטת טבלאות נתונים,Azure Storage לשמירת קבצים טקסט, קבצים בינאריים, קבצי אודיו והטכניקה החדשה של שמירת נתונים בצורה לא מבנית או טבלאית ב- Data Lake באמצעות Hadoop.

שכבת השליפה ועיבוד הנתונים – לצד שאילתות קלאסיות כמו תחקורSQL או בניית מודלים נתונים בזכרון המחשב, קיימות שיטות מתקדמות של תחקור נתונים מתוך Hadoop, בניית מודלים סטטיסטיים וחיזוי באמצעות Azure Machine Learning.

תצוגה – לאחר שנים שנראה היה כי מייקרוסופט לא ממוקדת בכלי ויזואליזציה, היא חוזרת להוביל את השוק גם בתחום זה באמצעות Microsoft Power BI המאפשר בניית מסכים, דשבורדים ודו"חות, לצד יכולות ויזואליזציה קלאסיות באמצעות Microsoft Excel הישן והטוב.


היכן לפתח את תשתית הנתונים בארגון שלי?

חברות אשר הוקמו בענן (Born in the cloud) ומשרתות את לקוחותיהן בענן, אך טבעי שיקימו את מערכות הנתונים שלהן בסמוך לאפליקציה ויעשו שימוש מידי בענן, אם לא באופן מלא אז בוודאי באופן חלקי. לעומת זאת, חברות אשר השקיעו לא מעט בבניית תשתיות הנתונים שלהן בחוות שרתים מקומיות (On Premise), לא יוכלו להתעלם מהאפשרות החדשניות, אך כמובן שיצטרכו לבצע בחינת כדאיות דקדנית.

במידה והמסקנה היא שאכן יש כדאיות כלכלית וארגונית להשקיע בכיוון, ישנן שתי גישות שניתן ליישם בפועל בהעברת פעילות ארגונים לענן:

Lift and Shift – העתקת כלל התשתית As is לענן, ורק אז מעבר הדרגתי לשימוש ביכולות הקיימות כשירותים בענן.

Hybrid Data Platform – המשך תחזוקה של התשתית הקיימת, ובמקביל העברת פיתוחים חדשים, או כאלה המצריכים יכולות הקיימות בענן, תוך הקפדה על אחידות הנתונים ושמירה על אופן מתן השירותים למשתמשים. בכל מה שנוגע לעבודה היברדית, מייקרוסופט חדשנית מאוד והאפשרויות כאן אינסופיות.

לסיכום, האפשרויות הטכנולוגיות הקיימות קיום בענן המייקרוסופטי הינן פריצת דרך משמעותית בכל מה שקשור לטיפול ובניתוח מידע, גיבוש מסקנות וחיזוי. הניסיון שלנו בתחום מראה כי ניתן לפתח פתרונות פורצי דרך בעלויות פחותות ובמהירות מרשימה.

עידן אזולאי, CTO
דטה קיוב

מעניין אתכם להרחיב בנושא ולבדוק כיצד ניתן ליישם אצלכם? לפגישת ייעוץ חינם .

Zvika Yaron

zvi@datacube.co.il

No Comments

Post a Comment