מגמות בעולם הדאטה – 2024

מגמות בעולם הדאטה לקראת 2024

במאמר זה אסקור את השינויים והתמורות שחלו בתקופה האחרונה בעולם הדאטה.
שמי שטינברג איתמר, מנכ"ל חברת Inflow וראש תחום דאטה ב-HackerU.

ראשית אקדים ואומר שזו תקופה מעניינת מאוד בעולם הדאטה,
השינויים המואצים שחלים גורמים לחברות וארגונים לבצע שינויים משמעותיים על מנת להסתגל ל "עולם החדש".

החשיבות של איסוף וניתוח הנתונים

ניתוח נתונים תמיד היה מרכיב מכריע בקבלת החלטות בעסקים ובארגונים.
עם זאת, בשנת 2023, חשיבותו מגיעה לשיאים חדשים כאשר במקביל לאיסוף נתונים בכמות חסרת תקדים  ישנה התקדמות טכנולוגית מרתקת. סיטואציה זו מציגה הזדמנויות וגם אתגרים, מה שהופך עובד בעל כישורי איסוף וניתוח נתונים לחיוני עבור כל ארגון.
לא סתם נאמר ש "דאטה הינו הזהב החדש".

אחת הסיבות העיקריות לכך שניתוח נתונים הופך חשוב יותר ויותר היא הפוטנציאל שלו לגלות תובנות חשובות החבויות במערכי הנתונים של הארגון.
לארגונים בעלי האמצעים לחלץ תובנות מכמויות הנתונים העצומות שלהם יהיה יתרון תחרותי ברור. על ידי מינוף טכניקות ניתוח מתקדמות כמו למידת מכונה (ML) ובינה מלאכותית (AI), חברות אלו יכולות לקבל הבנה מעמיקה יותר של דפוסי התנהגות צרכנים, לייעל תהליכים פנימיים, לחזות מגמות בשוק ולקבל החלטות מושכלות יותר.

האינטגרציה של ה AI וההשפעה על תעסוקת העובדים בתחום הדאטה

השילוב של טכנולוגיית AI בתחום ניתוח הנתונים מחולל מהפכה בתפקיד האדם העוסק בתחום זה.
בעוד שחלק עשויים לחשוש שבינה מלאכותית תחליף את מהנדסי הנתונים, מנהלי בסיסי הנתונים, מנתחי הנתונים ואנשי ה BI (בינה עסקית). המציאות בפועל שונה לגמרי.

אני מאמין שבמקום לקחת משרות, ה-AI מאפשרת לאנשי הדאטה להעביר את המיקוד שלהם למשימות ברמה גבוהה יותר הדורשות חשיבה ביקורתית ויצירתיות. על ידי אוטומציה של משימות גוזלות זמן וחוזרות על עצמן כמו ניקוי נתונים ועיבוד מקדים, כלי בינה מלאכותית מפנים זמן יקר לאנליסטים אנושיים על מנת לחלץ תובנות מהנתונים ולקבל / להמליץ על החלטות אסטרטגיות.

נוסף לכך, מניסיון אישי, רמת המורכבות וחוסר השיטתיות בפיתוח בסיסי הנתונים, דרך איסופו וריבוי מקורות המידע גורם לכך שיש קושי משמעותי למכן את תהליך האיסוף והסידור. כלי ה-AI וה-ML יכולים להיכנס לפעולה רק לאחר שהמידע מאורגן באופן מלא. 
גם כאשר המידע מסודר תמיד יש עוד פיסת מידע, מגמה, ידע שלא קיים בבסיס הנתונים אשר הידע האישי של העוסק בתחום משנה החלטות.

איך תמליץ מערכת AI על רכש חומרי גלם המבוסס היסטוריה של מכירות כאשר יש קורונה פתאומית או מצב לאומי מסוים? האם מערכת מידע תיקח בחשבון קשרים אישיים בין ספק ללקוח? האם היא תזהה הזדמנות לרכוש מוצר עקב שינוי בחוק או בהשפעה של מזג האוויר על היבול? אולי מיקום חנות עקב תחילת עבודה של רכבת קלה באיזור? כניסה של מתחרה?

יתרה מכך, השילוב של AI בניתוח נתונים הוביל גם לביקוש גדול יותר למיומנויות מיוחדות בתחום זה. ככל שחברות מסתמכות יותר ויותר על אלגוריתמים בינה מלאכותית לעיבוד כמויות עצומות של מידע, יש צורך הולך וגובר במנתחי נתונים שיכולים להבין כיצד האלגוריתמים הללו פועלים ולפרש את התפוקות שלהם בצורה מדויקת. זה מהווה הזדמנות מעולה לאנשי מקצוע שכבר עובדים בתחום זה לשפר את הכישורים עצמם על ידי רכישת ידע על טכניקות למידת מכונה ושפות תכנות הנפוצות ביישומי AI.

בסופו של דבר, השילוב של AI בניתוח נתונים מוסיף עוד רובד לתפקידם של העוסקים במלאכה על ידי העצמתם בכלים מתקדמים ויצירת אפיקים חדשים לצמיחה מקצועית. במקום להיות מאוים מאוטומציה, למומחי ניתוח יש כעת הזדמנות למנף את טכנולוגיית הבינה המלאכותית כדי לשפר את היכולות שלהם ולהוסיף עוד יותר ערך לארגונים איתם הם עובדים.
מגמה זו מובילה חדשנות בתוך עסקים ואת החדשנות מובילים עובדים.

המגמה נמשכת - ייצוא הנתונים לענן ולבסיסי נתונים מבוזרים בשיטת SAAS  (software as a service)

הצורך בפתרונות אחסון ועיבוד יעילים גדל באופן אקספוננציאלי.
מגמה אחת ששולטת בתחום הדאטה בשנת 2023 היא המשך עלייתם של פתרונות מחסני נתונים בענן.

באופן מסורתי, חברות אחסנו את מערכות המידע והנתונים שלהן במקום העבודה, תוך שימוש בשרתים פיזיים כדי לשכן את מסדי הנתונים שלהן. עם זאת, עם הופעת מחשוב הענן, ארגונים הולכים יותר ויותר לקראת אחסון הנתונים שלהם בענן ובעיקר מעבר לפתרונות SAAS כמעט לכל סוג של תוכנה.

חברות מסורתיות בתחומי הלוגיסטיקה והריטייל, בנקים וחברות גדולות נמנעו מהעברת מערכות המידע שלהן לענן עקב חשש וחוסר אמון בהעברת המשאב החשוב ביותר שלהם לצד ג'. אם אין גישה ל-ERP (מערכת ניהול משאבים ארגוניים), CRM (מערכת שירות לקוחות), Call center – מרכזיות של הארגון. אין ארגון. אי אפשר למכור,  לנהל מלאי או לדבר עם לקוחות.

אך בהדרגה מנהלי מערכות המידע מבינים שלחברות הענן יש מומחיות שלהם אין. בחברה קטנה אין מהנדסי נתונים או Devops (אנשי תשתיות). מערכות מידע ומחסני נתונים בענן מציעים יתרונות לא מבוטלים על פני פתרונות מקומיים מסורתיים.
הם מספקים יציבות, מדרגיות, רכישת רשיונות בהתאם לצורך ומאפשרים לעסקים להגדיל או להקטין בקלות את המשאבים (העלויות) וכן את קיבולת האחסון שלהם בהתאם לביקוש. בנוסף, ככול שהתשתיות הקריטיות מנוהלות על ידי ספק הענן, חברות יכולות להתמקד בפיתוח החברה, בניתוח והפקת תובנות מהנתונים שלהן במקום בניהול תשתיות וחומרה.
לכן אנו רואים לדוגמא חברות עוברות לרכישת רשיונות של salesforce, פריוריטי ו Sap business one בענן. כמו כן שרתים ב Azure או AWS או GCP.
וכמובן בתחום בסיסי הנתונים לאיחסון דאטה. דוגמאות כגון: SQL-server  ב Azure , מחסן נתונים Redshift של אמזון ,Snowflake או Big query  של גוגל.

המעבר לפתרונות מבוססי ענן מדגיש גם חשיבה משתנה בכל הנוגע לטיפול בכמויות אדירות של נתונים. בסביבה העסקית המהירה של ימינו, שבה תובנות בזמן אמת חיוניות לקבלת החלטות, חברות מכירות בכך שנגישות וזריזות הן גורמי מפתח להצלחה.

המגמה של העברת המערכות ובסיסי הנתונים לענן צפויה גם 2024.

עליית מודל ה-ELT וכלי הענן בתחום – Extract Load Transfer

אחת המגמות המתפתחות בניתוח נתונים היא המעבר מתהליכי ETL (Extract Transformation Load) המסורתיים למתודולוגיות ELT (Extract Transformation Transformation). בעוד ש-ETL הוא כבר מזמן הסטנדרט לאינטגרציה וטרנספורמציה של נתונים, ישנה הכרה גוברת בכך שהפיכת התהליך על ראשו יכולה להניב יתרונות משמעותיים.

בגישת ELT נתונים מופקים ממקורות שונים ונטענים למערכת יעד או אחסון לפני שינוי וניתוח. שינוי זה מאפשר לארגונים לנצל את ההתקדמות בתחום מחשוב ענן וטכנולוגיות ביג דאטה, מה שמאפשר זמני עיבוד מהירים יותר ויכולת מדרגיות רבה יותר.

עם ELT, המיקוד עובר למינוף יכולות חישוביות חזקות לניתוח נתונים גולמיים ישירות במקום לבזבז זמן על משימות טרנספורמציה מראש. על ידי טעינת נתונים גולמיים למערכת מרכזית תחילה, אנליסטים יכולים לרתום את מלוא הפוטנציאל של הכלים האנליטיים המודרניים כדי לקבל תובנות יקרות ערך במהירות חסרת תקדים. בנוסף, אימוץ גישת ELT מאפשר לארגונים לצמצם את המורכבות על ידי הפחתת מספר שלבי הביניים הכרוכים בהעברת נתונים והפיכתם. כתוצאה מכך, עסקים יכולים להיות זריזים יותר בתהליכי קבלת ההחלטות שלהם.

אנו רואים פריחה בכלי ה SAAS של ה EL כפטריות אחרי הגשם. כלים כגון: Fivetran, Stitch, Airbyte, Hevodata  ועוד רבים.

יחד איתם כלי הטרנספורמציה עושים שימוש יותר ויותר בכלים סטנדרטים כגון SQL ו-Python. תהליך האינטגרציה הופך לפשוט יותר. לדוגמא עם כלי ה-DBT.

לסיכום:

למרות שנראה כי השינוי דרמתי, בסופו של יום תהליך עיבוד המידע, הזרימה שלו וכלי תצוגת ה BI נותרו בבסיסם דומים לעבר, אכן יש תוספות מעניינות של תכונות לכלים, ניתן להשתמש ב AI לצורך כתיבת קוד  וכן ליצירת תצוגות מידע באופן קל יותר שעוזר לקצר תהליכים,  אך פיתוח דו"ח או דשבורד נותרו בבסיסם תהליך מוטה כוח אדם מוכשר לתפקיד וההמלצה וקבלת ההחלטות בארגון יישאר בידי הגורם האנושי המוסמך בעתיד הנראה לעין.   

מתעניינים בתחום הדאטה? לחצו כאן לפרטים על קורס