מה בעצם עושה מהנדס נתונים? ואיזה מיומנות הוא צריך?

כמות הנתונים שאנחנו מייצרים מדי יום היא באמת משוגעת. נכון ל-2019, אנחנו מייצרים 2.5 קווינטיליון בייט (יש 18 אפסים במספר הזה!) של נתונים מדי יום על פי מגזין פורבס. לצורך ההמחשה, בשנתיים עד כתיבת המאמר בלבד (2018-2019) נוצרו 90 אחוז מהנתונים בעולם. והמספר הזה רק הולך וצומח בהתמדה מדי שנה.

מדובר בכמות עצומה ומסחררת של נתונים, שקשה אפילו לתפוס אותה, אבל היא ממחישה היטב את חשיבות הדאטה ואת מקומה המרכזי בחברות שלנו. הכמות האדירה הזו מצביעה בבירור על הצורך לשמור נתונים ולהיעזר בהם, תוך הסתייעות בפורמט קל לניהול הניתן לעיבוד על ידי אנליסטי נתונים, מדעני נתונים ואנליסטים עסקיים. הדבר רלוונטי הן עבור עסקים קטנים ובינוניים והן עבור חברות-ענק בינלאומיות.

רק בעזרת המשאבים הללו יכולות חברות להגדיר ולפתח את הרעיונות הדרושים להן כדי לקבל את ההחלטות העסקיות המתאימות – ולמטב את התוצאות שלהן.

אחד מאותם אנשי מקצוע שאוספים, ממיינים ומעבדים את הררי הנתונים הגולמיים הללו – וגם הופכים אותם למשהו נגיש שאנשים אחרים יכולים לעבוד איתו – הוא מהנדס נתונים (הקרוי לעתים גם מהנדס ביג-דאטה). לרוב, התפקיד הזה קיים בארגונים תעשייתיים גדולים או בתאגידים רב-לאומיים, אך כיום, ביותר ויותר חברות קטנות ובינוניות מתקבלת ההחלטה האסטרטגית להקים צוותי מומחי IT ומומחי דאטה משלהם.

בהתאם לגודלה של החברה ולמבנה שלה, בעל תפקיד זה עשוי להתמודד עם המשימה הזו בעצמו או לחלוק אותה עם מהנדסי נתונים נוספים.

אל תתבלבלו בין מהנדס נתונים לבין מדען נתונים. ההבדל בין השניים נעוץ בעובדה שבעוד שהראשון בונה מערכות לאיסוף, אימות והכנה של מבחר נתונים, השני מייצר ידע ותובנות שיהיו שימושיים בעבור האנליסטים העסקיים. זוהי עבודה המיועדת לצוות, עבודה שמאפשרת להגיע להחלטות מבוססות דאטה, והודות ליישום מתאים של הדמיית נתונים, יכולים לאחר מכן מקבלי ההחלטות בארגון לשתף אותה ולדון בה.

תחומי האחריות של מהנדס הנתונים

אז מהם בעצם תחומי האחריות שבהם מטפל מהנדס הנתונים? אלו כוללים:

– עבודה בשיתוף פעולה ובתיאום עם ההנהלה בכדי להשיג את יעדי החברה ולעמוד באתגרים שהציבה לעצמה;

– השגת ובניית סטים של דאטה כדי לענות על דרישות אלה;

– פיתוח אלגוריתמים שיכולים להפוך את הנתונים הללו למידע שמיש;

– תכנון, בדיקה ותחזוקת ארכיטקטורות של משפכי עיבוד נתונים;

– יצירת מערכות אימות נתונים חדשות וכלים חדשים לניתוח נתונים;

– ניהול נתונים באופן שתואם את החוק ואת מדיניות החברה, כולל מדיניות האבטחה שלה.

השכלה, הכשרה ומיומנויות: מה צריך כדי להפוך למהנדס נתונים?

הדרך להיות מהנדס נתונים מתחילה בתואר ראשון בהנדסת מחשבים או בטכנולוגיית מידע. תארים אלו יחשפו אתכם לתחומי לימוד מגוונים – מעיצוב בסיסי נתונים וניהולם, דרך שפות תכנות כמו ג׳אוה, סקאלה, R, NoSQL ו-SQL ועד למידת מכונה ופלטפורמות בינה עסקית.

כדאי לדעת כי בישראל ישנה גם אופציה ללמוד לתואר ראשון ייעודי בהנדסת נתונים במספר אוניברסיטאות. זאת לצד מסלולי הכשרה וקורסים בתחום.

למידע נוסף: מדעי הנתונים עבור הארגון: להתחיל לעבוד עם איינשטיין.