תוכן עניינים
- מי הוא ה – Data Engineer?
- מהו תפקידו של ה – Data Engineer?
- התחומים הטכנולוגיים בהם עוסק ה – Data Engineer:
לצפייה במפגש מקצועי בנושא Data Engineer:
רוצים ללמוד קורס Data Engineer? היתקשרו עכשיו ויועצת לימודים תיתן לכם את כל הפרטים:
בעידן הטכנולוגי המודרני, ארגונים רבים הבינו שבמקרים רבים ניתן להפיק ערך מוסף עצום מתהליך הכנת הנתונים לתחקור, כאשר התוצאות שלו יכולות לשמש כמנוע צמיחה לחברה.
עם עליה בשימוש בטכנולוגיות Big Data, כיום ארגונים מסוגלים לקלוט, לשמור ולנתח מידע בנפחים עצומים מתוך ידיעה שהנתונים הם אלו אשר מסוגלים לענות על השאלות הבוערות ביותר ובעלות ערך כספי הגבוה ביותר בכל ארגון.
בין השאלות שארגונים יעלו:
- מה הסיכוי שלקוח ירכוש מוצר?
- אילו מוצרים נכון יהיה להמליץ ללקוח ספציפי?
- כיצד ניתן לשפר את יכולות המכירה המבוססות על אתר אינטרנט?
- אילו מהמוצרים יכולים לשמש כמנועי צמיחה ועל אילו ניתן לוותר?
- מה הסיכוי של מנגנונים מסוימים להיכשל ולגרום להפסדים?
ניתן לומר שהאתגרים הטכנולוגים מאלצים ארגונים לגשת לפתרונות טכנולוגים שונים ומגוונים אשר יענו על הצרכים הארגוניים (לעיתים קרובות מדובר בפתרונות Open Source). על מנת להקים, לפתח ולנהל תשתיות מידע אשר יהיו מסוגלות לתמוך באתגרים הטכנולוגיים נולד תפקיד חדש – Data Engineer ובמאמר זה נענה על השאלות:
- מיהו Data Engineer?
- אילו כישורים ויכולות נדרשים לתפקיד Data Engineer?
כאשר מסתכלים מקרוב על האבולוציה של יצירת נתונים והניתוח שלהם, קל להבין שהנושא הופך למורכב יותר ויותר.
אם בעבר רוב המידע היה נוצר בתוך הארגון ובעיקר ע”י מערכות ונשמר ברוב המקרים בבסיסי נתונים רלציונים (RDBMS) המבוססים על שפת ה – SQL, כיום המידע מגיע ממקורות רבים ומגוונים שלעיתים קרובות אין ביניהם כלל קשר: IOT, חיישנים, קבצי לוג ממקורות אפליקטיביים ומערכתיים, ומידע זה יכול לייצג לדוגמא: חיובים, הזמנות, היסטוריה של משלוחים, מידע על הלקוחות, תיעוד פעילות לקוחות באתר המכירות וכו׳.
ארגונים כיום נאלצים להתמודד עם נתונים שחייבים להיקלט בקצב גבוה, בנפחים גבוהים ואותם נתונים אינם בהכרח יכולים להישמר באופן סכמתי, כלומר בבסיס נתונים רלציוני, ומעל הכל צריכים לעבור אנליזה לעיתים בזמן אמת או כמעט בזמן אמת.
אם ננסה לפשט לרגע את הסביבה הטכנולוגית בארגון טכנולוגי טיפוסי, בעיקר מזווית הראיה של הנתונים בארגון, ישנם מקורות מידע רבים הזורמים פנימה אל תוך ה – Data Hub של הארגון, חלקם מוגדרים כ – Real Time Events כאשר לעיתים נדרש לבצע על אותם האירועים אנליזה בזמן אמת. סוג אחר של מידע הינו Data At Rest, זהו המידע אשר נאסף לאורך זמן ואותו נדרש לטייב ולהכין לקראת אנליזות המבוצעות ע”י ה – Data Scientist לדוגמא.
מצד שני לאותו המידע שזורם פנימה אל תוך הארגון ישנם מספר צרכנים אשר יכולים להיות:
- אפליקציות שונות עם APIs שונים
- כלי תחקור BI (לדוגמא: Tableau, Power BI)
- אנליסטים העושים שימוש בשפת ה – SQL
- Data Scientists
מי הוא ה – Data Engineer?
Data Engineer או מהנדס הנתונים, מאפשר לארגון להפיק את הערכים הנדרשים מהנתונים בצורה נגישה ויעילה. ה – Data Engineer הינו תפקיד ליבה בכל ארגון מודרני והוא זה המאפשר לארגון או ללקוחות הארגון להתחיל עבודה על ניתוח הנתונים בצורה יעילה ולקבל תשובות באופן מהיר ואפקטיבי לכל אותן השאלות הארגוניות בעלות ערך מוסף (פונקציונאלי / כספי).
בעוד שארגונים נשענים יותר ויותר על הנתונים ובאופן אינטנסיבי, ה – Data Engineer מתעצם כתפקיד בעל חשיבות עליונה וכנגזרת לעובדה זו – הדרישה לתפקיד זה הולכת וגוברת.
בגרף מטה הנלקח מ – GoogleTrends ניתן לראות כי המושג וכיוצא מזה התפקיד Data Engineer במגמת עלייה בעיקר בחמש השנים האחרונות.
מהו תפקידו של ה – Data Engineer?
תפקידו של ה – Data Engineer כולל אלמנטים רבים ומגוונים אך על מנת לסכם את תחומי האחריות, ניתן להגדיר את התפקיד של מהנדס הנתונים כאחראי על הקליטה, השינוע וההכנה של הנתונים לניתוח ואנליזה מתקדמת על מנת להפיק מהמידע הארגוני ערכים נוספים המתורגמים להגדלת הרווחים של הארגון (להפוך נתונים לערך).
אחרת קשה לארגון לממש יכולות שונות לדוגמא: ניתוח מכירות בזמן אמת, ניתוח ניסיונות הונאה בזמן אמת, הפקת מסרים שיווקיים ללקוחות בזמן אמת, הפקת דוחות על פעילות הארגון.
יתרה מזה, הלקוח העיקרי של Data Engineer שהוא ה – Data Scientist “יבזבז” את רוב הזמן שלו לעבודה על נתונים ולא על מודלים לתחקור.
רוצים לדעת מה השכר של ה Data Engineer? כנסו למאמר בנושא שכר בהייטק
Data Engineer יהיה אחראי על המידע בארגון בשלביו השונים, ביניהם הקמה, פיתוח ותחזוקה של מערכות קריטיות המבוססת על נתונים 24/7. ניתן לחלק את תחומי המפתח עליהם אחראי Data Engineer לשניים:
1. Data Operations Tasks
- בחירת הטכנולוגיה המתאימה ביותר ל – Use Case
- יצירה ופיתוח של תשתיות לקליטה, שינוע, ניתוח ואכסון של נתונים
- יצירת מנגנונים לזמינות מלאה – High Availability
- שמירה על רמת ביצועים המתאימה לצרכי הארגון – Performance
- פיתוח תהליכים אוטומטים – Automation
2. Data Preparation
- הכנת המידע הגולמי לעיבוד לקראת טיוב הנתונים – Staging
- טיוב הנתונים כדי לוודא את תקינותם לפני שימושם באפליקציה / דוחות
- יצירת תהליכי בדיקות למהימנות ותקינות המידע
- הנגשת המידע לכלל הצרכנים הארגונים (לדוגמא: Application / Data scientists)
כפי שניתן להבין תפקיד ה-Data Engineer דורש ראיה מערכתית ואת היכולת לזהות ולתרגם צרכים ארגוניים לטכנולוגיות, והוא יהיה אחראי על כל המידע הזורם לארגון מהמקורות השונים, יהיה עליו לפתח ולתחזק תהליכי PipeLines על מנת לשנע, לעבד ולבצע מניפולציה על נתונים בהמשך, כולל מציאת דרכים יעילות לאסוף ולנתח מידע בקצבים ונפחים גבוהים במיוחד (TBs <) ותוך שימוש בטכנולוגיות החדשניות ביותר.
בנוסף ה – Data Engineer אחראי על המידע המאוכסן בארגון אשר כולל הכנה של המידע לקראת ניתוח.
התחומים הטכנולוגיים בהם עוסק ה – Data Engineer:
אז כאמור, Data Engineer הינו תפקיד מאתגר הדורש ידע נרחב במספר תחומים טכנולוגיים.
על מנת שיוכל לספק פתרונות למגוון אתגרים טכנולוגיים, עליו להיות בעל ידע מקצועי בתחומים רבים, ביניהם: תשתיות, וירטואליזציה, בסיסי נתונים רלציונים, טכנולוגיות NoSQL ו-Big Data, ידע אפליקטיבי הכולל שליטה בתכנות בשפה אחת או יותר, אנליזה של מידע, Cloud, Machine Learning (זאת על מנת שיוכל לשוחח בשפה זהה עם אחד הלקוחות העיקריים שלו, ה-Data Scientist).
בעידן המידע המודרני כאשר תדירות ה-Buzz Words כטכנולוגיות חדשות לעיתים יכול להוביל לבלבול ואף לתסכול רב, חשוב יותר מתמיד להבין שעל מנת ליישם אלמנטים מתקדמים כמו Artificial Intelligence או Machine Learning, קודם כל נדרש ידע הבסיסי בכל עולמות ה – Data על מנת לבנות תשתית מידע נכונה ואיתנה, כמו לדוגמא: להבין מהו תהליך ETL, להבין מהו מבנה מידע סכמתי ואינו סכמתי, להבין את שפת הנתונים הבסיסית ביותר שהינה שפת ה – SQL.
ללא הידע הבסיסי זה, לדוגמא, ייתכן מצב בו מחסן הנתונים (DWH) ייבנה בצורה שאינה מתאימה לסוג הפעילות הארגון ותוצאות אנליטיות יהיו שונות על אותו סט של נתונים או שהתוצאות שיתקבלו יגיעו באיחור כך שלא יהיה ניתן להפיק מהן תועלת.
הרשימה מטה מכילה רק חלק מארסנל הידע והטכנולוגיות אותן נדרש Data Engineer להכיר ברמת Hands-On :
- ידע בשפת ה – SQL ובסיסי נתונים רלציונים (RDBMS)
- הכרות עם הקונספט של DWH ותהליכי ETL
- ניסיון פרקטי על סביבות BigData / NoSQL
- הקמה וקונפיגורציה של מנגנוני Data Streaming
- הקמה וקונפיגורציה של מנגנוני Data Pipelines
- ניסיון פרקטי ב – Hadoop (Cloudera / Hortonworks)
- ניסיון פרקטי עם Ecosystem Hadoop (Hue / Hive / Impala / Oozie / Sqoop)
- ניסיון פרקטי עם סביבות Cloud (AWS / Azure / Google Cloud)
- ניסיון פרקטי עם מנועי חיפוש (Elastic Search / Solr)
- טיוב נתונים
- כתיבת מסמכי אפיון וארכיטקטורה
- פיתוח בשפת Python (או בשפות שונות) ופיתוח על גבי Spark
- הכרות עם הקונספט של Machine Learning
צפו בחלק קצר מתוך שיעור Kafka במסגרת מסלול Big Data Angineer
אנחנו בנאיה קולג’ ייצרנו מסלול הכשרה מעמיק הכולל את הטכנולוגיות המובילות בתחום ה-Data, וכולל תרגול רב בשילוב פרויקט מעשי מורכב.
המסלול נוצר כמענה על הצורך הגובר בארגוני לגורם מקצועי אשר יהיה מסוגל לעבוד עם מגוון רחב של כלים וטכנולוגיות מצד אחד, ומצד שני לתת מענה לבעלי תפקידים בתחום תחקור ואנליזה.
תפקיד Data Engineer הינו ללא ספק תפקיד בכיר ויוקרתי ברמה המצקועית שמביא לידי ביטוי את היכולות הגבוהות של המומחים שנמצאים בתפקיד זה. מסלול הכשרה שלנו יובל את הבוגרים לשלב הבא בקריירה לתפקיד מאתגר, מרתק ובעל חשיבות עליונה לכל ארגון שהוא Data Driven.
