Big Data Engineer – הנדסת נתונים

קורס Data Engineer של נאיה קולג' "צמח מהשטח" ופותח בהתאם לדרישות הקיימות כיום בשוק העבודה. ההכשרה מגוונת וכוללת היכרות עם טכנולוגיות מידע וכלים שונים. החל מהיכרות עם עולמות ה-Data המסורתיים, עובר דרך לימוד טכנולוגיות ענן ו-Big Data חדישות השולטות כיום בשוק המידע, כגון Hadoop, Kafka ו-Amazon AWS, ועד היכרות עם יישומי Data Science ו-Machine learning מתקדמים.
תיאור הקורס:

אנחנו מכשירים את הדור הבא של מומחי BI, של אנשי DB, של מפתחים בסביבות דאטה!

ככל שהאנושות צועדת עמוק יותר לתוך “עידן המידע” והארגונים מאמצים את הטכנולוגיות המתקדמות ביניהן גם טכנולוגיות ה-Big Data, עולה הצורך באנשי מקצוע שידעו לארגן את המידע הנרחב והמגוון שנאסף מהערוצים השונים ולהתאים אותו לצרכי הארגון. מחקר של Gartner לשנת 2017 מצא כי ארגונים מפסידים בממוצע 9.7 מיליון דולר בשנה כתוצאה מאיכות נתונים ירודה.

נתונים לא מהימנים דורשים זמן רב מאוד לטיוב והכנתם לקראת התחקור שייעשה ע”י מדעני נתונים ואנליסטים, וזה יכול להגיע לכמעט 80% זמן השקעה מהזמן הכולל –  מדובר בשימוש לא מיטבי בכישוריהם. אז להקנות לארגונים בטחון בעבודה מול מקורות מידע שונים שאכן מדובר במקור מידע אמין וזאת מבלי להבין תחילה מהו אופי הנתונים שנכנסים למערכת וכיצד להוציא אותם.

מהנדס המידע, או Data Engineer, ממלא תפקיד מפתח משמעותי ביותר בכל ארגון בו הוא משתלב. מהנדסי המידע מעצבים, מפתחים ומנהלים פתרונות לשינוע הנתונים (בניית Pipelines), תוך כדי עבודה עם טכנולוגיות Big Data מגוונות ומתקדמות. עליהם לשלוט בטכנולוגיות המידע השונות, כולל בסביבות הענן, בכלים המובילים לשינוע ועיבוד מידע בנפחים גדולים ובשפת התכנות המובילה היום בעולמות ה-Data Engineering שהיא Python.

למעשה מהנדס מידע מבין מהם הנתונים הנכנסים לארגון מכל מקור שהוא: הוא עובד עם נתונים גולמיים המכילים טעויות ושגיאות, או מכילים רשומות חשודות ולא מזוהות בפורמט שלהן, הוא מזהה מאיזה מקורות נכנס המידע, איזה סוג נתונים, הוא עוסק בחילוץ הנתונים בתבניות שמישות, ומוודא שהנתונים נטולי שגיאות וטעינתם תקינה עבור מדעני נתונים ואנליסטים.

מהנדסי הנתונים יצטרכו להמליץ ולפעמים ליישם דרכים לשיפור אמינות הנתונים, יעילותם ואיכותם. כדי לעשות זאת, הם יצטרכו להשתמש במגוון שפות וכלים, הם יהיו מומחים בבנייה ותחזוקה של מערכות מבוססות נתונים התומכות בפעילות האנליטית והעסקית של הארגון. אף על פי שהם אינם מתפארים בכישורים הכמותיים שמדען נתונים ישתמש בהם, מהנדסי הנתונים יעשו את רוב העבודה הנדרשת כדי לתמוך בעומס העבודה של מדען הנתונים.

לצפייה במפגש מקצועי בנושא Data Engineer:

מבנה מסלול ההכשרה

קורס Data Engineer של נאיה קולג’ “צמח מהשטח” ופותח בהתאם לדרישות הקיימות כיום בשוק העבודה עבור Data Engineers. הכשרה זו מותאמת לדרישות התפקיד ולכן מציעה מגוון רחב של כלים וכוללת היכרות עם טכנולוגיות מידי השונות.

  • שלב המכינה:

הקורס מתחיל ממפגש היכרות עם עולמות ה-Data המסורתיים וטכנולוגיות ענן ו-Big Data חדישות השולטות כיום בשוק המידע. ולאחר מכן צולל לתוך נושא חשוב ביותר המקנה הבנה מעמיקה ומתקדמת בבניית תהליכי ETL מורכבים, כולל מתודולוגיה ו-Best Practices.

  • שלב למידה של טכנולוגיות Big Data וענן:

לאחר מכן הקורס נכנס למודול ליבה הראשון המלמד לעומק מגוון טכנולוגיות מתקדמות וחדשניות ביותר, כגון Hadoop, Hbase, MongoDB, Kafka, Amazon – AWS, כולל תרגול תוך כדי השיעורים.

  • שלב למידה של פייתון והשימוש שלה בסביבת Big Data:

מודול ליבה השני של הקורס מתמקד בלימוד מעמיק של שפת Python שהיא כלי עבודה מרכזי של מהנדס נתונים בביצוע עיבודים שונים על המידע. נראה כיצד Python והחבילות ה”עוטפות” שלו (Python APIs), מאפשרים לנו לאסוף מידע ממקורות שונים, לעבד אותו, לנתח אותו ואף להציג אותו בדרכים מגוונות. לאחר שנבין את הממשקים הבסיסיים הקיימים ב- Python לתהליכי עיבוד מידע, נראה כיצד הם נראים בסביבת Big Data – Hadoop APIs. בסביבת Big Data נתייחס ל-Spark ונכיר כיצד PySpark מאפשר לנהל את ה-Pipeline.

לקראת סיום המודול הזה, נחשוף את העקרונות הבסיסיים בעולם ה- Machine Learning  מפני במצבים רבים הלקוח המרכזי בתהליכי עיבוד דאטה הוא ה-Data Scientist.

בנוסף ללימוד התיאורטי והתרגולים השוטפים בקורס במודולים השונים, הקורס כולל פרוייקט Hands-on מקיף בו תוכלו להתנסות במכלול הטכנולוגיות הנלמדות. הפרוייקט מסייע לבוגרי הקורס לבצע אינטגרציה לכישורים והידע שאספו במודולים השונים באמצעות תפירת פתרון Big Data מהעולם האמיתי מקצה לקצה. באופן זה ההכשרה מכינה את בוגריה באופן מיטבי להתמודדות עם האתגרים בהם יתקלו בהמשך דרכם המקצועית.

מרצים בקורס זה

עמרי אלון הינו מומחה בתחום Big Data ועוסק בתחום Data Engineering ופיתוח BI מזה מספר
עוד…

עמרי אלון

פבל הינו יועץ מוביל בחברת נאיה טכנולוגיות ומרצה בנאיה קולג’. פבל מוביל התחומים כגון: MongoDB,
עוד…

פבל זגר

פבל זגר

עמית הינו Data Scientist בחברת נאיה טכנולוגיות, מנהל תחום Data Science בנאיה אקדמי ומרצה בכיר
עוד…

מורן אלקובי מרצה

עמית רפל

נמרוד הינו ראש צוות מפתחים ומנהלי מסדי נתונים של Oracle בחברת נאיה טכנולוגיות ומרצה מוביל
עוד…

נמרוד קינן

נמרוד קינן

מפתחים, DBA, אנשי BI, אנשי IT, מומחי Devops, מנהלי מוצר טכנולוגי, מנהלי פרויקטים טכנולוגיים, בעלי ידע ונסיון במערכות מידע ומסדי נתונים רלציוניים.

  • משתתפים בקורס צריכים להיות בעלי ידע וניסיון בתחום ה-DATA. נדרשות 5 שנות ניסיון לפחות בתחום ה-IT, מערכות מידע או פיתוח BI הכולל עבודה עם בסיסי נתונים והיכרות מעמיקה עם שפת SQL.
  • הקבלה לקורס מותנית במעבר ראיון אישי ומבחן קבלה.
  • 15/12/2019 מועד פתיחה
  • ג'+ה' | 17:30-21:30daysימים ושעות
  • 295academic hours שעות אקדמיות
  • מתקדםcourse levelרמת הקורס
  • עבריתlanguageשפת הדרכה
  • לבדיקת התאמה לקורס
  • [current_url]

    השאירו פרטים ונחזור אליכם בהקדם!