TOP HOT – מסלולי הכשרה המבוקשים של נאיה קולג’

חייגו עכשיו: 073-2865544

Big Data Engineer – הנדסת נתונים

קורס Big Data Engineer של נאיה קולג' "צמח מהשטח" ופותח בהתאם לדרישות הקיימות כיום בשוק העבודה. ההכשרה מגוונת וכוללת היכרות עם טכנולוגיות מידע וכלים שונים. החל מהיכרות עם עולמות ה-Data המסורתיים, עובר דרך לימוד טכנולוגיות ענן ו-Big Data חדישות השולטות כיום בשוק המידע, כגון Hadoop, Kafka ו-Amazon AWS, ועד היכרות עם יישומי Data Science ו-Machine learning מתקדמים.
תיאור הקורס:

ככל שהאנושות צועדת עמוק יותר לתוך “עידן המידע” והארגונים מאמצים את הטכנולוגיות המתקדמות ביניהן גם טכנולוגיות ה-Big Data, עולה הצורך באנשי מקצוע שידעו לארגן את המידע הנרחב והמגוון שנאסף מהערוצים השונים ולהתאים אותו לצרכי הארגון.

בשנים אחרונות מחקרים מראים כי ארגונים מפסידים בממוצע 9.7 מיליון דולר בשנה כתוצאה מאיכות נתונים ירודה. נתונים לא מהימנים דורשים זמן רב מאוד לטיוב והכנתם לתחקור ע”י מדעני נתונים ואנליסטים, וזה יכול להגיע לכמעט 80% זמן השקעה מהזמן הכולל –  מדובר בשימוש לא מיטבי בכישוריהם.

אבל איך ארגונים יכולים להרגיש בטוחים כי מקור הנתונים שלהם הוא אמין מבלי להבין תחילה מהו סוג הנתונים שנכנסים למערכת וכיצד להוציא אותם.

מהנדס המידע, או ה –Data Engineer , ממלא תפקיד מפתח משמעותי ביותר בכל ארגון בו הוא משתלב. מהנדסי המידע מעצבים, מפתחים ומנהלים פתרונות לשינוע הנתונים (בנייתPipelines ), תוך כדי עבודה עם טכנולוגיות Big Data מגוונות ומתקדמות. עליהם לשלוט בטכנולוגיות המידע השונות, כולל בסביבות הענן, בכלים המובילים לשינוע ועיבוד מידע בנפחים גדולים ובשפת התכנות המובילה היום בעולמות ה– Data Engineering  שהיאPython .

למעשה מהנדס מידע מבין מהם הנתונים הנכנסים לארגון מכל מקור שהוא, עובד עם נתונים גולמיים המכילים טעויות ושגיאות, או מכילים רשומות חשודות ולא מזוהות בפורמט שלהן, הוא מזהה מאיזה מקורות נכנס המידע, איזה סוג נתונים, הוא עוסק בחילוץ הנתונים בתבניות שמישות, ומוודא שהנתונים נטולי שגיאות וטעינתם תקינה עבור מדעני נתונים ואנליסטים. מהנדסי הנתונים יצטרכו להמליץ ולפעמים ליישם דרכים לשיפור אמינות הנתונים, יעילותם ואיכותם. כדי לעשות זאת, הם יצטרכו להשתמש במגוון שפות וכלים, הם יהיו מומחים בבנייה ותחזוקה של מערכות מבוססות נתונים התומכות בפעילות האנליטית והעסקית של הארגון. אף על פי שהם אינם מתפארים בכישורים מתמטיים שמדען נתונים ישתמש בהם, מהנדסי הנתונים יעשו את רוב העבודה הנדרשת כדי לתמוך בעומס העבודה של מדען הנתונים.

צפו בקטע מהשיעור הראשון בקורס בהדרכה של ערן קורן, יועץ בכיר בתחום Big Data בנאיה טכנולוגיות ומרצה מוביל בנאיה קולג’.

נושא השיעור הוא סקירה של טכנולוגיות Big Data ו-NoSQL

ב-09/11/20 קיימנו מפגש מקצועי אונליין בהובלה ע”י היועץ הבכיר בנאיה טכנולוגיות, מנהל תחום Data Engineering ומנהל הקורס – נמרוד קינן.

צפו בהקלטה של האירוע המקצועי הזה וצרו קשר לקבלת פרטים נוספים

מבנה מסלול ההכשרה

קורס Data Engineer של נאיה קולג’ “צמח מהשטח” ופותח בהתאם לדרישות הקיימות כיום בשוק העבודה עבור Data Engineers. הכשרה זו מותאמת לדרישות התפקיד ולכן הינה מגוונת וכוללת היכרות עם טכנולוגיות מידע וכלים שונים. במהלך הקורס הסטודנטים ייחשפו לכ-30 טכנולוגיות שונות, השכיחות והחמות ביותר בארגונים, כך שירכשו ידע מעשי ופרקטי להובלת תהליך בניית תשתית לתעבורת הנתונים באופן מיטבי.

  • סקירה טכנולוגית:

הקורס מתחיל בסקירה של עולמות ה-Data המסורתיים וטכנולוגיות ענן ו- Big Dataחדישות השולטות כיום בשוק המידע. ולאחר מכן , בשיעור נוסף, עוסק במהותו של תהליך ETL המוכר בסביבת בסיסי נתונים רלציוניים במטרה ליישר קו בהבנה נכונה של התהליך והאתגרים שעומדים בפני מהנדסי מידע.

  • שלב למידה של טכנולוגיות Big Data וענן:

מנקודה הבאה אנחנו נכנסים לשלב מהותי בקורס בעוסק בכלים טכנולוגיות Big Data  וענן, במטרה להכיר את הארכיטקטורה של הכלים האלה, אופן קליטה ושמירה של נתונים, שליפה ועיבוד הנתונים ואינטגרציה ביניהם וכן יצירת תהליכי אוטומציה בזרימת הדאטה.

המודול מתחיל קודם כל מלימוד מעשי של מערכת הפעלה Linux ואז מתקדם לטכנולוגיות רלוונטיות וביניהן Hadoop, Hbase, MongoDB, Kafka, כולל תרגול תוך כדי השיעורים. את המודול מסכם נושא הענן Amazon – AWS.

  • שלב למידה של פייתון והשימוש שלה בסביבת Big Data:

מודול ליבה השני של הקורס – האפליקטיבי – מתמקד בלימוד מעמיק של  Pythonככלי עבודה מרכזי עבור מהנדס המידע בביצוע עיבודים שונים של נתונים – Data Processing וכתיבת Data Pipeline. נראה כיצד Python והחבילות ה”עוטפות” שלו (Python APIs), מאפשרים לנו לאסוף מידע ממקורות שונים (בסיסי נתונים, אינטרנט וכלי Big Data) ולעבד אותו, לנתח ולהציג אותו בדרכים מגוונות. לאחר שנבין את הממשקים הבסיסיים הקיימים ב- Python לתהליכי עיבוד מידע נתייחס לסביבת Spark ונכיר כיצד PySpark מאפשרת לנהל את ה-Pipeline.

  • שלב פרויקט מסכם

בנוסף ללימוד התיאורטי והתרגולים השוטפים בקורס במודולים השונים, הקורס כולל פרוייקט Hands-on מקיף בו תוכלו להתנסות במכלול הטכנולוגיות הנלמדות. הפרוייקט מסייע לבוגרי הקורס לבצע אינטגרציה לכישורים והידע שאספו במודולים השונים באמצעות תפירת פתרון Big Data מהעולם האמיתי מקצה לקצה. באופן זה ההכשרה מכינה את בוגריה באופן מיטבי להתמודדות עם האתגרים בהם יתקלו בהמשך דרכם המקצועית. מפגשים אחרונים בקורס יוקדשו לפרויקט מסכם והצגתו בפני המשתתפים.

צוות המדריכים שלנו

פבל הינו יועץ מוביל בחברת נאיה טכנולוגיות ומרצה בנאיה קולג’. פבל מוביל התחומים כגון: MongoDB,
עוד…

פבל זגר

פבל זגר

נמרוד קינן הינו יועץ בכיר ומנהל תחום Big Data Engineering בנאיה טכנולוגיות ונאיה קולג’. בנוסף
עוד…

נמרוד קינן

נמרוד קינן

אבי הינו מומחה בתחום Big Data העוסק בתחום Data Engineering ופיתוח BI מזה מספר שנים
עוד…

מרצה

אבי ישר

ערן הינו יועץ מוביל ובכיר בנאיה טכנולוגיות בתחום מסדי נתונים ו-Big Data. במסגרת תפקידו ערן
עוד…

ערן קורן

ערן קורן

מפתחים, DBA, אנשי BI, אנשי IT, מומחי DevOps, מנהלי מוצר טכנולוגי, מנהלי פרויקטים טכנולוגיים, בעלי ידע ונסיון במערכות מידע ומסדי נתונים רלציוניים.

  • ידע וניסיון בתחום ה-DATA של מספר שנים לפחות הכולל עבודה עם בסיסי נתונים והיכרות מעמיקה עם שפת SQL.
  • הקבלה לקורס מותנית במעבר ראיון אישי ומבחן כניסה.
Call Now Button דילוג לתוכן