Cloud & Big Data Engineer

תפקיד ה- Cloud Data Engineer & Big Data Engineer:

היום כדי להצליח ולהשתלב בעבודה בסביבת Big Data וענן, נדרשים אנשי דאטה ומפתחים לבצע קפיצת מדרגה ולשדרג את הכישורים והמיומנויות הטכנולוגיות שלהם בעולמות הדאטה, גם בצד האנליטי וגם בצד האפליקטיבי והתשתיתי.

עליהם להיות מסוגלים לקבל החלטות נכונות בעבודה עם טכניקות עיבוד וניתוח של כמות אינסופית של נתונים ב-scale  משתנה, לבחור נכון את הכלים הרלוונטיים למשימה ספציפית, ולדעת לגשת לכמויות גדולות של נתונים גולמיים ובלתי מובנים ולמצוא בהם תובנה עסקית או כל מידע שימושי אחר.

בשנים האחרונות מחפשים ארגונים מומחי דאטה חדשים, את ה- Big Data Engineer. כאלה שיודעים לכרות את הנתונים הגולמיים ולהפוך אותם לתובנות עסקיות בהן משתמשים מנהלים כדי לבנות אסטרטגיה עסקית, כל זה תוך מיקוד וטיפול במשאבי הנתונים העצומים ובפיתוח פתרונות לשינוע היעיל והרווחי ביותר של דאטה בין מחלקות/ בין מוצרים /בין כלים בארגוני הייטק וחברות בתחומים נוספים.

 

אז מה תפקידם של ה- Cloud Data Engineer & Big Data Engineer?

מהנדסי נתונים הם אלה המעצבים, מפתחים ומנהלים פתרונות לשינוע הנתונים (בניית Pipelines), באמצעות עבודה עם טכנולוגיות Big Data וענן מגוונות ומתקדמות.

על מהנדסי נתונים לשלוט בטכנולוגיות המידע השונות, כולל בסביבות הענן ושירותי דאטה שהן מספקות, בכלים המובילים לשינוע ועיבוד מידע בנפחים גדולים ובשפת התכנות המובילה היום שהיא Python.

מוזמנים לצפות בהקלטת ערב ההסברה שקיימנו בנושא

קורס Cloud Data Engineer & Big Data Engineer

תיאור הכשרת Cloud & Big Data Engineer של נאיה קולג’

הכשרת Cloud & Big Data Engineer פותחה בהתאם לדרישות הקיימות כיום בתעשיית ההייטק לעבודה עם מסדי נתונים מבוזרים שאינם מובנים, עם מערכות מבוזרות ועם שירותי דאטה בענן.

ההכשרה מותאמת לדרישות התפקיד בארגונים ולכן הינה מגוונת וכוללת היכרות עם טכנולוגיות מידע וכלים שונים.

 

מודול ראשון – עולמות ה-Big Data

מודול זה מספק תשתית ידע חשובה בטכנולוגיות Big Data  וגם בנושא DataOps שתשמש את הלומדים בהמשך ההכשרה לנושאים מתקדמים יותר.

בעולמות ה- Big Data לא ניתן לעבוד היום ללא היכרות במערכת הפעלה Linux, לכן ניגע במערכת הפעלה זו לרמת היכרות מספקת להרצת פקודות רלוונטיות בסביבת Big Data.

בצד של הדאטה – ידע ושליטה בכלים כמו Kafka הוא חובה ולכן גם כאן נלמד ונתרגל את הפעולות הקריטיות של המערכת הזו.

בצד של הקוד – נלמד לנהל את הגרסאות של הקוד ב-GIT ולעבוד עם Docker שהיום משמש לא רק אנשי DevOps  אלא גם של מפתחים ומהנדסי נתונים בפרט.

לאחר מכן נתמקד בתחום CI/CD  – גישה המיישמת המשכיות תקינה של תהליכי פיתוח, תוך כדי אינטרקציה עם כלל הגורמים המעורבים בפיתוח במקביל ומאפשרת ניהול סיכונים חכם, פיקוח ובקרה לאורך כל תהליכי האוטמוציה בבנייה, בדיקה ופריסה של יישומים ואפליקציות גם בתחום הדאטה.

כיום כשהדרישות ל- Delivery מהיר ואיכותי הן גבוהות מאי פעם, לא ייתכנו תהליכי פיתוח מודרניים ללא אינטגרציה על פי הגישות האלו וביניהן גם תהליכי פיתוח דאטה.

כשבאים לבחון את היתרונות בעבודה על פי גישה זו ניתן לזהות נקודות קריטיות בתהליכי הפיתוח זמני פיתוח קצרים מאי פעם המאפשרים לטפל בבאגים במהירות, שילוב פונקציונליות רבה יותר כבר בשלב הפיתוח הראשוני ותהליכי בדיקות קצרים ויעילים יותר.

לכן הבנה בכלים רלוונטיים בתחום הזה הינה קריטית גם למהנדסי נתונים.

 

מודול שני – Python

שלב זה ההכשרה הינו אפליקטיבי ומטרתו להקנות ידע ויכולות בכתיבת קוד ובעיבוד נתונים (Data Processing) וכן כתיבת Data Pipeline.

במודול זה נתמקד בלימוד מעמיק של שפת Python, השפה המובילה לכתיבת תהליכי ETL בארגונים מבוססי דאטה.
נלמד כיצד Python והחבילות העוטפות (Python APIs) מאפשרות לאסוף נתונים ממקורות רבים ומגוונים (בסיסי נתונים, JSON, XML,TEXT, LOG, אינטרנט וכלי Big Data) לעבד אותם, ובסופו של דבר לבנות תשתית לתעבורת הנתונים כאשר התוצר שלה הינו דאטה מוכן לגורמים הרלוונטיים בארגון (אנליסטים, מדעני נתונים, מפתחים ועוד).

 

מודול שלישי – Spark

מודול זה יעסוק בסביבת Spark, אחת מהטכנולוגיות הנדרשות ביותר כיום בשוק לצורך עיבוד נתונים בסביבת Big Data.

במודול נבין כיצד עבודה עםPySpark מאפשרת לנהל את ה-Pipeline בסביבה מבוזרת, תוך כדי מינוף האופטימיזציות ש-Spark מביאה איתה. שליטה ב-Spark תקנה למשתתפים יתרון משמעותי ביחס למועמדים אחרים!

 

מודול רביעי – AWS

עוד שלב מהותי בדרך, שיעסוק בכלים וטכנולוגיות דאטה בסביבת הענן – AWS.

במודול זה נכיר את הארכיטקטורה של הכלים, את אופן קליטת ושמירת הנתונים, נרכוש יכולות שליפה, עיבוד ואינטגרציה של הנתונים וכן ניצור תהליכי אוטומציה בזרימת הדאטה.

תחילה נכיר את כל סוגי הענן הקיימים, ולאחר מכן נקיים תרגולים פרקטיים שנלקחו מהשטח ונתמקד בענן של AWS ובטכנולוגיות רלוונטיות לעבודה בו, וביניהן:  S3, RDS , Redshift  Athena, Glue, Lambda & API Gateway, Message Queues .

 

מודול אחרון – טכנולוגיות NoSQL

האתגרים בתחום הדאטה בשנים אחרונות מציבים אותנו בפני מצב שבסיסי הנתונים הרלציוניים כבר אינם מסוגלים להתמודד עם נפחים של דאטה ועם תהליכים כבדים כגון AI ו- Data Science. כלי NoSQL פותרים את הבעיה הזו.

בהכשרה זו נעסוק בטכנולוגיות החדשניות והמדוברות ביותר בתחום כמו: Apache Airflow,  Apache NiFi ועוד.

כלים אלה מתבססים על ארכיטקטורות מבוזרות ובסיסי נתונים לא רלציונים ומאפשרים יכולת אחסון לדאטה ב- Scale גבוה ושליפה יעילה ומהירה של הנתונים מתוכם. הם מסוגלים להתמודד עם Use Cases מגוונים ומורכבים של כל ארגון .

בנוסף ללימוד התיאורטי ולתרגולים השוטפים במהלך ההכשרה, כולל הקורס גם פרויקט גמר מקיף המאפשר לסטודנטים להתנסות במכלול הטכנולוגיות הנלמדות, לבצע אינטגרציה לכישורים ולידע שאספו במודולים השונים ולתפור פתרון Big Data אמיתי מקצה לקצה.