Big Data Analyst

תפקידו של ה- Data Analyst משתנה כמעט ברמה היומית. מרבית האנשים מכירים את התפקיד מהיבטים של ניתוח נתונים, ובשנים אחרונות בניה ועבודה מול דשבורדים.

אך בשנה – שנתיים האחרונות אנו רואים שינוי מהותי בתפקיד זה, כאשר האנליסט כיום עושה פעולות הרבה יותר מורכבות, במיוחד כשמדברים על חברות הייטק, אד-טק, וחברות עתירות דאטה.

תפקידו של האנליסט כיום משלב גם ניתוח נתוני Big Data תוך מתן דגשים ליעילות, ניצול מיטבי של משאבים ומהירות התגובה.

תהליך אנליזה שגרתי הפך להיות מורכב יותר והוא דורש הרבה ידע טכני שלא נדרש לפני כמה שנים.

כנגזרת, מקבל תפקיד זה חשיבות גם בהתווית הדרך הנכונה והיעילה לשימוש בנתונים בארגונים וחברות והוא כולל עבודה מול מערכות לעיבוד וניתוח כמויות עצומות של נתונים על מנת לחשוף תבניות ודפוסים חדשים ולהפוך את הדאטה הגולמי למידע חדש.

דפוסים נסתרים, קורלציות (מתאמים) בין נתונים, מגמות שוק והעדפות של לקוחות –  כל אלו הכרחיים לארגונים לקבל החלטות עסקיות נכונות.

ה- Data Analyst הוא היום Big Data Analyst וככזה, הוא נדרש ליכולות רבות נוספות.

 

אז מהן המשימות של ה- Big Data Analyst ?

על ה-Big data Analyst להיות בקיא היטב במושגים ותהליכים בסביבת ביג דאטה, להיות בעל כישורים ומיומנויות רלוונטיות לעבודה בסביבה מבוזרת תוך שימוש בשפות תכנות העדכניות ביותר (Python) לביצוע שליפות מורכבות אל מול מגוון רחב של מקורות נתוני Big Data.

עליו לשדרג את כישורים הסטנדרטיים של האנליסט לרמה המתקדמת ביותר לכריית נתונים והפקת נתונים מובנים ולא מובנים.

מעבר להבנה מיטבית בכלים ובטכנולוגיות Big Data (Spark) , האנליסט נדרש לעבוד גם בסביבת הענן (AWS, BigQuery).

עליו להבין את היטב את הבעיה העסקית, לקשר אותה לדאטה רלוונטי, להשיג את הדאטה, ולהוביל תהליך עיבוד נתונים – Data Processing  מורכב. לבסוף עליו לבנות Data Pipeline וכמובן לנתח את הנתונים.

בסביבה טכנולוגית מורכבת על האנליסט לשתף פעולה עם בעלי תפקידים נוספים בתחום הדאטה, לנהל שיח מקצועי בשפה משותפת עפ מדעני נתונים, מפתחי/מנהלי מסדי נתונים וצוות הנהלה שמנווט את ההיקף והיעד של ניתוח Big Data בארגון לשלב הבא של ניתוח הנתונים.

מסלול ההכשרה החדש והמקוצר של נאיה קולג’ מאפשר לסטודנטים לשדרג את יכולות ניתוח הנתונים שלהם לקצה, תוך כדי מעבר מעבודה עם מבני נתונים מובנים (structured) ונפחים ידועים מראש, לסביבת  Big Data  וענן עם נפחים שרק ימשיכו לגדול, ולהיות בפורמטים מורכבים.

תיאור הכשרה בקורס Big Data Analyst:

מסלול הכשרה זה הינו התמחות מתקדמת לאנליסטים שעובדים היום עם דאטה כולל שימוש ב-SQL, כלי ניתוח וויזואליזציה ועבודה מול מערכות מידע מגוונות.

הכשרה זו כוללת לימודים תאורטיים תוך כדי הדגמות מרובות ושילוב תרגול רב ופרויקטים במהלך הלימודים.

מודול הליבה הראשון של ההכשרה הינו המודול האפליקטיבי המתמקד בלימוד מעמיק של שפת  Python, השפה המובילה לכתיבת תהליכי ETL בארגונים מבוססי דאטה.

מטרת המודול הינה  להוציא לפועל עיבודים שונים של נתונים – Data Processing וכתיבת Data Pipeline.

הסטודנטים יבינו  כיצד Python והחבילות ה”עוטפות”  (Python APIs) מאפשרות לאסוף נתונים מכל מקור (בסיסי נתונים, JSON, XML, TEXT, LOG , אינטרנט וכלי Big Data) , לעבד, לנתח ולהציג אותם בדרכים מגוונות.

הסטודנטים ילמדו לעבוד עם GIT כדי לנהל את גרסאות הקוד שפיתחו.

כאשר תוך כדי לימוד יבססו שליטה בקוד דרכה יוכלו לספק מהירות, מהימנות הנתונים ותמיכה בתהליכים מבוזרים ולא ליניאריים.

לאחר הבנה יסודית של הממשקים הבסיסיים הקיימים ב- Python לתהליכי עיבוד נתונים, נתייחס לסביבת Spark ונכיר כיצד PySpark  מאפשרת לנהל את ה-Pipeline בסביבה מבוזרת, תוך כדי מינוף האופטימיזציות ש- Spark מביאה איתה.

Spark הינה אחת מהטכנולוגיות הנדרשות ביותר כיום בשוק לצורך עיבוד נתונים בסביבת Big Data .

השלב הבא הינו חלק מהותי בהכשרה העוסק בעבודה בסביבת הענן – AWS. המטרה הינה להכיר את הארכיטקטורה של שירותי דאטה שהענן מספק, אופן הקליטה והשמירה של הנתונים, שליפה ועיבוד הנתונים ואינטגרציה ביניהם וכן יצירת תהליכי אוטומציה בזרימת הדאטה.

המודול מתחיל מלימוד מעשי של סוגי הענן הקיימים בדגש על ההבדלים המהותיים בין הספקים השונים ואז מתקדם לטכנולוגיות רלוונטיות בענן של AWS וביניהן:  S3, RDS, Redshift, Athena, Glue, Quicksight.

לקראת פרויקט הגמר נלמד עוד כלי בסביבת הענן של חברת גוגל והוא Big Query: מחסן נתונים ארגוני מנוהל העוזר לנהל ולנתח את הנתונים. תוך כדי עבודה מול BigQuery ניתן להשתמש בשאילתות SQL כדי לחקור את הנתונים, וזאת ללא צורך בניהול תשתית שכן מדובר בשירות ענן.

ומה עם פרקטיקה במהלך ההכשרה?

בנוסף ללימוד התיאורטי-הדגמתי והתרגולים השוטפים בקורס במודולים השונים, כולל הקורס עבודה על פרויקט מקיף ומסכם, בו יתנסו הסטודנטים בכל הטכנולוגיות שנלמדו.

הפרוייקט ייסיע להם לבצע אינטגרציה לכישורים ולידע שצברו במודולים השונים באמצעות תפירת פתרון Big Data מהעולם האמיתי מקצה לקצה.
המפגשים האחרונים בקורס יוקדשו לפרויקט מסכם ולהצגתו בפני המשתתפים.

לאחר סיום ההכשרה יצאו הבוגרים עם תיק פרויקטים רחב בטכנולוגיות שונות, השכיחות והחמות ביותר בארגונים, כך שהידע שנרכש במהלך הלימודים יתבטא בתוצרים טכנולוגיים איכותיים שישמשו אותם בראיונות עבודה להשתלבות בתפקידי הובלת תהליכי בניית תשתית לתעבורת הנתונים באופן מיטבי.

וזה עוד לא הכל – בתום הלימודים מקבלים הבוגרים סדנת פיתוח קריירה, הכוללת כתיבת קורות חיים, סימולציית ראיון, וקישור למשרות ולארגונים מעסיקים!
לקראת ראיונות העבודה הם מקבלים ליווי והכנה לראיונות מקצועיים על ידי מומחי הדאטה הבכירים של נאיה טכנולוגיות.
הכשרת Big Data Analyst מכינה באופן מיטבי להתמודדות עם האתגרים העתידיים  אתם יתקלו הסטודנטים בהמשך דרכם המקצועית.

צוות המדריכים שלנו