Data Analysis | בואו נעשה סדר – חלק I

ניתוח נתונים וניתוח מידע. התחום הכי חם, מדובר ומבוקש היום בעולמות טכנולוגיות הנתונים, הוא עבור חלקנו, נעלם גדול.

החלטנו לצאת בסדרת מאמרים בהם נתאר את התחום, נסביר עבור מי הוא מתאים, נציג כלים וטכנולוגיות פופלאריים בתחום ונסקור תפקידים שונים המשלבים ניתוח נתונים כולל כמובן, התמקדות בדאטה אנליסט (Data Analyst)  עצמו.

מאמר ראשון בסדרה ניתוח נתונים – יוצאים לדרך!

תפקיד ניתוח הנתונים הפך בשנים האחרונות לתחום ליבה כמעט בכל ארגון. המהפכה הדיגיטלית יצרה מצב בו במרבית החברות והגופים כיום, יש כמויות מידע גולמי עצומות הנאספות און ליין, כל הזמן ומקשות על יצירת תובנות וקבלת החלטות ברורה.

ריבוי הנתונים מסוגים ופורמטים שונים והצורך לאסוף, למיין ולהנגיש אותם למקבלי ההחלטות, הפך את תחום ניתוח הנתונים למרכזי וחשוב בארגונים, והוביל אותם להקים מחלקות אנליזה, להגדיר תפקידים חדשים ולהשריש מדיניות של קלות החלטות מבוסס מידע.

שפע שאלות עסקיות מפשוטות ועד מורכבות (מחקר שוק, מחקר מוצרים, ביקורות לקוחות, ניתוח סנטימנט או כל שאלה אחרת עבורה קיימים נתונים), יכולות היום לקבל מענה בזכות כלים מתקדמים לניתוח נתונים, לויזואליזציה של הנתונים ולהפקת תובנות.

לחצו כאן לקורס – Business Analyst

 

הצורה הבסיסית ביותר מתקיימת במחלקות התפעוליות של הארגון (תפעול, רכש, מכירות, שיווק, פיננסי ועוד) כאשר בהן ניתוח נתונים באקסל, הוא כלי ניתוח אנליטי השכיח ביותר.

יתרונותיו של האקסל נגזרים מהיותו כלי זמין ונוח לעבודה, ידידותי וקל למשתמש.
ניתוח נתונים באקסל מאפשר לבצע ניתוחים מורכבים יחסית,  להתחבר למקורות מידע מגוונים ולנתח כמות יחסית גדולה של נתונים.

ניתוח נתונים וניתוח מידע מתקדם יותר נדרש בכמה מקרים:

• כאשר מדובר בכמות מאוד גדולה של נתונים
• כאשר יש לנו מקורות מידע אליהם אקסל לא יכול להתחבר
• כאשר יש צורך לנתח נתונים לא טבלאיים (כמו נתוני ביג דאטה)
• כאשר יש צורך להפעיל טכניקות ושיטות סטטיסטיות וניתוח הנתונים הופך להיות בעל אופי מחקרי

בארגון עתיר דאטה אשר עובד בסביבה טכנולוגית מורכבת ומתקדמת, ניתוח הנתונים נדרש בזמן אמת וכך גם תוצאות הניתוח. במצב זה תחום ניתוח הנתונים יוצא מגבולות האקסל ודורש שימוש בכלים מתקדמים יותר.

כאן נכנס לתמונה תפקיד ניתוח הנתונים – Data Analyst.

קראו מאמר שמתאר בהרחבה מהו תפקידו של Data Analyst 

שיטות וגישות בניתוח נתונים

המתודולוגיה של ניתוח נתונים מתייחסת לשיטת ניתוח נתונים, גישות הניתוח בהתאם לשאלות ודאטה, שימוש בטכניקות רלוונטיות בהתאם וסדר השלבים בתהליך עצמו.

נתחיל מסקירה של השיטות והגישות העיקריות בניתוח נתונים, המספקות מענה לסוגים שונים של שאלות עסקיות.

שיטות בניתוח נתונים:

• ניתוח נתונים במחקר איכותני –
  

  שיטה זו עונה על שאלות כגון “מה”, “מדוע” ו”איך”. כל אחת מהשאלות הללו מטופלות ע”י איסוף מידע איכותני מילולי באמצעות שאלונים, ראיונות, קטעי וידאו, תצפיות וסקרים. נתוני איכות מייצגים כל מה שמתאר טעם, חוויה, דעה. נתונים אלה קשה יותר לניתוח, במיוחד לשם השוואה. בשיטה זו נראה שימוש בטכניקות ניתוח טקסטים שונות (Text Analysis ).

 

• ניתוח נתונים כמותי –
  

  נתונים מספריים יכולים להיות  גיל, דרגה, עלות, אורך, משקל, ציונים וכו’. נתונים אלה ניתן לחלק לקטגוריות, קבוצות, להגדיר מדדים, לבצע חישובים ולדרג אותם אחד ביחס לשני. אפשר להציג אותם  בפורמט גרפי, תרשימים או להחיל עליהם שיטות ניתוח נתונים סטטיסטיים.

 

• ניתוח תיאורי (Descriptive Analysis):
  

  ניתוח נתונים תיאורי מסתכל על נתוני העבר (מלאים או מדגם) ומספר מה קרה. גישה זו שימושית כאשר בוחנים מדדי KPI – Key Performance Indicators, ניתוח של הכנסות, לידים במכירות ועוד. לרוב נראה הצגה של ממוצע, סטייה, מגמה של נתונים רצופים ו/או תדירות עבור נתונים קטגוריאליים.

 

• ניתוח מבחין (Diagnostic Analysis):

  ניתוח נתונים מבחין נועד לקבוע מדוע קרה משהו. ברגע שהניתוח התיאורי מראה תוצאה שלילית או חיובית לתרחיש מסוים, ניתן לבצע ניתוח מבחין כדי להבין את הסיבה. לדוגמא, חברה יכולה לראות עליה בכמות הלידים בחודש מסוים ותשתמש בניתוח מבחין כדי לקבוע אילו מאמצי שיווק תרמו הכי הרבה. לצורך זיהוי דפוסים ספציפיים בדאטה (Patterns Recognition) נראה שימוש בטכניקות סטטיסטיות וכך נוכל להשתמש בתובנות אלו, עבור דאטה חדש עם בעיה דומה.

 

• חיזוי (Predictive Analysis):

  ניתוח נתונים זה מנבא מה צפוי לקרות בעתיד. בניתוח מסוג זה המגמות נגזרות מנתוני העבר ומשמשות ליצירת תחזיות לגבי העתיד.
  לדוגמה, כדי לחזות את הכנסות השנה הבאה, ינותחו נתונים משנים קודמות. אם ההכנסות עלו ב-20% בכל שנה לאורך שנים רבות, היינו חוזים שההכנסות בשנה הבאה יהיו גבוהות ב- 20% לעומת השנה. זו דוגמה פשוטה, אך ניתן ליישם ניתוח זה בנושאים מורכבים הרבה יותר כמו הערכת סיכונים, נטישת לקוחות/עובדים או איכות הלידים. חשוב לזכור שהחיזוי הוא רק הערכה, וטיב החיזוי תלוי בכמות הנתונים שבידנו, ברמת הפירוט של המידע מפורט ובמידה בה העמקנו בניתוח הנתונים הקיימים.

• ניתוח מרשם Prescriptive Analysis:

  ניתוח זה משלב את המידע שנמצא משלושת הסוגים הקודמים של ניתוחים ויוצר תוכנית פעולה עבור הארגון להתמודדות עם הסוגיה או ההחלטה. מרבית החברות המונעות ע”י נתונים משתמשות בניתוח מרשם מכיוון שניתוח חיזוי וניתוח תיאורי אינם מספיקים כדי לשפר את ביצועי הנתונים.
  השאלה שנעלה כאן היא איזה פעולה עלינו לנקוט על מנת לשפר את ההחלטה או להשיג תוצאה רצויה לעומת המצב הקיים.

 היכנסו לעמוד הקורס  – Data Research Analyst 

מהו תהליך ניתוח הנתונים?

עם כל כך הרבה נתונים אנחנו צריכים להפיק את המירב והמיטב. אבל כדי להצליח הגיע לנקודה הזו אנחנו צריכים להבטיח שמדובר בנתונים הרלוונטיים לשאלה. אלה שיאפשרו לנו לענות על השאלה הספציפית, להסיק מסקנות מדויקות, ולוודא שכל התהליך הזה תומך בקבלת ההחלטות הנכונות.

תהליך ניתוח הנתונים הוא למעשה איסוף המידע באמצעות יישום או כלי מתאים המאפשר לנו גם לחקור את הנתונים ולמצוא בהם דפוסים ספציפיים. בהתבסס על מידע ונתונים אלה נוכל לבצע ניתוח מידע שעל בסיסו ניתן לקבל החלטות.

אלה הם שלבי עבודה עיקריים:

1. Data Requirement Gathering – הגדרת הבעיה ואיסוף הדרישות

הגדרת הבעיה או השאלה העסקית היא שלב קריטי. השאלה צריכה להיות מדידה, ברורה ומדויקת על מנת שנוכל לאסוף דרישות מגורמים שונים בתוך הארגון.
בשלב זה עלינו להחליט איזה נתונים נדרשים לנו על מנת לענות על השאלה ואיך למדוד אותם. בחינה והגדרת דרך המדידה חשובה לא פחות, במיוחד לפני שלב איסוף נתונים. חשוב לקחת בחשבון את מסגרת הזמן שאנחנו רוצים לבחון (למשל, עלויות שנתיות לעומת עלויות רבעוניות), את יחידות המידע (למשל שקל לעומת יורו), את הגורמים שנרצה לכלול (למשל, רק שכר שנתי או שכר שנתי בתוספת בונוסים) ועוד.

2. Data Collection– איסוף הנתונים

כשהבעיה מוגדרת בצורה ברורה ודרך המדידה נקבעה, אנו מגיעים לשלב איסוף הנתונים. תהליך זה יכול להיות מאתגר מאוד, שכן לעתים אנו בסביבה עתירת דאטה, עם מקורות מידע רבים ומגוונים וכמויות גדולות מאד של נתונים.
הדיוק וההבנה טכנית באשר למקורות מידע והמבנה שלהם חשובים מאד כדי להבטיח שמקור הנתונים שלנו אמין וכן כדי לא להחמיץ מקורות נתונים חיוניים שצריכים להיות חלק מהמחקר. נתונים אמינים ומלאים נחוצים לניתוח נתונים מדויק.

הנה כמה צעדים שכדאי לעשות בתהליך איסוף הנתונים:

• את המידע הראשוני כדאי לאסוף ממאגרי הנתונים ומהמקורות הקיימים העומדים לרשותנו..
• יש לקבוע דרך נכונה ומובנית לאחסון הנתונים: שמירת הקבצים, מיקום הקבצים, הסדר הלוגי שבשבמירתם.
• אם נדרש איסוף נתונים באמצעות תצפיות או ראיונות, מומלץ להגדיר תבנית ראיונות מראש כדי להבטיח עקביות ולחסוך זמן.
• יש לשמור את הנתונים הנאספים בצורה מסודרת ומאורגנת, עם תאריכי איסוף והערות רלוונטיות. כל זה יאמת את מסקנותינו בהמשך הדרך.

3. Data Cleaning – ניקוי הנתונים

כדי להצליח ולעבוד עם הנתונים שאספנו, חשוב מאד לנקות אותם ולוודא שכולם שימושיים ורלוונטים לניתוח.
לעתים הנתונים עשויים להכיל רשומות כפולות, רווחים מיותרים או שגיאות, שעשויים לפגוע לנו בתהליך. שלב מקדים זה יבטיח שתוצאת הניתוח תהיה מדויקת ומהימנה יותר.

4. Data Analysis– ניתוח נתונים

סוף סוף אפשר להתחיל לנתח. בשלב זה נבצע מניפולציות על דאטה במספר דרכים,
כגון מיון וסידור, קיבוץ לפי פלחים רלוונטיים ומציאת מתאם. במקרה שעובדים עם אקסל הכי נוח לייצר טבלאות ציר – PivotTable , המאפשרות מיון וסינון של הנתונים לפי משתנים שונים, חישוב הממוצע, המקסימום, המינימום וסטיית התקן.

ניתן להשתמש בכלי ניתוח נתונים שונים (ניתוח נתונים באקסל הוא הבסיסי ביותר מביניהם), שחלקם חזקים בויזואליזציה, חלקם בניתוח נתונים סטטיסטיים וחלקם מיועדים לעיבוד נתוני ביג דאטה. כך או אחרת, עבודה קשה של ניתוח נתונים משתלמת בהמשך כדי להתקדם לשלבים הבאים: להבין, לפרש ולהפיק מסקנות על בסיס הדרישות.

היכנסו לעמוד הקורס – Practical Data Science

5. Data Interpretation – פירוש תוצאות הניתוח

הגיע הזמן לפרש את התוצאות, וכאן נשאל את עצמנו מספר שאלות מרכזיות:

• האם הנתונים עונים על השאלה המקורית ואיך?
• האם הייתה מגבלה בניתוח שתשפיע על מסקנות?
• האם הניתוח מספיק כדי לעזור בקבלת ההחלטות?

בשלב הזה נידרש להנגיש ולתקשר את התוצאות לאנשים הרלוונטיים בארגון, באמצעות: הסבר מילולי, טבלאות, גרפים ותרשימים.

קיימים מספר כלי ויזואליזציה שיאפשרו לנו להציג את התוצאות בצורה הברורה והטובה יותר.

6. Data Visualization– הדמיית (ויזואליזציה) נתונים

זהו השלב האחרון בתהליך.

כאן נצטרך לבחור מתוך מבחר עצום של טכניקות הדמיית הנתונים, כאשר המטרה העיקרית של כולן היא להדגים את  תוצאות ניתוח הנתונים באופן כזה שיסייע  להפקת תובנות וקבלת החלטות עסקיות בהמשך.

הכלים הפופלריים ביותר כיום הם כלי ה-Tableau וכלי ה- PowerBI.

המאמר הבא בסדרה יסקור לעומק את הכלים והטכנולוגיות בהם אנו עושים שימוש בכל שלב של התהליך.
מוזמנים לקרוא (-:

להמשך למאמר השני בסדרה לחצו כאן.