פרויקט מיגרציה(הסבות נתונים)

בפרויקט מיגרציה, אשר עיקרו העברת והסבת הנתונים מהמקורות והמערכות הנוכחיות למערכת אחרת או למערכת חדשה עכב רכישה של חברה חדשה או רצון להעביר סט גדול של נתונים, ישנם מספר שלבים מרכזיים:

·         מיפוי של המידע הקיים והנתונים, אופי הנתונים(סוגי שדות, אובייקטים...), אחידותם והאם ניתן לייצאם מחוץ למערכת(לעיתים נדרשת מעורבות של איש טכני ושימוש בקוד על מנת לייצא חלק מהנתונים).

·         מיפוי של המערכת החדשה, מה קיים בה מבחינת רשומות, אובייקטים, שדות, מה דרוש להקים(אלו שדות, ערכים וכוליי).

·         כתיבה של מסמך מיגרציה אשר משקף את שתי הפעולות לעיל ומקבע לוחות זמנים בהתאם ללוח זמנים הכללי של הפרויקט – לרוב פעולה זו לא מיושמת כיוון שהיא דורשת הרבה זמן וידע.

·         הוצאה של נתונים מהמערכות הישנות(לקבצי אקסל, CSV או פורמט אחר בתיאום עם המיישמים של המערכת החדשה).

חלק זה יכול להיות מורכב ולכן דרושה מעורבות של גורמים טכניים ועיסקיים לוודא שכל המידע הוצא כראוי ולא השתבש שום דבר בדרך.

·         התאמה של הנתונים למערכת החדשה - טיוב נתונים.

שלב זה נחשב ל"עבודה שחורה", אומנם הוא מחויב המציאות ובלעדיו לא יהיה ניתן לטעון את הנתונים למערכת החדשה.

הטיוב מתבצע על סמך מסמך המיגרציה ומהגבלות של המערכת ויאפשר לנתונים מהמערכת הקודמת להיטען למערכת החדשה.

מומלץ לנהל גירסאות לכל שינוי בקובץ כדי לחזור אחורה במידה וצריך.

·         עדכון לסנדבוקס(Refresh) – ההעתקה של נתונים מסביבת הייצור לסביבת הבדיקות על מנת שסביבת הבדיקות תהיה תואמת כמה שיותר למציאות ותהווה מדד טוב לטעינה בפרודקשן (ראו תשובת נטסוויט Answer Id: 51268).

·         טעינה של הנתונים למערכת החדשה.

טעינה זו יכולה להתבצע על ידי ספק צד שלישי או גורם מתוך החברה אשר מוסמך ויכול לבצע את ההעלאה של הנתונים.

כמה כללים בסיסים לפני טעינת נתונים לנטסוויט:

• טעינת קבצים לנטסוויט נעשית בפורמט של CSV בלבד.
• מוטב להסיר את כל העמודות בצדדים ולמטה(נטסוויט מזהה תווים לפעמים גם בתאים ריקים ולכן עדיף למחוק את כל העמודות והשורות הריקות אפילו אם זה נראה שאין שם שום ערך).
• אם ישנם תווים מיוחדים כמו בספרדית או גרמנית(למשל: המילה Cancún), צריך להשתמש בפורמט CSV מסוג CSV file with the UTF-8
• לוודא שכל השדות עם רשימות ערכים מכילות בדיוק את הערכים כפי שהן מופיעים בנטסוויט. למשל, אם יש שדה 'סוג לקוח', צריך לבדוק בנטסוויט מהם הערכים תחת השדה ולהזין אך ורק שדות אלו(או להוסיף ערכים חדשים לשדה בנטסוויט).

• לוודא שהערכים שנטענים מתוך רשימת ערכים בנטסוויט אכן פעילים(Active) ותקפים(למשל: אם טוענים לקוח לחברה מסויימת, לודא שהחברה אכן פעילה במערכת).
• בשדות מסויימים יש מגבלות של נטסוויט למספר וסוג תווים, מומלץ להסתכל במאמרי נטסוויט בנושא: Answer Id -  69232 וגם 10022, 10008, 9973.

·         וידוא שהטעינה בוצעה כראוי (שלמות ואיכות נתונים)– רוב המערכות מספקות פידבקים לגבי זה אבל חשוב לבדוק גם בתוך המערכת כיצד הנתונים מוצגים.

ניתן להוציא דוחות(אפשר להכין את התשתית של הדוחות מראש) לקבצי אקסל ואז לבצע השוואות מול קבצי הטעינה.

מומלץ גם לקחת מספר דוגמאות ולבדוק בתוך המערכת כיצד הנתונים נראים כדי לקבל תמונת מצב אותנטית יותר מבחינה וויזואלית.

אני קורא למיגרציה פרויקט, מכיוון שלעיתים נהוג ליחס חשיבות פחותה לשלב זה של הפרויקט, אומנם בלא מעט מהמקרים הוא שלב מכריע ומהווה צוואר בקבוק בפרויקט ואיכות היישום תלויה לא מעט בו.

השלבים לעיל משקפים מצב אידאלי בו יש זמן ומשאבים, אומנם ברוב המקרים חסר אחד מהם וצריך לדעת על מה אפשר לוותר ועל מה לא(ולא לשכוח יש דרך קצרה שהיא ארוכה).