כיצד לבנות מחסן נתונים לדוגמא


תשובה 1:

אני לא יודע מה הניסיון שלך, אבל אני יכול לספר לך איך למדתי את זה מאפס והצלחתי לבנות datamart שימושי בחודשים מסוימים ללא הכשרה רשמית.

הייתי כבר מתכנת מנוסה והיה לי ידע טוב בבסיסי נתונים. להיות מתכנת זה לא כל כך חשוב, אבל לדעת לכתוב שאילתות SQL זה.

התחלתי בקריאה "ערכת הכלים למחזור החיים של מחסן החיים של הנתונים", מאת ראלף קימבול. זה ספר מגניב להפליא. זה ייתן לך תחושה טובה של מהו מחסן נתונים ומה הצעדים לבנות אחד כזה. יש בו המון דוגמאות לדפוסים ופתרונות נפוצים עם מקרים אמיתיים. אני חושב שזו דרך טובה להתחיל מכיוון שהיא נותנת לך מספיק ידע לבנות אב טיפוס קטן בו תוכל ליישם את הרעיונות וללמוד הרבה בדרך.

אחד הצעדים המכריעים לבניית מחסן נתונים הוא חילוץ נתונים ממערכות המקור כדי לאכלס את המודל הממדי שלך. זה נקרא ETL (תמצית - טרנספורמציה - עומס). כל כך חשוב שגם לקימבול יהיה ספר שלם: "ערכת הכלים של מחזור החיים של ETL". עבור מתכנת, ETL מרגיש מצוין כי זה הכי קרוב שתגיע לתכנות בעולם ה- DW.

שני הספרים האלה הם קריאה נהדרת והם מספיקים לך כדי לבנות את המערכת הראשונה שלך. את השאר תצטרך ללמוד לאט לאט על ידי ניסיון. אבל אם אתה חושב שאתה באמת לא יכול להבין את הספרים בעצמך, תצטרך לחפש הכשרה רשמית.

על הכלים שאתה צריך, אתה לא צריך להוציא כסף כי אתה יכול למצוא רבים בחינם. תזדקק לפחות לכלים הבאים שתוכל להוריד בחינם מהאינטרנט:

  • מערכת לניהול מסדי נתונים לאחסון הנתונים שלך: MySQL הוא בחינם, אך אתה יכול להשיג אפילו אורקל בחינם אם אתה רק משתמש בה לצורכי למידה.
  • כלי שאילתה לניהול אובייקטי מסד הנתונים שלך: סנאי ו- DBeaver הם כלים מצוינים וקלים לשימוש. והם חופשיים.
  • כלי ETL: Pentaho Kettle ו- Talend שניהם מעולים ופתוחים. אני משתמש בטאלנד בעבודה הרבה שנים ואני אוהב את זה.
  • כלי OLAP ליצירת הניתוחים והדוחות שלך: לפנטאהו יש מודול OLAP לכך. אך למעשה כל כלי דוחות יכול לבצע חלק מהעבודה. זה החלק הכי מסובך מכיוון שכלי טוב בדרך כלל יעלה הרבה. אני משתמש באובייקטים עסקיים של SAP בעבודה.

הכי חשוב, אתה צריך להיות סבלני. למרות שיכולתי לבנות את ה- datamart הראשון שלי בתוך כמה חודשים, רק אחרי כמה שנות ניסיון אני מרגיש שיש לי הבנה מוצקה יותר של מה שאני עושה. אבל מעקב אחר שיטות העבודה המומלצות של קימבול הוא התחלה נהדרת.

בהצלחה!


תשובה 2:

להלן מדריך מפורט המסביר את המרכיבים העיקריים של פעולות ניתוח למחסנים יחד עם קבוצה יעילה של כלי ניתוח - זה אמור להיות שימושי עבור רוב סוגי העסקים:

כיצד לבנות את פעולת האנליטיקה של סטארט-אפ מ- Scratch: כלים וטיפים

המדריך מסביר שלבים וכלים מרכזיים המתחלקים לשלוש קטגוריות רחבות ומספק רשימות של הכלים לכל קטגוריה:

  • איסוף נתונים
  • תשתית נתונים (בליעת נתונים, אחסון וניהול)
  • כלי ניתוח

באשר לטכנולוגיות אחסון נתונים - הם היו, עד לאחרונה, גם יקרים וקשים בהקמה, אך ישנם ספקים המציעים כעת מחסני נתונים זולים ומבוססים על ענן המבוססים על תשתית AWS שקל להפעיל אותם להפעלה, כאן הוא כמה אפשרויות נהדרות:

אמזון Redshift לעומת Panoply | G2
  • אמזון Redshift: זהו כלי מחסן נתונים מבוסס ענן מבית AWS שמקל על סיבוב מופע אחסון מרוחק ושילוב כל הנתונים שלך במקום אחד. זה יכול להיות קצת יותר מעשי מאשר חלק מהכלים האחרים, והוא נועד לעבוד בצורה הטובה ביותר עם מוצרים אחרים של אמזון, אז קחו בחשבון אם יש לכם את המשאבים הטכניים לשלב הרבה כלים שונים יחד.
  • Panoply: זה מבוסס גם על Redshift, אבל זה הרבה יותר ידידותי למשתמש ומוסיף הרבה אינטגרציות כדי לעזור עם ETL. הוא מציע מחברי נתונים מובנים עבור רוב סוגי הנתונים והספקים, כך שקל לטעון את הנתונים ולעבור ישירות לניתוח ותובנה לאחר שתגדיר. ברוב המקרים לא תצטרך בכלל כלי ETL נפרד, אתה פשוט משתמש בממשק הלחצנים כדי להתחבר לכל מקורות הנתונים שאתה עובד איתם. ברגע שהנתונים נבלעים, מיטוב מבנה הנתונים שלהם יקל על חיפוש, מיון, שילוב וניתוח הנתונים. הנה הסקירה הכללית שלהם בבלוג הרשמי של AWS להשוואה עם Redshift: כיצד מחסן נתונים חכם מכניס פאנלים אלגוריתמים ללימוד מכונה על גבי אמזון Redshift | שירותי האינטרנט של אמזון

תשובה 3:

לאחרונה פתחתי קורס udemy שעובר על בניית סכמת כוכבים מאפס. הוא צולל להרבה מרכיבים בסיסיים של תכנון מסדי נתונים, דוגמנות נתונים וארכיטקטורת מחסן נתונים. תוכלו להשתמש בקישור למטה לקבלת מחיר מוזל.

דוגמנות מחסן נתונים - יסודות עיצוב סכמות כוכבים

כמו כן, אם אתה חדש בתחום אחסון נתונים, הנה פוסט בבלוג שיעלה אותך במהירות בחלק מה-

מושגי מחסן נתונים

.


תשובה 4:

היי.

נתחיל בכמה יסודות. האם אתה מהנדס תוכנה?

אם כן, נהדר, יש לך את החלק הבסיסי מכוסה.

לאחר מכן, הכירו את ניהול מסדי הנתונים. אלו הם הרעיונות השלטוניים שינחו אותך לגבי תכנון / ארכיטקטורה וניהול מסד נתונים. ברגע שיש לך את זה מכוסה, עבור לאחסון נתונים.

אני מוסיף קישור שאני מקווה שיהיה להדרכה:

https://qordata.com/consulting_blog/need-a-robust-tool-free-data-warehouse-at-a-fraction-of-the-cost-read-on/

תשובה 5:

היי, יש הרבה משאבים ב

TDWI | הפיכת נתונים למודיעין

ו

יוטיוב

בכללי…

אם היה בפורטוגזית, באתר שלי יש הרבה הודעות, pdfs וקורסים.

מחסן נתונים / Armazém de dados: O que é, conceito e definiçãoConsultoria de BI - אחסון נתונים בינה עסקית | Cetax

בברכה