האם אפשר להפוך לארכיטקט Big Data מצליח בלי ללמוד מדעי נתונים? מה ההבדל בין אדריכל ביג דאטה לבין מדען נתונים?


תשובה 1:

תודה על מספר ה- A2As! :)

זה הידיים שלי על ניסיון אישי בעניין זה.

ב- Miniclip יש לנו צוות מדעי נתונים וצוות להנדסת נתונים. צוות הנדסת הנתונים מטפל בכל הדברים הגדולים של נתונים. עם העבודה צוות מדעי הנתונים יכול היה לעשות את זה אבל היינו עושים את זה יותר גרוע ואיטי יותר ... אנחנו לא רוצים את זה! :)

צוות הנדסת הנתונים לא באמת צריך להיכנס לפרטי ידע בתחום כמו בדרך של צוות מדעי הנתונים. עם זאת הם יודעים לא מעט למידה במכונה ובפרויקטים גדולים יותר של נתונים אוטומטיים אנו עובדים יחד.

אז לדעתי אתה יכול להפוך לאדריכל / מהנדס Big Data מצליח ללא מדעי נתונים, כלומר, ללא הידע בתחום / האלגוריתם שחברות תלויות במדעני נתונים. עם זאת אתה תהיה מהנדס נתונים טוב בהרבה אם תקבל את ידיך בזה.


תשובה 2:

מסכים עם מרצין. מדעני נתונים עשויים למנף את תשתית ה- Big Data על ידי אדריכל Big Data. IMO, חלק מהשיקולים העיקריים שעליו לדעת אדריכל נתונים גדולים הם הדברים הבאים, אשר ניתוח / מדע נתונים הם חלק (נקודה 3 להלן):

1) בליעת נתונים - אצווה והזרמה

2) אחסון נתונים - אחסון מבוזר, NoSQL

3) עיבוד ואנליטיקס ** - עיבוד אצווה, עיבוד זרמים, ניתוחים. כאן, על ארכיטקט ה- Big Data לפחות לדעת על כלי הניתוח / API הזמינים כדי להיות מסוגל להמליץ ​​ולכלול אותם בתשתית ה- Big Data (בהתבסס על העדפות שימוש עסקי והן על העדפות מדעני נתונים). מעטים מהגורמים שיש לקחת בחשבון בכלי המאפשר מדען נתונים יכולים להיות - סוגים של אלגוריתמים זמינים, תמיכה בשפת האם, קישוריות עם סביבת ביג נתונים, יכולות ניתוח נתונים, פרופיל נתונים וכו '.

4) צריכה - אצווה או הזרמת צריכה

5) צרכי חומרה לרכיבים שונים בסביבת Big Data מופץ

6) צרכים תפעוליים של סביבת ה- Big Data


תשובה 3:

מסכים עם מרצין. מדעני נתונים עשויים למנף את תשתית ה- Big Data על ידי אדריכל Big Data. IMO, חלק מהשיקולים העיקריים שעליו לדעת אדריכל נתונים גדולים הם הדברים הבאים, אשר ניתוח / מדע נתונים הם חלק (נקודה 3 להלן):

1) בליעת נתונים - אצווה והזרמה

2) אחסון נתונים - אחסון מבוזר, NoSQL

3) עיבוד ואנליטיקס ** - עיבוד אצווה, עיבוד זרמים, ניתוחים. כאן, על ארכיטקט ה- Big Data לפחות לדעת על כלי הניתוח / API הזמינים כדי להיות מסוגל להמליץ ​​ולכלול אותם בתשתית ה- Big Data (בהתבסס על העדפות שימוש עסקי והן על העדפות מדעני נתונים). מעטים מהגורמים שיש לקחת בחשבון בכלי המאפשר מדען נתונים יכולים להיות - סוגים של אלגוריתמים זמינים, תמיכה בשפת האם, קישוריות עם סביבת ביג נתונים, יכולות ניתוח נתונים, פרופיל נתונים וכו '.

4) צריכה - אצווה או הזרמת צריכה

5) צרכי חומרה לרכיבים שונים בסביבת Big Data מופץ

6) צרכים תפעוליים של סביבת ה- Big Data