ডেটা সায়েন্স না শিখেই কি একজন সফল বিগ ডেটা আর্কিটেক্টে পরিণত হতে পারে? বিগ ডেটা আর্কিটেক্ট এবং ডেটা সায়েন্টিস্টের মধ্যে পার্থক্য কী?


উত্তর 1:

একাধিক A2As জন্য আপনাকে ধন্যবাদ! :)

এই বিষয়টি সম্পর্কে আমার ব্যক্তিগত অভিজ্ঞতার হাত।

মিনিক্লিপে আমাদের একটি ডেটা সায়েন্স টিম এবং একটি ডেটা ইঞ্জিনিয়ারিং টিম রয়েছে। ডেটা ইঞ্জিনিয়ারিং টিম সমস্ত বড় ডেটা স্টাফ পরিচালনা করে। কাজের সাথে ডেটা সায়েন্স টিম এটি করতে পারে তবে আমরা এটি আরও খারাপ এবং ধীরে করবো ... আমরা তা চাই না! :)

ডেটা ইঞ্জিনিয়ারিং টিমের সত্যিকার অর্থে ডেটা বিজ্ঞান দল যেভাবে চলে তা সুনির্দিষ্ট করে ডোমেন জ্ঞানের মধ্যে যাওয়ার দরকার নেই। তবে তারা বেশ কিছুটা মেশিন লার্নিং এবং বৃহত্তর স্বয়ংক্রিয় ডেটা প্রকল্পগুলিতে আমরা একসাথে কাজ করতে জানি।

সুতরাং আমার মতে, আপনি ডেটা সায়েন্স ছাড়াই একটি সফল বড় ডেটা আর্কিটেক্ট / ইঞ্জিনিয়ার হতে পারেন, অর্থাত, ডোমেন / অ্যালগোরিদমিক জ্ঞান ছাড়াই যে সংস্থাগুলি ডেটা বিজ্ঞানীদের উপর নির্ভর করে। তবে আপনি এতে হাত পেতে থাকলে আপনি আরও অনেক ভাল ডেটা ইঞ্জিনিয়ার হবেন।


উত্তর 2:

মার্সিনের সাথে একমত ডেটা বিজ্ঞানীরা কোনও বিগ ডেটা আর্কিটেক্টের সাহায্যে বিগ ডেটা অবকাঠামোকে কাজে লাগাতে পারেন। আইএমও, কোনও বিগ ডেটা আর্কিটেক্টকে জানা উচিত এমন কয়েকটি মূল বিবেচনা নিম্নলিখিত বিষয়গুলির মধ্যে রয়েছে, যার মধ্যে ডেটা অ্যানালিটিকস / বিজ্ঞান একটি অংশ (নীচে 3 পয়েন্ট):

1) ডেটা ইনজেশন - ব্যাচ এবং স্ট্রিমিং

2) ডেটা স্টোরেজ - বিতরণ স্টোরেজ, নোএসকিউএল

3) প্রসেসিং এবং অ্যানালিটিকস ** - ব্যাচ প্রসেসিং, স্ট্রিম প্রসেসিং, বিশ্লেষণ। এখানে, বিগ ডেটা আর্কিটেক্টের বিগ ডেটা অবকাঠামোতে (ব্যবসায়িক ব্যবহারের ক্ষেত্রে এবং ডেটা বিজ্ঞানীদের পছন্দগুলির উপর ভিত্তি করে) তাদের সুপারিশ করতে এবং অন্তর্ভুক্ত করার জন্য উপলব্ধ বিশ্লেষণ সরঞ্জামগুলি / এপিআই সম্পর্কে কমপক্ষে জানা উচিত। ডেটা বিজ্ঞানী সক্ষম করার জন্য কোনও সরঞ্জাম বিবেচনা করার কয়েকটি কারণ হতে পারে - বিভিন্ন ধরণের অ্যালগোরিদম উপলব্ধ, স্থানীয় ভাষার সমর্থন, বিগ ডেটা এনভায়রনমেন্টের সাথে সংযোগ, ডেটা পার্সিংয়ের ক্ষমতা, ডেটা প্রোফাইলিং ইত্যাদি etc.

4) খরচ - ব্যাচ বা স্ট্রিম খরচ

5) বিগ ডেটা বিতরণ করা পরিবেশের বিভিন্ন উপাদানগুলির জন্য হার্ডওয়্যারের প্রয়োজন

6) বিগ ডেটা পরিবেশের অপারেশনাল প্রয়োজন


উত্তর 3:

মার্সিনের সাথে একমত ডেটা বিজ্ঞানীরা কোনও বিগ ডেটা আর্কিটেক্টের সাহায্যে বিগ ডেটা অবকাঠামোকে কাজে লাগাতে পারেন। আইএমও, কোনও বিগ ডেটা আর্কিটেক্টকে জানা উচিত এমন কয়েকটি মূল বিবেচনা নিম্নলিখিত বিষয়গুলির মধ্যে রয়েছে, যার মধ্যে ডেটা অ্যানালিটিকস / বিজ্ঞান একটি অংশ (নীচে 3 পয়েন্ট):

1) ডেটা ইনজেশন - ব্যাচ এবং স্ট্রিমিং

2) ডেটা স্টোরেজ - বিতরণ স্টোরেজ, নোএসকিউএল

3) প্রসেসিং এবং অ্যানালিটিকস ** - ব্যাচ প্রসেসিং, স্ট্রিম প্রসেসিং, বিশ্লেষণ। এখানে, বিগ ডেটা আর্কিটেক্টের বিগ ডেটা অবকাঠামোতে (ব্যবসায়িক ব্যবহারের ক্ষেত্রে এবং ডেটা বিজ্ঞানীদের পছন্দগুলির উপর ভিত্তি করে) তাদের সুপারিশ করতে এবং অন্তর্ভুক্ত করার জন্য উপলব্ধ বিশ্লেষণ সরঞ্জামগুলি / এপিআই সম্পর্কে কমপক্ষে জানা উচিত। ডেটা বিজ্ঞানী সক্ষম করার জন্য কোনও সরঞ্জাম বিবেচনা করার কয়েকটি কারণ হতে পারে - বিভিন্ন ধরণের অ্যালগোরিদম উপলব্ধ, স্থানীয় ভাষার সমর্থন, বিগ ডেটা এনভায়রনমেন্টের সাথে সংযোগ, ডেটা পার্সিংয়ের ক্ষমতা, ডেটা প্রোফাইলিং ইত্যাদি etc.

4) খরচ - ব্যাচ বা স্ট্রিম খরচ

5) বিগ ডেটা বিতরণ করা পরিবেশের বিভিন্ন উপাদানগুলির জন্য হার্ডওয়্যারের প্রয়োজন

6) বিগ ডেটা পরিবেশের অপারেশনাল প্রয়োজন