LOGIN
ثبت نام یا ورود
Avatar
هنوز ثبت نام نکرده اید؟

هم اکنون عضو پلاک آبی شوید .و به اطلاعات وب سایت ما دسترسی داشته باشید

تنظیم مجدد کلمه عبور - نام کاربری را فراموش کرده ام

نام کاربری
کلمه عبور
مرا به خاطر بسپار

placabi articles

معرفی راهکار بیگ دیتا - هدوپ راهکار بیگ دیتا - هدوپ

معرفی راهکار بیگ دیتا - هدوپ

  • این مورد را ارزیابی کنید
    (12 رای‌ها)

پروژه هدوپ مبتنی بر MapReduce از جمله راهکارهای کار با بیگ دیتا در عصر انفجار اطلاعات است. چگونه راهکار Hadoop برای رفع مشکل کار با کلان داده ها به ما یاری می‌رساند؟

راهکارهای سنتی کار با بیگ دیتا

در راهکارهای سنتی، داده های کسب و کار در یک کامپیوتر ذخیره سازی و پردازش می‌شوند. در این رویکرد، داده ها معمولا در یک سیستم پایگاه داده رابطه ای مانند Oracle، Microsoft SQL Server یا DB2 ذخیره می‌شود. نرم افزارهای نوشته شده با این پایگاه داده ها در ارتباط هستند و داده های مورد نیازشان را پردازش کرده و نتایج را برای تجزیه و تحلیل های نهایی به کاربران ارائه می‌کنند.

Traditional big data solution

محدودیت‌های راهکارهای سنتی کار با کلان داده

این رویکرد تا زمانی پاسخگوی نیازهای سازمان است که حجم داده ها چندان زیاد نبوده و سرورهای مورد استفاده‌ی پایگاه های داده سازمان توانایی پردازش آن‌ها را داشته باشند. به عبارتی، قدرت پردازشی سرورها پاسخگوی پردازش داده های در دسترس باشد. در غیر این صورت، و در حالتی که سازمان با حجم های بالای داده روبه‌رو است، پردازش داده ها از طریق راهکارهای سنتی پایگاه های داده بسیار زمان‌بر و خسته‌کننده خواهد بود.

بیاموزیم

روندهای تجزیه و تحلیل بیگ دیتا

17 روند تجزیه و تحلیل بیگ دیتا در سال 2017
بیاموزیم

راهکار ارائه شده توسط گوگل برای کار با بیگ دیتا

شرکت گوگل مشکل فوق را با ارائه الگوریتمی تحت عنوان MapReduce مرتفع کرده است. این الگوریتم ، هر پرس و جو یا Query را به قسمت‌های کوچک‌تر تقسیم کرده و هر قسمت را به یکی از کامپیوترهای متصل به شبکه ارجاع می‌دهد. در نهایت، نتایج پردازش هر یک از قسمت‌ها، توسط کامپیوترهای کوچک‌تر جمع‌آوری شده و حاصل نهایی پردازش را شکل می‌دهند.

MapReduce solution for big data

شکل فوق نشان می‌دهد که چندین سخت‌افزار مختلف در کنار یگدیگر می‌توانند نقش یک پردازنده یا سرور منفرد مرکزی را بازی کنند.

 

هدوپ Hadoop به عنوان راهکار برای کلان داده

پس از ارائه الگوریتم MapReduce توسط گوگل Doug Cutting، Mike Cafarella و تیم همکار آن‌ها در سال 2005 پروژه هدوپ را مبتنی بر این الگوریتم آغاز کردند. در حال حاضر هادوپ یکی از علائم تجاری بنیاد نرم افزاری آپاچی محسوب می‌شود.

هدوپ پرس و جوها را مبتنی بر الگوریتم MapReduce اجرا می‌کند. در Hadoop داده ها برای اجرای پرس و جوی مورد نظر، بر چندین پردازنده منفرد جدا از هم به صورت موازی پردازش می‌شوند. به‌طور خلاصه می‌توان گفت که چارچوب هادوپ قابلیت حل پرس و جو ها یا Query هایی را دارد که می‌توانند بر خوشه هایی جدا از هم از کامپیوترها اجرا شده و تجزیه و تحلیل های آماری را روی حجم عظیمی از داده ها انجام دهند.

Hadoop Framework

 

معرفی Streaming Data و مقایسه آن با هدوپ

یکی از پلتفرم‌های پردازش تحلیلی که روی سرعت متمرکز شده streaming data  است. این پلتفرم وقتی کاربرد دارد که لازم است جریان پیوسته‌ای از داده که معمولاً داده های غیرساخت‌یافته هستند، پردازش شود.
دراین روش پردازش، داده ها قبل از آن‌که ذخیره شوند، به‌طور پیوسته در memory تحلیل و تبدیل می‌شوند. رویکرد پردازش تحلیلی جریان داده شباهت‌هایی با کاربرد هدوپ در مدیریت داده‌های ذخیره شده دارد.اختلاف عمده میان streaming data و hadoop، در سرعت پردازش داده‌ها است.
در هدوپ، داده‌ها به صورت batch ذخیره‌سازی شده و سپس پردازش می‌شوند. اما سرعت در هدوپ از اهمیت کمتری برخوردار است. بنابراین، بهتراست درمواردی که باید به یک رویداد، پاسخی فوری داده شود، از  پلتفرم پردازش تحلیلی Stream data  استفاده شود. 
مثلاً وقتی که وضعیت پزشکی یک بیمار ناگهان تغییر ‌کند ، باید برمبنای تحلیل انجام شده با این پلتفرم اقدام لازم انجام گیرد.

در کانال تلگرامی ما بخوانید
در کانال تلگرامی ما بخوانیدمعرفی Streaming Data و مقایسه آن با هدوپ - @placabi

منبع: وب سایت TutorialsPoint

خواندن 3456 دفعه آخرین ویرایش در دوشنبه, 27 آذر 1396 23:03
برچسب‌ها
الهام المعی نژاد

مدیر عامل شرکت پلاک آبی

بیش از 20 سال سابقه مشاوره، آموزش و پیاده سازی سیستم‌های مدیریت و PMIS

 

دانش آموخته Post-MBA کارآفرینی و توسعه کسب و کار، سازمان مدیریت صنعتی

دانش آموخته E-MBA سازمان مدیریت صنعتی

کارشناس مهندسی تکنولوژی و علوم رنگ، دانشگاه صنعتی امیرکبیر

  • هیچ نظری یافت نشد

نظر خود را اضافه کنید.

ارسال نظر به عنوان مهمان

0
نظر شما به دست مدیر خواهد رسید
 تماس با ما

تلفن: 09211437289
پست الکترونیک:
info @ p l a c a b i . com

 

We use cookies to improve our website. By continuing to use this website, you are giving consent to cookies being used. More details…