LOGIN
ثبت نام یا ورود
Avatar
هنوز ثبت نام نکرده اید؟

هم اکنون عضو پلاک آبی شوید .و به اطلاعات وب سایت ما دسترسی داشته باشید

تنظیم مجدد کلمه عبور - نام کاربری را فراموش کرده ام

نام کاربری
کلمه عبور
مرا به خاطر بسپار

placabi articles

یکپارچه سازی داده یا Data Integration چیست؟

  • این مورد را ارزیابی کنید
    (10 رای‌ها)

فرآیند Data Integration، چالش های طراحی، پیاده سازی و تست، و شرح تکنیک های یکپارچه­ سازی داده به عنوان یکی از الزامات به کارگیری هوش کسب و کار  / هوش تجاری ( BI ) در سازمان‌های بزرگ


 یکپارچه­ سازی داده ها­[1]، فرآیندی است در هوش کسب وکار / هوش تجاری که در آن داده­ های موجود در منابع مختلف با یکدیگر ترکیب می‌شوند؛ این داده ها عموما با فناوری­‌های متفاوت و در منابع مختلف جدا از هم ذخیره شده و نگهداری می­‌شوند. یکپارچه­ سازی داده­ ها منجر به شکل­‌گیری یک دید واحد نسبت به داده­ های پراکنده می­‌شود. امروزه Data Integration به فرآیندی مهم در ارتباط و اتصال سیستم های شرکت­‌های مختلف با یکدیگر و تحکیم جایگاه برنامه های کاربردی و سیستم های داخلی شرکت ها تبدیل شده است. از طریق این فرآیند دیدی واحد نسبت به داده های شرکت برای کاربران و کارمندان کسب و کار مربوطه ایجاد می­‌شود. این طرح غالبا تحت عنوان "انباره­ داده­" نامیده می­‌شود.

می­‌توان شناخته شده ترین پیاده سازی از رویکرد یکپارچه سازی داده ها را ساخت انباره­ داده سازمانی دانست. مزایای ناشی از ساخت انباره داده، کسب و کارها را قادر می‌­سازد تا تجزیه و تحلیل­‌های خود را مبتنی بر داده های جمع­‌آوری شده در انباره داده انجام دهند. این در حالی است که انجام این تجزیه و تحلیل­‌ها، با اتکا بر استفاده از داده های موجود در سیستم­‌های منبع رکورد یا System of Record (SOR) or Source System of Record (SSoR) یا سیستم‌­های منبع مقدور نبوده و لااقل به سختی انجام می­‌شود. چرا که سیستم‌­های منبع رکورد، از داده های نظیر به نظیر پشتیبانی نمی­‌کنند، به این معنا که در یک سیستم ممکن است داده های با نام مشابه و یکسان به موجودیت­‌های متفاوتی اشاره کنند؛ این درحالی است که سیستم­‌های منبع رکورد این شرایط را پشتیبانی نمی­‌کنند.

 هوش تجاری

حوزه­‌های مرتبط با یکپارچه­ سازی داده­ ها

پیاده سازی فرایندهای یکپارچه سازی داده ها یا Data Integration معمولا حوزه‌های کاری زیر را در بر می‌گیرد:

  • انبارش داده‌­ها (Data Warehousing)
  • انتقال داده‌­ها (Data Migration)
  • یکپارچه­ سازی اطلاعات / برنامه­‌های کابردی کسب و کار با یکدیگر
  • مدیریت بالاسری داده‌ها (Master Data Management)

در این نوشتار به بررسی فرآیند "یکپارچه­ سازی داده­ ها" و چالش‌ها و تکنیک‌های آن پرداخته شده است.

چالش­‌های پیش روی Data Integration

در نگاه اول، شاید بزرگترین چالش پیش روی Data Integration، چالش­‌های فنی پیاده سازی این رویکرد باشد. اما ذکر این نکته مهم است که چالش اصلی در واقع کل فرآیند یکپارچه سازی داده ها است. یکپارچه سازی داده ها از سه گام اصلی طراحی، پیاده سازی و تست سیستم پیاده سازی شده تشکیل شده است. در ادامه به بررسی این گام‌­ها می­‌پردازیم.

طراحی

طراحی سیستم Data Integration شامل چندین مرحله و پاسخ به سوالات و تامین نیازمندی­‌های متفاوتی چون موارد زیر است:

  • پیاده سازی فرآیند یکپارچه سازی داده ها در یک شرکت، باید به عنوان رویکردی در کل کسب و کار مربوطه و نه فقط بخش فناوری اطلاعات آن شرکت مورد توجه قرار گیرد. بهتر آن است که فردی از کارکنان شرکت، مسئولیت بررسی داده های موجود در شرکت را بر عهده گرفته و بر تاثیر مزایای بلندمدت یکپارچه سازی داده ها در ایجاد ثبات، حفظ موفقیت مداوم و سودآوری این رویکرد، اشراف کامل داشته باشد.
  • تجزیه و تحلیل نیازمندی­‌ها (شناسایی نیازمندی­‌های کسب و کار[2]) در Data Integration و یکپارچه سازی داده­ ها، شامل پاسخگویی به مسائلی چون موارد زیر است:
    • دلایل یکپارچه‌سازی داده­ ها و اهداف و عواید ناشی از پیاده­ سازی آن در شرکت چیست؟
    • داده­ های مورد نیاز از چه منابعی تامین می­‌شوند؟
    • آیا داده­ های موجود، ملزومات فرآیند یکپارچه‌سازی داده­ ها را برآورده می­‌کنند؟
    • قوانین مرتب بر کسب و کار مربوطه چه هستند؟
    • مدل‌­های پشتیبان[3] و موافقت نامه­‌های سطح خدمات[4] آن کسب و کار چه هستند؟
  • تجزیه و تحلیل سیستم منابع ذخیره‌ اطلاعات در یکپارچه­ سازی داده­ ها شامل سؤالاتی درباره‌ی نحوه استخراج داده­ ها از سیستم (روش هایی چون استخراج همراه با ارائه پیغام بروزرسانی[5]، استخراج افزایشی[6] و full extract)می‌شود.  همچنین در این مرحله باید به سوالاتی نظیر سوالات زیر پاسخ داد:
    • نرخ استخراج داده های مورد نیاز یا در دسترس چقدر باشد؟
    • کیفیت داده ها چگونه و در چه حد است؟
    •  آیا فیلدهای داده­ای بدرستی پر شده­‌اند؟
    • آیا مستندسازی داده ها در دسترس است؟
    • حجم داده های پردازش شده چقدر است؟
    • مالک سیستم کیست؟
  • نیازمندی های غیر عملکردی سیستم[7]، مانند data processing window، زمان پاسخ­‌دهی سیستم[8]، تخمینی از تعداد کاربران سیستم (به‌خصوص تعداد کاربرانی که به‌صورت هم‌زمان از سیستم استفاده می­‌کنند)، سیاست به کار گرفته شده در تامین امنیت داده­ ها و بک آپ گیریاز داده­ ها نیز باید تامین شوند.
  • مدل پشتیبان به‌کار رفته در سیستم جدید چیست؟ نیازمندی های موافقت نامه­‌های سطح خدمات چه مواردی را شامل می­‌شوند؟
  • در انتها نیز باید به این مساله پرداخت که مالک سیستم کیست و هزینه­‌های نگهداری و به‌روزرسانی این سیستم از چه منبعی تامین می­‌شود؟

نتایج گام­‌های ذکر شده باید به فرم سند شناسایی ملزومات نرم افزاری[9] نوشته شده و توسط تمام طرف­‌های شریک در پروژه یکپارچه­ سازی داده­ ها تایید و امضا شود.

پیاده­ سازی

براساس موارد مطرح شده در اسناد نیازمندی های کسب و کار و اسناد نیازمندی‌های نرم افزاری، برای انتخاب ابزارهای مناسب مورد نیاز در یکپارچه­ سازی داده­ ها، بهتر است که مطالعات امکان­‌ سنجی[10] انجام شود.

شرکت­‌ها و کسب و کارهای کوچکی که در ابتدای راه بهره­‌برداری از پروژه­ های انبارش داده ها قرار گرفته‌اند، با چالش تصمیم­‌گیری در مورد ابزارهای مورد نیاز پیاده­‌سازی این راهکار مواجه­‌اند. کسب و کارهای بزرگتر که در پیاده سازی پروژه ­های Data Integration تجربه دارند، کار نسبتا راحت­تری در انبارش داده ها پیش رو دارند، چرا که همانطور که اشاره شد تجربه پیاده سازی آن رویکردها را داشته و همچنین می­توانند سیستم­‌ها و دانش در اختیارشان را برای پیاده سازی رویکردهای جدید، توسعه داده و مورد بهره­‌برداری قرار دهند.

طبق شواهد موجود، می­‌توان گفت استفاده از پلت‌فرم­ها و فناوری­‌های جدیدتر و بهتر، در مقایسه با رویکرد تداوم استفاده از استانداردهای فعلی شرکت، موجب عملکرد موثرتر سیستم می­‌شود. به طور مثال می‌­توان از ابزارهایی نام برد که موجب مقیاس‌­گذاری بهتر رشد و توسعه شرکت در آینده می‌­شوند. این ابزار، راهکاری را فراهم می­‌کند که موجب کاهش هزینه­ های پیاده سازی و پشتیبانی، کاهش هزینه‌­های اخذمجوز و در نهایت تبدیل سیستم قدیمی به پلتفرمی جدید و مدرن می‌­شود.

آزمون و تست سیستم

هم‌زمان با پیاده سازی فرآیند یکپارچه سازی داده ها، اطمینان از درستی و کامل و به‌روز بودن داده های یکپارچه شده از طریق آزمون و تست مداوم سیستم، گامی اساسی است.

در مرحله تست، هر دو بخش نیازمندی­‌های کسب و کار و نیازمندی‌­های فنی باید مد نظر قرار گیرند تا از انطباق نتایج به‌دست آمده با نتایج مورد انتظار و مورد نیاز اطمینان حاصل شود. بنابراین، بهتر است که تست سیستم در قالب ترکیبی از تست­‌ها شامل تست فشار حداقل کارایی[11]، تست تاییدیه فنی[12] و تست تاییدیه کاربر[13] انجام شود.

هوش کسب و کار

تکنیک­‌های یکپارچه­ سازی داده

Data Integration، در سطوح مختلف سازمانی قابل انجام و پیاده­ سازی است، که در سطوح پایین‌تر بیشتر یکپارچه سازی‌ خودکار انجام می‌شود.

  • یکپارچه­ سازی دستی یا مبتنی بر رابط کاربری مشترک[14]- در این روش، کاربران از طریق دسترسی به سیستم‌­های منبع و رابط­‌های مبتنی بر وب، اطلاعات مربوط به خود را در اختیار داشته و می­‌توانند آن‌ها را تغییر دهند. در این نوع یکپارچه سازی، دید واحدی برای تمامی کاربران بر روی تمامی داده ها در نظر گرفته نشده است.
  • یکپارچه­ سازی مبتنی بر نرم افزار[15]-  این نوع یکپارچه سازی، نیازمند ایجاد نرم افزاری برای پیاده سازی فرآیند Data Integrationست. این رویکرد، تنها در تعداد محدودی از کاربردها قابل پیاده سازی است.
  • یکپارچه­ سازی مبتنی بر میان‌­افزار[16]- این شیوه، منطق حاکم بر فرآیند یکپارچه سازی داده ها را از سطح برنامه­‌های کاربردی به سطح جدیدی که مبتنی بر میان افزار است، تغییر می­‌دهد. اگرچه در این رویکرد، بر خلاف روش مبتنی بر نرم افزار، پایه یکپارچه سازی داده ها مبتنی بر برنامه‌­های کاربردی شکل نمی­‌گیرد، اما هم‌چنان به برنامه‌­هایی برای انجام فرآیند یکپارچه سازی داده ها نیاز است.
  • دسترسی واحد به داده­ ها[17] یا یکپارچه­ سازی مجازی[18]- در این روش، داده ها همچنان در سیستم‌­های منبع نگهداری می­‌شوند، اما برای کاربران و کارکنان مختلف در سطوح متفاوت کسب و کار، سطوح متفاوتی از دسترسی به آن داده ها تعریف می‌­شود. به‌طور مثال تنها وقتی که کاربر به اطلاعات مشتری­‌های کسب و کار اجازه دسترسی دارد، جزئیات اطلاعات آن‌ها در اختیار وی قرار خواهد گرفت. مزیت اصلی یکپارچه سازی مجازی داده ها، نبود فاصله بین به‌روزرسانی دیدهای تعریف شده برای کاربران و در نتیجه کاهش ریسک عدم تطابق داده ها در سیستم منبع و دیدهای تعریف شده برای کاربران است. به‌علاوه در این روش، نیازی به منابع اضافی برای ذخیره داده های مربوط به دیدهای تعریف شده برای هر یک از کاربران به صورت مستقل از هم نیست. در نقطه مقابل، از نقاط ضعف این روش می­‌توان به محدودیت در دسترسی به تاریخچه داده ها، محدودیت در مدیریت نسخه‌­های مختلف داده ها و محدودیت در اعمال این روش بر طیف وسیع و متفاوتی از منابع و پایگاه‌­های داده­‌ای اشاره کرد. از سوی دیگر، دسترسی مستقیم به داده های موجود در سیستم­‌های منبع، برای این سیستم‌­ها ایجاد سربار خواهد کرد.
  • یکپارچه­ سازی فیزیکی داده‌­ها[19] یا مبتنی بر ذخیره­‌سازی مشترک داده ها[20]- در این شیوه، یک کپی از داده های موجود در سیستم منبع، در یک سیستم جداگانه نگهداری شده و تغییرات انجام شده از سوی کاربران، بر داده های ثانویه اعمال می‌­شود. از شناخته شده ترین نمونه­‌های این رویکرد می­‌توان انباره داده را نام برد. از مزایای این روش می­‌توان به امکان مدیریت نسخه‌­های مختلف داده ها و ترکیب داده های موجود در منابع متفاوت (کامپیوترهای بزرگ، پایگاه­‌های داده‌­ای، یا فایل­‌های ساختارنیافته) با یکدیگر اشاره کرد.
    با وجود این مزایا، باید به این نکته نیز اشاره کرد که یکپارچه سازی فیزیکی داده ها نیازمند سیستمی مستقل برای کنترل حجم بالای داده ها می‌باشد.

[1] Data Integration

[2] Business Requirements Specification (BRS)

[3] Support Model

[4] Service-level Agreement (SLA)

[5] Update notification

[6] Incremental extracts

[7] Non-functional requirements

[8] System response time

[9] Software Requirements Specification (SRS) document

[10] Feasibility study

[11]at Least Performance Stress test (PST)

[12] Technical Acceptance Testing (TAT)

[13] User Acceptance Testing (UAT)

[14] Common User Interface

[15] Application Based Integration

[16] Middleware Data Integration

[17] Uniform Data Access

[18] Virtual Integration

[19] Physical Data Integration

[20] Common Data Storage

 

منبع: وب سایت Data Integration Info

خواندن 2150 دفعه آخرین ویرایش در جمعه, 27 بهمن 1396 18:17
مهدی خوشنویس

مدیر گروه هوش کسب و کار ایرانیان

بیش از 7 سال سابقه آموزش، مشاوره و پیاده سازی راهکارهای BI

 

مدرس و مدیر پروژه های هوش تجاری ( هوش کسب و کار ) شرکت پلاک آبی

متخصص در آموزش، پیاده سازی و اجرای راهکارهای Oracle

کارشناس مهندسی کامپیوتر، نرم افزار از دانشگاه فردوسی مشهد

  • هیچ نظری یافت نشد

نظر خود را اضافه کنید.

ارسال نظر به عنوان مهمان

0
نظر شما به دست مدیر خواهد رسید
 تماس با ما

شهرک غرب، بلوار فرحزادی، خیابان تربیت معلم،
انتهای خیابان گلبان،
مجتمع موج، واحد 105
کد پستی: 1998963193
تلفن: 5 - 88560784
فکس: 88560786
پست الکترونیک:
info @ p l a c a b i . com
ibig @ p l a c a b i . com

 

We use cookies to improve our website. By continuing to use this website, you are giving consent to cookies being used. More details…