داده کاوی (DM) چیست ؟

تکنیک های داده کاوی

شبکه ی عصبی ژنتیکی بر اساس داده کاوی در پیش بینی بیماری های قلبی بوسیله ی عوامل خطر 

این شیوه بسیاری کاربردهای متعددی همچون افزایش عواید، جلوگیری از سرقت، نجات انسانها، تشخیص بیماری، تحلیل بازار، تصمیم گیری بهتر، پیش بینی رفتار مشتری، هشدار درباره معاملات فریب دهنده و غیره سودمند هستند.

برای مثال، طبقه بندی به کشف ویژگیهای مشتریانی که احتمال دارد ترک کنند کمک مینماید، و قادر است مدلی را فراهم آورد که برای پیش بینی آنها مورد استفاده قرار گیرد. همچنین این شیوه به شناسایی آن دسته از تبلیغاتی که در نگه داشتن و حفظ این دسته از مشتریان موثر بوده نیز کمک میکند. تمرکز اصلی این پژوهش در استفاده از یک شیوه یادگیری ماشینی نظارت نشده بنام خوشه بندی برای طبقه بندی کردن داده های مشاهده نشده در محیط طبقه بندی پویا در گروه های مناسب است. در مسئله طبقه بندی پویا، داده ها در الگویی بهنگام فرا میرسد و از دسته بندی کننده انتظار میرود که آنها را فورا طبقه بندی کند. الگوریتم طبقه بندی در این مقاله با استفاده از نوعی مکانیسم یادگیری نظارت نشده ارزیابی میشود، که در آن داده های آموزشی طبقه بندی نشده بر مبنای شباهت دسته بندی میشوند. از زمانیکه که نوعی خوشه بندی قابل قبول با استفاده از شباهتها و تفاوتها در مجموعه داده های آموزشی پیدا شده است، خوشه بندی با به کارگیری یک شیوه طبقه بندی به دسته بندی کننده تبدیل میشود. در رویکرد ما، این خوشه ها طبقه بندی میشوند، و مورد جدید با عنوان خوشه به موردی که بیشترین شباهت را به آن دارد طبقه بندی میشود.
بهرحال، نوع دسته بندی کننده که بایستی برای شناسایی گروه داده ها استفاده شود در یک برنامه کاربردی آنلاین هدف قرار میگیرد که در آنجا محیط ماهیتا بسیار حساس است. برای مثال، در یک سیستم تشخیص نفوذ، شناخت نادرست یک حمله ممکن است بسیار پرهزینه باشد. اکثر رویکردهای طبقه بندی موجود که بسیار دقیق گزارش شده اند براساس مجموعه داده های مبنا مورد آزمون قرار گرفته اند. متاسفانه، توجه اندکی به بررسی نمونه های واقعی تر معطوف شده است، یعنی واقعیت این است که کاربردهای زندگی واقعی با منبع داده های پویا توصیف میشوند. بنابراین امکان ایجاد یک مدل داده کاوی جامع با استفاده از یک مجموعه آموزشی وجود ندارد ولی تمام مدت قادر به کارکردن با دقت بالا است. بعبارت دیگر، مشکل مدل دسته بندی کننده مرسوم این است که این مدل احتمالا با داده های جدید خیلی ضعیف عمل میکند که این امر از الگوهایی که این مدل با آن اموزش یافته است متفاوت است. این بدان علت است که این مدل تغییر نمیکند یا از داده های جدیدی آموزش میگیرند، درحالیکه این داده ها اغلب در طول زمان در کاربردهای مربوط به زندگی واقعی تغییر میکند.(سیارک)

تجزیه و تحلیل گروهی یکی از روش های پایه است که معمولا در تحلیل مجموعه های عظیم اطلاعاتی از آن استفاده می شود. بیشتر الگوریتم های تجزیه و تحلیل گروهی که منشا آن ها در علم آمار است، در اصل برای مجموعه های کوچک اطلاعات ایجاد شده اند. در سال های گذشته، الگوریتم های گروهی گسترده تر شده اند تا برای کار با مجموعه های بزرگ تر اطلاعاتی مناسب شوند. آنها همچنین قادر به دسته بندی گروهی بردار های چند وجهی هستند 
تجزیه و تحلیل درختی تصمیم گیری، روش داده کاوی محبوب دیگری است که می توان از آن در اکثر فعالیت های آماری استفاده کرد.

روند داده کاوی

داده کاوی، تکنیک های فراگیری ماشینی را با شناسایی الگو، آمار، نظریه پایگاه اطلاعت و نمودار ترکیب می کند تا به صورت خودکار مفاهیم و رابطه ی درونی مفاهیم و همچنین الگو های جالب را از پایگاه داده ها استخراج کند. اولین هدف آن استخراج اطلاعات به منظور کمک به روند تصمیم گیری است. داده کاوی دو وظیفه ی اصلی دارد: 1. پیش بینی، که شامل پیدا کردن مقادیر، روابط، الگو های ناشناخته است.2. توصیف، که به تفسیر پایگاه اطلاعاتی بزرگ می پردازد.
به طور کلی روند داده کاوی شامل مراحل زیر است:
مرحله 1: بدست آوردن اطلاعات. مرحله اول انتخاب نوع داده برای استفاده است. اگرچه در برخی از برنامه ها، مجموعه ای از داده های هدف به منظور کشف به وجود آمده اند ، اما داده کاوی می تواند بر روی نمونه هایی از زیر مجموعه های متغیر اطلاعات در پایگاه های بزرگتر کار کند.
مرحله 2: پیش پردازش اطلاعات. زمانی که داده های هدف تعیین شدند، این داده ها پیش پردازش می شوند تا قسمت های اضافی و به درد نخور آنها از بین برود و برای کشف موثر اطلاعات از درون آنها، اصلاح می گردند. در طی این مرحله ی پردازشی، ارتقا دهندگان پارازیت ها و ناهماهنگی ها را حذف می کنند و در صورت نیاز راجع به داده های مفقود شده با استفاده از ترتیب زمانی داده ها و تغییرات مشخص، تصمیم می گیرند. علاوه بر این ها، معمولا داده ها را از نوعی به نوع دیگر تبدیل می کنند تا تعداد متغیر های در نظر گرفته شدن را کاهش دهند( به عنوان مثال،تبدیل مقادیر مطلق به مقادیر عددی) و یا ممکن ویژگی های جدیدی از داده ها بیرون بکشند ( از طریق عملیات های ریاضی و استدلالی).
مرحله 3: کشف اطلاعات و مدل سازی. سومین مرحله ی داده کاوی (DM)، مربوط به مجموعه ای از فعالیت ها برای تصمیم گیری راجع به نوع عملیات داده کاوی، انتخاب روش داده کاوی، انتخاب الگوریتم داده کاوی و در آخر، داده کاوی است. ابتدا باید نوع عملیات داده کاوی انتخاب شود.

عملیات داده کاوی شامل:

رده بندی، رگرسیون، تقسیم بندی، تجزیه و تحلیل پیوسته و شناسایی انحراف است . بر اساس عملیات انتخاب شده برای کاربرد مورد نظر، تکنیک داده کاوی مناسب نیز انتخاب می شود. زمانی که تکنیک داده کاوی انتخاب می شود ، گام بعدی انتخاب الگوریتمی خاص در درون آن تکنیک است. انتخاب الگوریتم داده کاوی، دربردارنده ی روشی برای جست و جوی الگو در اطلاعات است، مثل تصمیم راجع به اینکه کدام مدل و پارامتر ها با توجه به هدف کلی داده کاوی، برای تکنیک خاصی از داده کاوی مناسب است. پس از انتخاب الگوریتم مناسب، اطلاعات بلاخره کاویده می شوند و از الگوریتم برای استخراج الگو های جدید پنهان شده در پایگاه های اطلاعاتی استفاده می گردد.
مرحله 4: تفسیر و ارزیابی. چهارمین مرحله در روند داده کاوی، تفسیر و ارزیابی الگو های کشف شده است. این کار شامل فیلتر کردن اطلاعات برای از بین بردن الگو های اضافی و بی ربط است و همچنین الگو های مفید را به صورت گرافیکی و منطقی به تصویر می کشد و آنها را به مفاهیم قابل استفاده برای کاربران ترجمه می کند. در تفسیر نتایج، با توجه به اطلاعاتی که از پیش داریم، هرگونه تناقض را مشخص و رفع می کنیم یا تمامی مراحل را دوباره انجام می دهیم.همچنین اطلاعات استخراج شده را از نظر مفید بودن در تصمیم گیری و هدف تجاری ارزیابی می کنند. سپس از اطلاعات بدست آمده برای حمایت از تصمیم گیری انسان، مثل پیش بینی و توضیح وقایع مشاهده شده استفاده می شود. نباید روند 4 مرحله ای کشف اطلاعات را خطی پنداشت، چرا که روندی متقابل و مکرر است.

عملیات های داده کاوی

با فرض این که شما مجموعه ای از داده ها را برای داده کاوی آماده کرده اید، شما باید مقیاس مطالعه ی خود را تعریف کنید و موضوع مطالعه را انتخاب نمایید. که به آن انتخاب عملیات داده کاوی می گویند.
عملیات داده کاوی 5 نوع است: رده بندی، رگرسیون، تقسیم بندی، تجزیه و تحلیل پیوسته و شناسایی انحراف. رده بندی و رگرسیون در پیش بینی کاربرد دارند در حالی که از تجزیه و تحلیل پیوسته، تقسیم بندی و شناسایی انحراف به منظور توصیف الگوهای موجود در اطلاعات استفاده می شود. استفاده از داده کاوی معمولا نیازمند ترکیبی از دو یا چند عملیات داده کاوی است.

رده بندی

هدف از رده بندی ایجاد مدلی است که جایگاه اطلاعات را در یکی از چند رده ی از پیش تعیین شده، نشان می دهد. زمانی که مدل ایجاد شود از آن برای رده بندی نمونه ی جدید استفاده می شود. مثال ها شامل رده بندی الگوهای ورشکستگی بر اساس سهام مالی شرکت و الگو های خرید مشتری بر اساس اطلاعات آمارگیری نفوس می باشد که به منظور تبلیغ برای یافتن مشتریان مناسب و فروش موثر انجام می شود.

رگرسیون

این عملیات مدلی می سازد که داده ها را به صورت متغیر های واقعی پیش بینی شده نشان می دهد. مدل ها با استفاده از روش های مرسوم آماری مثل رگرسیون خطی و لوجستیک ایجاد می شوند. از رده بندی و رگرسیون برای پیش بینی استفاده می شود. وجه تمایز این دو مدل این است که متغیر خروجی رده بندی به صورت مطلق است، در حالی که متغیر خروجی رگرسیون، عددی و متوالی است. موارد ذیل از مثال های رگرسیون می باشد: پیش بینی تغییر بین ین ژاپن و بازار وابسته دولت؛ میزان جرم در شهر بر اساس توصیف متغیر های ورودی مختلف مثل جمعیت، میانگین سطح درآمد و سواد.

تجزیه و تحلیل پیوسته

از تجزیه و تحلیل پیوسته در ایجاد ارتباط بین اطلاعات ثبت شده در پایگاه اطلاعاتی استفاده می شود. معمولا کاربرد آن در تجزیه و تحلیل سبد خرید است. که از این تکنیک در تجزیه و تحلیل اطلاعات تراکنش بازار ها استفاده می شود تا وابستگی های محصول شناسایی شود. فروشگاه های خرده فروشی معمولا به فروختن اجناس به همراه اجناس دیگر علاقه دارند( مثل پوشک بچه و شیر خشک)، بنابراین این تکنیک می تواند به منظور بازاریابی موثر، فروش محصول ها باهم را تعیین کند. کاربرد دیگر می تواند روابط بین عمل های پزشکی را با تحلیل کردن فرم های درخواست ارائه شده به شرکت بیمه ،پیدا کند. تجزیه و تحلیل پیوسته معمولا در رابطه با تقسیم بندی پایگاه اطلاعات به کار گرفته می شود.

تقسیم بندی

هدف از تقسیم ،بندی، یافتن گروهی از اطلاعات است که رفتار و ویژگی های نهفته مشابهی دارند. گروه ها ممکن است متقابلا منحصر به فرد و جامع باشند و یا ممکن است مثالی از طبقه بندی های سلسه مراتبی یا اشتراکی باشند. مثال ها شامل کشف گروه مشابهی از مشتریان در پایگاه اطلاعاتی بازاری و تقسیم بندی اطلاعات ثبت شده در طی فروش روز مادر و روز پدر، می باشد. معمولا وقتی که اطلاعات تقسیم بندی شوند، از تجزیه و تحلیل پیوسته در هر قسمت استفاده می شود تا وابستگی بین اطلاعات در هر گروه را شناسایی گردد.( سیارک)

شناسایی انحراف

این عملیات بر کشف انحرافات جالب توجه متمرکز است. 4 نوع انحراف وجود دارد:
*الگوهای همیشگی که با طبقه بندی های از قبل اندازه گیری شده یا عددی هم خوانی ندارند.
*تغییرات چشمگیر در اطلاعات در طی بازه های زمانی مختلف
*اطلاعات دور افتاده در مجموعه ی داده ها( اطلاعات ثبت شده ای که به هیچ یک از گروه ها تعلق ندارند.
*اختلاف بین مشاهده و مرجع.

شناسایی انحراف معمولا پس از تقسیم بندی پایگاه اطلاعاتی انجام می شود تا اختلالات یا خسارات غیر عادی را شناسایی کند. شناسایی انحراف معمولا منبع اصلی اکتشاف است ،چرا که انحراف نشان دهنده ی نامتعارفی نسبت به انتظارات و معیار های شناخته شده است.این مقاله ادامه دارد............ ترجمه  itrans.ir

 تکنیک های بدون ساختار داده کاوی

محتوا کاوی را می توان بر روی داده های بدون ساختار مانند متن انجام داد. استخراج داده های بدون ساختار، اطلاعاتی ناشناخته را ارائه می دهد. متن کاوی، از اطلاعات ناشناخته پیشین با استخراج اطلاعات از منابع متنی مختلف استخراج می شود. محتوا کاوی، در استفاده از تکنیک های داده کاوی و متن کاوی مورد نیاز است . محتوا کاوی پایه، یک نوع از متن کاوی می باشد. برخی از تکنیک های مورد استفاده در متن کاوی، استخراج اطلاعات، ردیابی موضوع، خلاصه سازی، طبقه بندی، کلاسترینگ(خوشه بندی) و تجسم اطلاعات هستند.

استخراج اطلاعات

برای استخراج اطلاعات از داده های بدون ساختار، تطبیق الگو استفاده می شود. این کلمات کلیدی و اصطلاحات را دنبال می کند و پس از آن به ارتباط کلمات کلیدی با متن پی می برد. این روش بسیار مفید است زمانی که حجم زیادی از متن وجود دارد. اینترنت اکسپلورر، اساس بسیاری از تکنیک های دیگر استفاده شده برای استخراج بدون ساختار است. استخراج اطلاعات می تواند برای متد KDD ارائه شود چون که استخراج اطلاعات برای تبدیل متن بدون ساختار به داده های ساخت یافته دیگر است. ابتدا اطلاعات از داده ها استخراج شده، استخراج می شوند و پس از آن با استفاده از انواع مختلف قوانین، اطلاعات از دست رفته یافت می شوند. اینترنت اکسپلورر باعث می شود که پیش بینی های نادرست بر روی داده ها، رد شوند.این مقاله ادامه دارد.......

داده کاوی (DM) چیست ؟

ترجمه  itrans.ir

 (سیارک) تکنیک های داده کاوی به شکل گسترده ای در سیستم های پشتیبانی تصمیم گیری درمانی برای پیش بینی و تشخیص بیماری های مختلف با دقت مناسب استفاده شده است. به دلیل توانایی آنها در شناسایی الگوها و روابط پنهان بین داده های پزشکی، این تکنیک ها در طراحی سیستم های پشتیبانی درمانی بسیار موثر واقع شده اند. یکی از مهمترین کاربردهای چنین سیستم هایی در شناسایی بیماری های قلبی نهفته است، چراکه این بیماری یکی از عوامل اصلی مرگ و میر در دنیا است. تقریبا تمام سیستم هایی که بیماری های قلبی را پیش بینی می کنند از مجموعه داده های درمانی با پارامترها و ورودی ها از آزمایش های پیچیده ی استفاده می کنند. هیچکدام از این سیستم ها، بیماری های قلبی را بر اساس عوامل خطر مثل سن، سابقه ی خانوادگی، دیابت، فشار خون بالا، کلسترول بالا، مصرف دخانیات، مصرف الکل، چاقی، و یا کم فعالیتی فیزیکی تشخیص نمی دهند. بیماران قلبی بسیاری از این عوامل خطر را در خود دارند که می توان از آنها برای شناسایی بیماری استفاده کرد. سیستم های مبتنی بر چنین عوامل خطری نه تنها به افراد متخصص کمک می کند، بلکه می تواند هشدار به موقعی برای بیماران در مورد حضور احتمالی بیماری قلبی در وی قبل از حضور در بیمارستان یا انجام چکاپ های پرهزینه فراهم سازد. از این رو، این مقاله به ارائه تکنیکی برای پیش بینی بیماری های قلبی بوسیله عوامل خطر می پردازد. این تکنیک حاوی دو مورد از موفق ترین ابزارهای داده کاوی، شبکه های عصبی و الگوریتم های ژنتیکی می باشد. سیستم ترکیبی پیاده سازی شده از مزیت بهینه سازی جهانی الگوریتم ژنتیک برای تشکیل بارهای شبکه عصبی بهره می برد. یادگیری این الگوریتم در مقایسه با انتشار به عقب، سریع تر، پایدارتر و دقیق تر است. این سیستم در Matlab پیاده سازی شده است و بیماری های قلبی را با دقت 89 درصد پیش بینی می کند.

بیماری های قلبی عامل اول مرگ و میر در سطح جهان است. در سال 2008، حدود 17.3 میلیون نفر به دلیل بیماری های قلبی مردند که 20 درصد تمام مرگ ومیر ها را تشکیل می داد. از این مقدار، حدود 7.3 میلیون مورد به دلیل بیماری عروق کرونر بود و 6.2 میلیون مورد نیر به دلیل سکته رخ داده بود. تحقیقات اخیر در زمینه ی داروی توانسته عوامل خطری را شناسایی کند که به توسعه بیماری های قلبی کمک می کنند؛ با این حال، تحقیقات بیشتری برای استفاده از این دانش در کاهش رخداد بیماری های قلبی لازم است. دیابت، فشار خون و کلسترول بالا به عنوان عوامل خطرزای اصلی در بیماری های قلبی شناسایی شده اند.

عوامل خطر مربوطه به سبک زندگی مثل عادات غذایی، کم تحرکی، مصرف الکل و دخانیات و چاقی نیز از عوامل مهم بیماری های قلبی به حساب می آیند. مطالعات متعددی نشان می دهند که کاهش این عوامل خطر می تواند در جلوگیری از بیماری های قلبی تاثیر زیادی داشته باشد. تحقیقات زیادی بر روی جلوگیری از خطر بیماری های قلبی وجود دارد. داده ها از مطالعات جمعیت شناختی در پیش بینی بیماری های قلبی بر اساس فشار خون، عادات دخانی، سطوح کلسترول و فشار خون و دیابت موثر واقع شده اند. محققان از این الگوریتم های پیش بینی در قالب های سازگاریافته از برگه های امتیازدهی ساده سازی شده استفاده کرده اند تا بیماران بتوانند ریسک بیماری های قلبی خود را محاسبه کنند. نمره خطر فرامینگهام (FRS) یک معیار پیش بینی خطر است که در الگوریتم های پیش بینی بیماری های قلبی استفاده شده است.
این مطالعه با هدف توسعه ی یک سیستم داده کاوی هوشمند بر اساس شبکه های عصبی بهینه شده با الگوریتم ژنتیک برای پیش بینی بیماری قلبی بر اساس دسته بندی های عوامل خطر انجام شده است. این سیستم بوسیله MATLAB R2012a پیاده سازی شده است.

2. تکنیک های داده کاوی

تکنیک های داده کاوی برای کاوش، تحلیل و شناسایی داده های پزشکی بوسیله ی الگوریتم ها پیچیده برای کشف الگوهای نامشخص استفاده شده است. محققان از تکنیک های داده کاوی برای شناسایی بسیاری از بیماری ها همچون بیماری های قلبی، سکته، دیابت و سرطان استفاده می کنند. بسیاری از تکنیک های داده کاوی برای شناسایی بیماری های قلبی با دقتی مناسب استفاده شده است. محققان از تکنیک های داده کاوی مختلفی مثل بیزی، شبکه عصبی، درخت تصمیم گیری، چگالی کرنل و ماشین بردار پشتیبانی برای پیش بینی و تشخیص بیماری های قلبی استفاده کرده اند. یکی از این سیستم ها از دسته بندی یادگیری عصبی برای دسته بندی وظیفه های داده کاوی و نشان داد که این سیستم دسته بندی عملکردی مشابه به سیستم دسته بندی نظارتی دارد. سیستم پیش بینی حمله قلب موثر و هوشمند (IEHPS) بر اساس شبکه های عصبی و داده کاوی ساخته شده است و استخراج الگوهای قابل توجه برای پیش بینی بیماری قلبی بوسیله خوشه بندی K ابزاری را در دستور کار قرار داد. این سیستم از الگوریتم MAFIA برای کاوش الگوهای فراوان استفاده می کند. پولاتت و همکاران، بوسیله فازی ترکیبی و رویکرد k نزدیک ترین همسایه، یک سیستم برای پیش بینی بیماری های قلبی طراحی کردند که 87 درصد در شناسایی دقت داشت. در یک سیستم دیگر، شبکه ی عصبی برای شناسایی بیماری های قلبی با دقت 89.01 درصد بکار گرفته شد. لاتا و سابرامایان در سال 2007 یک سیستم پیش بینی بیماری های قلبی بوسیله الگوریتم ژنتیک و CANFIS پیشنهاد کردند که خطای میانگین مربعات آن پایین بود. با تحلیل تکنیک های مطرح شده، این مقاله به معرفی یک سیستم جدید با استفاده از الگوریتم های ژنتیکی و شبکه عصبی برای پیش بینی خطر بیماری های قلب پرداخته است. الگوریتم ژنتیک برای بهینه سازی شبکه عصبی استفاده شده است. در این مقاله، برای اولین یک الگوریتم ترکیبی بر روی عوامل خطر برای بهبود دقت پیش بینی بیماری های قلبی استفاده شده است. در نتیجه، هدف اصلی در اینجا، استفاده از این سیستم در پشتیبانی تصمیم گیری درمانی به عنوان شاخص ریسک است تا افراد بتوانند این ریسک ها را بدون ابتلا به بیماری های قلبی در آینده کاهش دهند.این مقاله ادامه دارد........ترجمه  itrans.ir