۲ مطلب با کلمه‌ی کلیدی «دیتا ماینینگ» ثبت شده است

داده کاوی چیست؟

داده کاوی یک فعالیت میان رشته ای مابین علوم کامپیوتر و آمار است و هدف اصلی آن کشف رابطه بین انبوه داده ها با هدفی است که قبلا تعیین شده باشد. یک مثال بسیار ساده در داده کاوی، این است که یک شرکت بخواهد از میان تمام مشتریانی که تاکنون خرید کرده اند، آنهایی که احتمال بیشتری برای خرید محصول جدید دارند را شناسایی کند. در شکتهای تجاری، مهموا داده کاوی در خدمت استراتژی های درآمدی شرکت است.

مراحل داده کاوی:

1. مشخص کردن هدف (مثلا شناسایی مشتریان).
2. جمع آوری داده از تمام زیرساخت های در اختیار (مثلا تمام بانکهای اطلاعاتی شرکت).
   توجه: برای داده کاوی باید حجم داده ها به قدری بزرگ باشد که بتوان از آن نتیجه ای را استخراج کرد.
3. مرتب سازی و یکسان سازی داده ها (تمام داده ها از یک نوع باشند مثلا در یک جدول اکسل نمی توان داده های صوتی یا تصویری را درج کرد).
4. اصلاح یا حذف داده های مخدوش.
5. پیدا کردن رابطه ها (مثلا مشتریانی که شماره موبایل آنها 0912 است یا در سال گذشته یخچال خریده اند).
6. حذف داده های زائد (سایر داده های نامرتبط با موضوعی که درمورد آن تحقیق می کنیم حذف می شوند).
7. پس از کسب خروجی از فرایند فوق، کیفیت و صحت نتایج مورد ارزیابی و تست قرار می گیرد.
8. ذخیره سازی نتایج و استفاده از آنها با اهدافی که از ابتدا مشخص شده بود.
9. اتوماتیک سازی این فرایند از طریق برنامه نویسی (درصورتیکه کاربرد آن دایمی باشد).
10. در بسیاری از موارد، هدف از داده کاوی این است که بتواند داده های آماری را به صورت لحظه ای (Real-time) تبدیل به نمودارها و گزارشات کند تا بتوان از آن در سیستم های گزارش دهی (مانند هوش تجاری) استفاده کرد.

بر اساس نظریات: لاول، پیاتتسکی، شاپیرو، آزودو، سانتوس، ویگن، کلیفتون، کامبر، ویتن، بوکارت، هلمز، چارمزا، ددمن، پارکر

اهداف داده کاوی:

داده کاوی ممکن است با اهداف زیر انجام شود:

1. تشخیص اتفاقاتی که رخداد آنها عمومیت ندارد و کشف دلایل آنها: مثلا در دو سال گذشته، تماس مشتریان خارجی با شرکت 100% افزایش داشته است و دلیل آن نامشخص است. بعدا کشف می شود که به دلیل رشد ارز دلار، هزینه تولید در ایران بسیار پایینتر از کشورهای دیگر است و مشتریان متمایل به خرید از تولیدکنندگان ایرانی شده اند.
2. کشف ارتباطات بین اتفاقات: مثلا ممکن است یک فروشگاه اینترنتی متوجه شود که معمولا 20% از مشتریانی که دستگاه اسپرسوساز می خرند، به دنبال تمپر نیز می گردند اما از این 20% اکثر کسانی که تمپر را در فروشگاه می بینند آنرا می خرند. این تحلیل نشان می دهد که اکثر مشتریان به تمپر نیاز دارند اما ممکن است نام یا کاربرد آنرا ندانند و اگر به ایشان معرفی شود، به احتمال بسیار زیاد می خرند.
3. خوشه بندی: یعنی بتوان تمام داده ها را بر اساس مشترکات به دسته هایی که دارای مشابهت تقسیم کرد. مثلا مشتریان شهرستانها را به دسته هایی تقسیم کرده و برای هرکدام برنامه هایی متناسب با همان موقعیت جغرافیایی تنظیم نمود.
4. طبقه بندی داده ها: معیارهای طبقه بندی ممکن است به عوامل بسیاری مرتبط باشد. یک مثال واضح از این عملکرد، زمانی است که یک سیستم ایمیل بخواهد نامه های الکترونیکی را به هرزنامه و صحیح تقسیم کند. در این زمان معمولا به ماهیت ارسال کننده توجه می کند مثلا سرویس های ارسال ایمیل انبوه از پروتکل SMTP استفاده می کنند تا به سیستم های ایمیل بگویند که ارسال پیامها از یک سرویس معتبر انجام می شود.
5. خلاصه سازی: در بسیاری از موارد، هدف از داده کاوری این است که بتواند یک گزارش کوتاه (شاید در حد یک نمودار خطی) از انبوه داده ها ارائه کند تا جهت کلی حرکت را نشان دهد.
6. رگرسیون: رگرسیون یک الگوریتم پرکاربرد در داده کاوی و یادگیری ماشین است. هدف اصلی رگرسیون، پیش‌بینی یک متغیر وابسته با توجه به یک یا چند متغیر مستقل است. رگرسیون به دو نوع تقسیم می‌شود: خطی و غیرخطی. در رگرسیون خطی، فرض بر این است که رابطه بین متغیرهای وابسته و مستقل به صورت خطی است. در رگرسیون غیرخطی، رابطه بین متغیرهای وابسته و مستقل به صورت غیرخطی است. مثال دیگری از کاربرد رگرسیون، پیش‌بینی حجم فروش یک محصول به وابستگی به عواملی مانند قیمت، تبلیغات، فصل، منطقه جغرافیایی و ... است. با جمع‌آوری داده‌های مربوط به فروش‌های گذشته و تحلیل رابطه بین این عوامل و حجم فروش، می‌توانیم با استفاده از الگوهای یافت شده، پیش‌بینی حجم فروش در آینده را انجام دهیم. در کل، رگرسیون یکی از قدرتمندترین روش‌های پیش‌بینی و پیش‌بینی خطاست و به همین دلیل در بسیاری از صنایع و کاربردهای داده کاوی مورد استفاده قرار می‌گیرد.

بر اساس نظریات: لاول، پیاتتسکی، شاپیرو، آزودو، سانتوس، ویگن، کلیفتون، کامبر، ویتن، بوکارت، هلمز، چارمزا، ددمن، پارکر