پايان نامه بررسي ومطالعه ي كامل داده كاوي و داده كاوي با SQL SERVER2005 پياده سازي آن روي بانك اطلاعاتي دانشگاه آزاد 

چكيده

بررسي ومطالعه ي كامل داده كاوي و داده كاوي با SQL SERVER2005 

پياده سازي آن روي بانك اطلاعاتي دانشگاه آزاد قوچان 

     امروزه با گسترش سيستم هاي پايگاهي و حجم بالاي داده ها ي ذخيره شده در اين سيستم ها ، نياز به ابزاري است تا بتوان داده هاي ذخيره شده را پردازش كرد و اطلاعات حاصل از اين پردازش را در اختيار كاربران قرار داد.

   داده كاوي يكي از مهمترين روش ها ي كشف دانش است كه به وسيله آن الگوهاي مفيد در داده ها با حداقل دخالت كاربران شناخته مي شوند و اطلاعاتي را در اختيار كاربران و تحليل گران قرار مي دهند تا براساس آنها تصميمات مهم و حياتي در سازمانها اتخاذ شوند.داده كاوي را تحليل گران با اهداف گوناگوني از قبيل كلاس بندي, پيش بيني, خوشه بندي ,تخمين انجام مي دهند. براي كلاس بندي, مدل هاو الگوريتم هايي مانند قاعده ي بيز, درخت تصميم, شبكه ي عصبي, الگوريتم ژنتيك مطرح شده است.براي پيش بيني مدل رگرسيون خطي ومنطقي و براي خوشه بندي الگوريتم هاي سلسله مراتبي و تفكيكي,  وبراي تخمين مدل هاي درخت تصميم و شبكه ي عصبي  مطرح مي شود. در فصل دوم و سوم با الگوريتم ژنتيك كه يكي از الگوريتم هاي داده كاوي و با شبكه ي عصبي كه يكي از مدل هاي داده كاوي هستند آشنا مي شويم .درفصل چهارم به محاسبات نرم و برخي از اجزاي اصلي ان و نقش آنها در داده كاوي مي پردازيم.

    در فصل پنجم با ابزارهاي داده كاوي آشنا مي شويم . براي داده كاوي ابزارهاي متنوعي وجود دارد. مي توان ابزارداده كاوي را با تطبيق آن ابزار با داده هاي مسئله و با توجه به محيط داده اي كه مي خواهيد از آن استفاده كنيد، و امكاناتي كه آن ابزار دارد انتخاب كنيد.وسپس به داده كاوي با SQLSERVER2005 مي پردازيم .ودرفصل ششم به داده كاوي با SQL SERVER2005  روي بانك اطلاعاتي دانشگاه آزاد قوچان پرداختيم.

 كلمات كليدي ،كلاس بندي ، خوشه بندي ، پيش بيني ، تخمين

 1-1-مقدمه

     امروزه با گسترش سيستم هاي پايگاهي و حجم بالاي داده ها ي ذخيره شده در اين سيستم ها ، نياز به ابزاري است تا بتوان داده هاي ذخيره شده را پردازش كرد و اطلاعات حاصل از اين پردازش را در اختيار كاربران قرار داد .با استفاده از ابزارهاي گوناگون گزارش گيري معمولي ، مي توان اطلاعاتي را در اختيار كاربران قرار داد تا بتوانند به نتيجه گيري در مورد داده ها و روابط منطقي ميان آنها بپردازند اما وقتي كه حجم داده ها خيلي بالا باشد ، كاربران هر چند زبر دست و با تجربه باشند نمي توانند الگوهاي مفيد را در ميان حجم انبوه داده ها تشخيص دهند و يا اگر قادر به اين كار هم با شوند ، هزينه عمليات از نظر نيروي انساني و مادي بسيار بالا است .از سوي ديگر كاربران معمولا فرضيه اي را مطرح مي كنند و سپس بر اساس گزارشات مشاهده شده به اثبات يا رد فرضيه مي پردازند ، در حالي كه امروزه نياز به روشهايي است كه اصطلاحا به كشف دانش بپردازند يعني با كمترين دخالت كاربر و به صورت خودكار الگوها و رابطه هاي منطقي را بيان نمايند .

   داده كاوي  يكي از مهمترين اين روش ها است كه به وسيله آن الگوهاي مفيد در داده ها با حداقل دخالت كاربران شناخته مي شوند و اطلاعاتي را در اختيار كاربران و تحليل گران قرار مي دهند تا براساس آنها تصميمات مهم و حياتي در سازمانها اتخاذ شوند .

1-2-عامل مسبب پيدايش داده كاوي

    اصلي ترين دليلي كه باعث شده داده كاوي كانون توجهات در صنعت اطلاعات قرار بگيرد، مساله در دسترس بودن حجم وسيعي از داده ها و نياز شديد به اينكه از اين داده ها, اطلاعات و دانش سودمند استخراج كنيم. اطلاعات و دانش بدست آمده در كاربردهاي وسيعي مورد استفاده قرار مي گيرد.

    داده كاوي را مي توان حاصل سير تكاملي طبيعي تكنولوژي اطلاعات دانست، كه اين سير تكاملي ناشي از يك سير تكاملي در صنعت پايگاه داده مي باشد، نظير عمليات جمع آوري داده ها وايجاد پايگاه داده، مديريت داده و تحليل و فهم داده ها.

   تكامل تكنولوژي پايگاه داده و استفاده فراوان آن در كاربردهاي مختلف سبب جمع آوري حجم فراواني داده شده است. اين داده هاي فراوان باعث ايجاد نياز براي ابزارهاي قدرتمند براي تحليل داده ها گشته، زيرا در حال حاضر به لحاظ داده ثروتمند هستيم ولي دچار كمبود اطلاعات مي باشيم.

   ابزارهاي داده كاوي داده ها را آناليز مي كنند و الگوهاي داده ها را كشف مي كنند كه مي توان از آن در كاربردهايي نظير تعيين استراتژي براي كسب و كار، پايگاه دانش و تحقيقات علمي و پزشكي، استفاده كرد. شكاف موجود بين داده ها و اطلاعات سبب ايجاد نياز براي ابزارهاي داده كاوي شده است تا داده هاي بي ارزش را به دانشي ارزشمند تبديل كنيم .

1

-3-داده كاوي و مفهوم  اكتشاف دانش    (K.D.D) 

   با حجم عظيم داده هاي ذخيره شده در فايلها، بانكهاي اطلاعاتي و ساير بانك هاي داده اي، توسعه ي ابزارهايي براي تحليل و شايد تفسير چنين داده هايي و براي استخراج علوم شگفت انگيزي كه مي توانند در تصميم گيري مفيد باشند، امري بسيار مهم و ضروري است. داده كاوي با عنوان كشف دانش در پايگاه هاي داده (KDD) شناخته مي‌شود. كشف علومي كه قبلا ناشناخته بوده‌اند و اطلاعاتي كه در بانكهاي اطلاعاتي موجود بوده و ذاتا بالقوه و مفيد هستند.

   با وجود آنكه داده كاوي و كشف دانش در پايگاه‌هاي داده مترادف همديگر هستند، ولي در اصل، داده كاوي ذاتاً بخشي و تنها قسمتي جزئي از فرآيند كشف دانش است. فرآيند كشف دانش در بر گيرنده ي چندين مرحله مي باشد كه از اطلاعات خام، گونه هايي از علوم جديد را بدست مي دهد. مراحل كشف دانش به قرار زير است:

1- پاكسازي داده ها  : در اين فاز داده هاي اضافي و نامربوط از مجموعه داده ها حذف مي شوند.(داده هاي ناكامل) [2]

 2-يكپارچه سازي داده ه  : چندين منبع داده تركيب مي شوند،

   3-انتخاب داده ها : انبار داده ها شامل انواع مختلف و گوناگوني از داده ها است كه همه آنها در داده كاوي مورد نياز نيستند . براي فرايند داده كاوي بايد داده ها ي مورد نياز انتخاب شوند . به عنوان مثال در يك پايگاه داده هاي مربوط به سيستم فروشگاهي ، اطلاعاتي در مورد خريد مشتريان ، خصوصيات آماري آنها ، تامين كنندگان ، خريد ، حسابداري و ... وجود دارند . براي تعيين نحوه چيدن قفسه ها تنها به داده ها يي در مورد خريد مشتريان و خصوصيات آماري آنها نياز است . حتي در مواردي نياز به كاوش در تمام محتويات پايگاه نيست بلكه ممكن است به منظور كاهش هزينه عمليات ، نمونه هايي از عناصر انتخاب و كاوش شوند .

   4-تبديل داده ها : هنگامي كه داده هاي مورد نياز انتخاب شدند و داده هاي مورد كاوش مشخص گرديدند، معمولا به تبديلات خاصي روي داده ها نياز است. نوع تبديل به عمليات و تكنيك داده كاوي مورد استفاده بستگي دارد، تبديلاتي ساده همچون تبديل نوع داده اي به نوع ديگر تا تبديلات پيچيده تر همچون تعريف صفات جديد با انجام عملياتهاي رياضي و منطقي روي صفات موجود.