مقاله داده کاوی در وب
|
||||||||||||||
فهرست مطالب : فصل ۱- داده کاوی و وب ۱-مقدمه ۱-۱ کاوش داده روی وب ۱-۲ الگوهای USAGE MINING ۱-۳ Web Structure Mining ۱-۴ خلاصه فصل اول
فصل ۲ – پردازشها و تکنیکهای Web data mining ۲-مقدمه ۲-۱ پردازش web data mining ۲-۲ چرا data mining web ؟ ۲-۳ مراحل Data mining ۲-۴ چالشها ۲-۵ جنبه های واسط کاربر ۲-۶ خروجیها، متدها و تکنیکهای web data mining ۲-۷ خروجیهای data mining web ۲-۸ پیاده سازیهای data mining web ۲-۹ data mining در مقابل data mining web ۲-۱۰ خلاصه فصل دوم
فصل ۳- کاوش پایگاه داده های وب ۳- مقدمه ۳-۱ مفهوم کلی جستجوی پایگاه داده های وب ۳-۲ توابع مدیریت پایگاه داده وب و داده کاوی ۳-۳ اشتراک داده در مقابل داده کاوی در وب ۳-۴ کاوش پایگاههای داده نیمه ساختیافته ۳-۵ Web mining و Meta data ۳-۶ کاوش پایگاه داده های توزیع شده، ناهمگن ، وراثتی و متحد در وب ۳-۷ معماریها و web data mining ۳-۸ خلاصه فصل سوم
فصل ۴-بازیابی اطلاعات و داده کاوی در وب ۴- مقدمه ۴-۱ موتورهای جستجوگر و web data mining ۴-۱-۱ موتورهای جستجوگر ۴-۱-۲ web data mining برای موتورهای جستجو ۴-۲ پویش داده های چند گانه وب ۴-۳ کاوش متن ۴-۴ کاوش تصویر ۴-۵ کاوش ویدئو ۴-۶ سیستم سوال/جواب و داده کاوی وب ۴-۷ زبانهایMark up و داده کاوی وب ۴-۸ خلاصه فصل چهارم
فصل ۵-مدیریت اطلاعات و داده کاوی وب ۵- مقدمه ۵-۱ مدیریت دانشها و داده کاوی وب ۵-۲ داده کاوی وب و آموزش (Training) ۵-۳ محاسبات بی سیم و داده کاوی وب ۵-۳ کیفیت سرویس و داده کاوی وب ۵-۳-۱ جنبه های دیگر ۵-۴ خلاصه فصل پنجم
فصل ۶- کاوش الگوهای کاربردی و ساختار روی وب ۶- مقدمه ۶-۱ خروجیها و تکنیکهای web usage mining ۶-۲ تحلیل web usage mining ۶-۳ CRM و کاربردهای تجارت هوشمند ۶-۴ کاوش ساختار روی وب ۶-۵ خلاصه فصل ششم جمع بندی نتیجه گیری مراجع
چکیده : در عصر حاضر Web Mining محیط اینترنت جهانی را تبدیل به محیطی کاربردی تر کرده است.که کاربران میتوانند سریعتر و راحتتر اطلاعات مورد نیازشان را پیدا کنند که شامل :کشف و تحلیل داده ، مستندات وmulti media از محیط اینترنت جهانی میباشد.Web Mining از جزئیات سند ومحتویات سند و ساختار Hyper Link برای کمک به کاربر جهت مشاهده اطلاعات مورد نیازش استفاده میکند. کلمات کلیدی: داده کاوی-Web Data Mining-موتورهای جستجو-جستجو داده در وب-طراحی وب-معماری موتور جستجو-CRM-Web Structure
در این قسمت از تماس و تاثیرWeb data mining روی تکنولوژیهای پشتیبانی صحبت خواهیم کرد. در این فصل یک دید کلی از دادهکاوی فراهم میسازیم و به توضیح کاربردها و ابزارهای آن میپردازیم. توسط اطلاعات روی وب، امکان استخراج داده و دستیابی به اطلاعات برای کاربران بسیار آسان و مطلوب شده است. عمل جستجو روی اینترنت را برای کاربران خیلی آسانتر خواهد ساخت. بنابراین بهرههای زیادی در Webminnig وجود دارد، از جمله کاوش پایگاه دادهها روی وب یا کاوش الگوهای مورد استفاده را میتوان نام برد تا اطلاعات مفید برای کاربران تامین شوند .دادهکاوی و وب به عنوان تکنولوژی مستقل در اواسط ۱۹۹۰ توسعه یافت.زمان زیادی از هنگامی که پژوهشگران به صورت جدی شروع به فکر کردن در مورد Webminnig کردند نگذشته است. کارگاه Webminnig در جریان کنفرانس کشف دانش پایگاه داده در ۱۹۹۹ یکی از اولین تجربهها بود. Stivastava و cooley یک طبقه بندی برای Webminnig تعیین کردهاند آنها در ابتدا Webminnig را به دو قسمت تقسیم کردند: ۱- بدست آوردن الگوها از دادههای وب ۲- بدست آوردن ثبت وقایع وب سپس طبقهبندی به سه قسمت گسترش یافت که شامل Web content mining ، Web usage mining و Web structure mining میباشد. Web content mining استخراج دادهای است که شامل متن، ویدئو و … روی وب میباشد. اساساWeb content mining زیر مجموعه داده کاوی میباشد. Web usage mining کاوش اطلاعات درباره دسترسی به صفحات وب و شامل تحلیل click stream میشود. Web structure mining در مورد کاوش URL ها و دیگر لینکهای وب برای دستیابی به ساختار آنهاست. Web usage mining برای پشتیبانی E-commerce استفاده میشود، اینجا دو جنبه وجود دارد: یکی استخراج اطلاعات درباره رقبا و دیگری کاوش اطلاعات مشتریان، الگوهای مورد استفاده و هدف بازاریابی. ۱-۱ کاوش داده روی وب : کاوش داده روی وب یک چالش اصلی در مواجه با مدیریت داده و همچنین مدیریت اطلاعات وب و Machine learning میباشد. داده ها و اطلاعات زیادی در وب وجود دارد ،که استخراج داده ی مفید و مناسب برای کاربران یک چالش واقعی است. هنگامی که کاربران در حال جستجو در وب هستند وب میتواند کاملا رام باشد و کاربران داده ی مورد نیاز خود را خیلی زود به دست آورند. سوال اینجاست که چگونه این داده به اطلاعات تبدیل میشود؟ و آیا اطلاعاتی که کاربران بدست میآورند همان چیزی است که آنها میخواهند؟ به علاوه راه استخراج اطلاعات ناشناخته گذشته از داده در وب چیست؟ در این قسمت ما به توضیح انواع مختلف web mining میپردازیم. یکی از راه حلهای ساده کامل کردن ابزار داده کاوی با خود داده است. این موضوع را توسط شکل شماره ۲ روشن تر میسازیم. این راه حل خوبی است مخصوصا اگر داده درون یک پایگاه داده رابطهای باشد. بنابراین یکی از احتیاجات استخراج داده از پایگاه دادههای رابطهای ،ابزارهای داده کاوی میباشد. این ابزارها باید واسط وب را توسعه دهند. برای مثال اگر یک interface رابطهای آماده شود، ابزارهای کاوش SQL-based میتوانند به پایگاه دادههای رابطه ای متصل شوند. (شکل ۳) متاسفانه جهان وب خیلی صادق نیست. بیشتر داده ها ساخت نیافته و نیمه مصنوعی هستند. داده های ویدیویی و تصویری زیادی وجود دارد در صورتی که یک interface رابطهای برای همه این پایگاه دادهها ممکن است پیچیده باشد .سوال اینجاست که این چنین داده هایی چگونه ذخیره میشوند؟ در اصل ما توجه خود را روی استخراج دادههای متنی، عکس ،صوت و تصویر متمرکز میکنیم. یکی از نیازهای توسعه ابزار، اول کاوش دادههای چند رسانهای و سپس متمرکز شدن بر توسعه ابزارهای استخراج از قبیل داده روی وب هست. در شکل ۴ در این زمینه توضیح دادهایم . جایی که پایگاه دادههای چند رسانهای ابتدا یکی شده و سپس کاوش شدهاند. (شکل ۴) در بیشتر توضیحات قبلی بر روی یکی کردن ابزارهای داده کاوی با پایگاه دادهها روی وب صحبت شد .در اغلب اوقات داده های روی وب درون پایگاه دادهها قرار ندارند و بر روی server های متفاوتی موجودند. بنابراین تلاشُ بر سر سازمان دهی داده ها روی این server ها انجام میگیرد. تکنولوژی انبار داده ممکن است به سازمان دهی داده ها برای کاوش نیاز داشته باشد. برای آسان شدن کاوش، کار اندکی در مرتب کردن تکنولوژی انبار داده روی وب وجود دارد (شکل ۵) مورد دیگری که باید توجه شود تجسمی از داده روی وب است. بیشتر داده ها سازماندهی نشدهاند و درک آنها مشکل است. به علاوه درک عمل استخراج با تجسم کردن آسانتر میشود. بنابراین توسعه ابزار تجسمی مناسب برای وب، دادهکاوی را خیلی آسانتر خواهد کرد. این ابزار تجسمی میتواند به فرایند کاوش کمک کند شکل (۶) اخیرا استانداردهای گوناگون به وسیله سازمانهای مانند ISO (سازمان استاندارد جهانی) W3C و OMG برای دستیابی داده های اینترنتی ایجاد شدهاند .این استانداردها شامل مدلها، زبانهای خاص و معماریهاست. یکی از آنها XML (Extensible markup language) برای نوشتن نوع Document .که اجازه میدهد Document به وسیله اشخاصی که آن را دریافت میکنند ترجمه شود. ارتباط بین Data minig و استانداردها مثل XML غیر قابل کشف هست. هر چند در نهایت تکنولوژی های متعددی باید با هم کار کنند تا به صورت موثری باعث داده کاوی روی وب شوند. این شامل کاوش روی داده ی چند رسانهای، استخراج ابزارها برای پیش بینی تمایلات و فعالیتها روی وب همانند تکنولوژیهای برای مدیریت داده، انبار داده و تجسم آنهاست. ۱-۲ الگوهای USAGE MINING : جنبههایى دیگر کاوش روی وب، جمعآوری آمارهای گوناگون برپایه الگوهای مرسوم برای تعیین اینکه کدام صفحه وب احتمالا دستیابی شده است. جستجو دراین قسمت به وسیله گروههای گوناگون هدایت میشود. براساس الگوهای مرسوم کاربران مختلف، پیشگویی و تمایلات مربوط به صفحات وب احتمالی که کاربران خواستار جستجو درآن می باشند ساخته میشوند، براساس این اطلاعات راهنماییهایی به کاربر راجع به صفحات وبی که درحال جستجو است داده شود.( شکل ۷)
همچنین استخراج فقط برای دادن اطلاعات انتخابی به کاربر میتواند استفاده شود. برای مثال اکثر ما روزانه با پیامهای ایمیل مواجه میشویم.بعضی از این پیامها مناس کار ما نیست .ابزارهایی میتوانند برای دورانداختن این پیامهای نامناسب به وجودآیند. این ابزارها میتواند، ابزارهای ساده filtering یا ابزارهای پیشرفته data mining باشد. به طور مشابهی، ابزارهای data mining همچنین برای نمایش آن صفحاتی از وب که برای کاربران جالب است میتوانند استفاده شوند. ۱-۳ Web Structure Mining: Web Structure mining اساسا در مورد استخراج لینکها روی وب است و وابستگی نزدیکی به Web usage mining دارد. برای مثال آگاهی دادن به کاربران در مورد browsing شامل هر دو (Web struct/usage mining) میشود. استخراج لینکها برای تعیین جایی که کاربر در آن است و صفحهای که کاربر میتواند به آن دسترسی داشته باشد نیاز است. Web Structure mining در موتورهای جستجوگر مثل گوگل استفاده میشود، برای مثال لینکها استخراج میشوند و سپس یکی از آنها میتواند تعیین کننده صفحۀ وبی باشد که به آن اشاره شده است. هنگامی که شما یک رشته کلمه را جستجو میکنید در ابتدا صفحات وبی با بیشترین مقدار لینک اشاره شده به آن رشته لیست میشود. Web Structure mining اساسا در مورد استخراج گرافها و کشف الگوهاست. و میتواند از تکنیک تجزیۀ لینکها برای کشف الگوها در گرافها استفاده کند. در این شکل دوایر صفحات لینک شده را نمایش میدهد. همچنین الگوهای به وجود آمده را در سمت راست میتوانیم ببینیم. الگو در بعضی جاها نمایان هست. در جهان واقعی گرافها ممکن است کاملا پیچیده باشند، بنابراین به استخراج الگوهای خلاصه نیاز داریم. در خواستها و جهتها: یکی از کاربردهای عمده Web mining در تجارت الکترونیک است. شرکتها خواستار داشتن تحریکات رقابتی و راههای جستجوی زیادی برای داد و ستدهای موثر هستند. مشتریان میتوانند محصولاتی از قبیل: کتاب، لباس، اسباببازی را از طریق این سایتها سفارش دهند. هدف فراهم کردن بازاریابی است. برای مثال گروه A ممکن است رمانهای ادبی را برگزینند در حالی که گروه B رمانهای پلیسی را می پسندد. بنابراین رمانهای ادبی جدید باید برای گروه A در معرض فروش قرار بگیرند و رمانهای پلیسی جدید برای گروه B. چگونه سایتهای تجاری این سلیقهها و مزیتها را میدانند؟ جواب این سوال data mining است، الگوهای کاربردی باید استخراج شوند. بعلاوه سازمانها ممکن است پایگاه داده های عمومی یا خصوصی را برای بدست آوردن اطلاعات اضافی در مورد این کاربران کاوش کنند. شکل ۹ کاربردهای Web mining را در تجارت الکترونیک شرح میدهد، اساسا چیزی که از کاوش الگوهای کاربردی به دست میآیدگرد هم آمدن هوشمند و بهبود سایتها تجاری است. ۲-۱ پردازش web data mining : اکنون ما درباره چگونگی تکنیکهای web data mining و چگونگی شرکت آنها در data mining صحبت خواهیم کرد. ابتدا باید همه چیز را درباره data mining بفهمیم. data mining پردازش سؤالات مطرح شده و استخراج مفید اطلاعات ناشناخته، الگوها و حالتهای مختلفی از کمیتهای بزرگ داده که ممکن است در پایگاه دادهها ذخیره شود میباشد. و این همه آنچه راکه ما از الگوها و حالتهای مختلف میخواستیم را انجام نمیدهد، این الگوها و حالتهای مختلف باید کاربردیتر باشند. درغیر اینصورت ما میتوانستیم داده نامربوطی دریافت کنیم که میتواند آسیبی را ایجاد کند یا باعث بوجود آمدن مشکلی شود. برای مثال اگر یک دادهکاو یک داده اشتباه را پیدا کند فرد را فریب میدهد که به آن مثبت کاذب گفته میشود. هر چند که ما اغلب نتایجی را که منفی کاذب هستند نمیخواهیم. ما نمیخواهیم که دادهکاو نتایجی را به ما بدهد که باعث شود در حالیکه فریب خورده است، رفتاری خوبی را از خود نشان دهد. بنابراین data mining یک مفهوم جدی است و علت آن اینست که ما داده خوبی را برای کاوش میخواهیم و محدودیتهای تکنیکهای data mining را میدانیم. data mining به همه پرسشها پاسخ نمیدهد وگاهی اوقات این تکنیک قابل پاسخگویی نیست. به کار گرفتن تمام پردازش کاوش پرهزینه است و از این رو تصمیم گیری برای استفاده data mining کاملاً سنجیده شده است. درحقیقت، بخش کاوش فقط مرحله کوچکی از کل پردازش است. ما احتیاج به طرح پرسشهایی داریم: آیا نیاز به کاوش هست؟ آیا داده صحیح با فرمت صحیح داریم؟ آیا ابزارهای صحیح در اختیار داریم؟ واز همه مهمتر اینکه، آیا افرادی برای انجام کار داریم؟ آیا سرمایه اختصاصی داده شده به پروژه کافیست؟ تمام این پرسشها باید قبل از شروع به کار ما روی پروژه data mining پاسخ داده شود. در غیر اینصورت ما ممکن است بینهایت مأیوس وناامید شویم. در این بخشها به بررسی data mining از ابتدا تا انتها بدون پرداختن به جزئیات تکنیکها و الگوریتمها میپردازیم. ما مثالهای کاربردی مختلفی را که از data mining web بهره میبرند بیان خواهیم کرد. و این مطالب ایده خوبی به خواننده در مورد data mining و data mining web میدهد. و درباره اینکه چرا data mining web؟ صحبت میکنیم. سپس ما مراحل مختلف data mining web رامورد بررسی قرار میدهیم. این مراحل شامل شناسایی و آماده کردن داده،تعیین اینکه کدام داده را مورد جستجو قرار میدهیم و تعیین زمان انجام جستجوی بعدی میباشد. data mining یک فعالیت یک رویه نیست. یک سازمان یک جستجو دائم و پیوسته روی دادههای متغیر دارد این عمل ممکن است مفید نباشد یا ابزارها ممکن است بهبود یابند. درباره محدودیتها و چالشهایی که با آنها در data mining web روبرو خواهیم بود بحث میکنیم. وبیشتر مطالبی در اینجا بحث میشود، در data mining هم هماند data mining web قابل کاربرد است. مابیشتر دادههای موجود روی وب را پیشبینی میکنیم .وب میتواند برپایه شبکه عمومی یا خصوصی در نظر گرفته شود. از اینرو web mining شامل data mining خواهد بود. در بخش قبلی درباره سه جنبه web mining صحبت کردیم. چند مثال: در این بخش مثال میزنیم تا نشان دهیم که چگونه کاوش میتواند مورد استفاده قرار گیرد. این مثالها از مقالات ومنابع متفاوتی گرفته شده است. در حالیکه همه کارروی data mining در کاربرد آن برای پشتیبانی بازاریابی و فروش انجام میشود در جاهای دیگر هم کابرد دارد. بسیاری از این مثالها مربوط به کاربردهای counter- terrorism میباشد:
کاربردهای متفاوت دیگری هم در زمینههای دیگری مثل پزشکی، تجاری، تشخیصی، عیبیابی و…. وجود دارد. که این کاربردها در شکل ۱ نمایش داده شدهاند. همه این مثالها نشان میدهد که تحلیل داده چقدر برای مطرح شدن بوسیله تنایج و استنتاجها مورد نیاز است. این نوع از تحلیل داده معمولاً کاوش نامیده میشود. کاوش همواره در راه مثبت برای ترمیم جامعه بشری به کار نمیرود. در بسیاری موارد ممکن است کاملاً خطرناک باشد مثل مصالحه پنهانی درحفرههای اینترنتی وبهای شخصی. ۲-۲ چرا data mining web ؟ اکنون که کاربردهای متفاوت data mining بیان شد بهتر است به علت اینکه چرا data mining رادر این قسمت بیان کردیم بپردازیم. میدانیم که مشکلات زیادی در رابطه با داده وجود دارد برای حل این مشکلات باید از ابزارها و تکنیکهای جدید استفاده کنیم. مثلاً، تحلیل داده در سالهای گذشته به راههای مختلف انجام شده است، اما امروزه فقط در مورد data mining و گسترش و بهبود متدها و تکنیکهای آن صحبت میکینم. (شکل ۲). در این قسمت دلیل انجام data mining صحبت میکنیم و سپس دلایل استفاده از data mining web را بررسی میکنیم.
دادههای اطراف ماروی کاغذ و در بسیاری موارد در ذهن افراد هستند. معمولاً منشی ها سالها را در ثبت و ضبط دادهها میگذرانند وانسانها به تحلیل و بررسی شناخت الگوهای مختلف میپردازند. سرانجام به این فکر افتادند که راه جدیدی را در تحلیل داده انجام دهند. اگر چه که سازماندهی داده هنوز مشکل بزرگی است. از زمانیکه کامپیوتر و پایگاههای داده ظهور کردند ذخیره دادهها به صورت کامپیوتری ودر پایگاههای داده شروع شد. این اولین قدم بزرگ به سمت data mining بود. بعد از آن با پدیدار شدن هوش مصنوعی تکنیکهای جستجو بهبود یافتند. چیزی که بیشترین نقش را در data mining برای بهبود ذخیره و بازیابی دادهها داشت در حقیقت تکنولوژی سیستمهای مدیریت پایگاه داده بود. اخیراً تکنیکها و ابزارهایی برای بهبود روشهای ضبط داده و دانش از سازمانها، توسعه یافتهاند که حتی برای data mining بهتر هستند. در اینجا مقدار زیادی داده وجود دارد که هنوز ضبط نشدهاند. از این گذشته حتی اگر ضبط شده باشند کسی از وجود آنها اطلاع زیادی ندارد. بنابراین تکنکیهای مدیریت دانش این عیب را بهبود خواهند بخشید. اکنون ما مقدار بسیار زیادی داده کامپیوتری شده در فایلها، پایگاههای دادهی رابطهای، پایگاههای داده چند رسانهای ودر وب جهانی داریم. بستههای پیچیده تحلیل آماری بسیار زیادی داریم. ابزارها برای machine learning گسترش پیدا کردهاند. تکنولوژی محاسبات موازی برای بهبود کارایی توسعه یافت. تکنیکهای visualization فهم دادههارا بهتر کرد. ابزارهای پشتیبانی تصمیم ،کامل شدند. بنابراین چه چیزی بهتر از اینکه راهی وجود داشته باشد که این پیشرفتها را با هم جمع کند و برای بهبود ظرفیت تحلیل دادهها و پیشبینی روندها استفاده شود. data mining به صورت واقعی شروع شد، data mining web به ما امکان مدیریت پایگاههای داده ی وب را میدهد. که این تکنولوژی در چند سال اخیر آمده و هنوز جدید است. در این بخش ما درباره آنچه که برای data mining نیاز است صحبت میکنیم. هر چند، به واسطه این حقیقت که ما انتظار داده بیشتری روی وب داریم، احتیاج به کاوش داده روی وب داریم. در رابطه با web mining علاوه بر کاوش محتوای وب احتیاج به کاوش الگوهای استفاده شده و ساختارها نیز داریم. (فایل کامل این پروژه ۹۷ ( نود و هفت ) صفحه word همراه با منابع و ماخذ می باشد.) در تمامی ساعات شبانه روز >> پرداخت آنلاین و دانلود آنی فایل پس از پرداخت.
جهت سفارش لطفا اطلاعات زير را تکميل نماييد :
|
مقاله داده کاوی در وب
توجه مهم :
*دوست عزیز در صورت نداشتن رمز پویا یا قطع بودن درگاه بانکی ، لطفا نام پروژه درخواستی خود را جهت هماهنگی برای دریافت شماره کارت واریزی و دریافت لینک دانلود، به واتساپ پشتیبانی سایت ۰۹۳۹۲۷۶۱۶۳۰ ارسال کنید *(از ساعت ۸ الی ۲۳)
سایر مطالب مرتبط:
- معماری طراحی و داده کاوی در وب Web Mining & Structure Mining
- آشنایی با پروتکل TCP/IP
- شناخت و بررسی سیستم های مدیریت محتوا CMS و کار با وردپرس WordPress
- مقاله هوش مصنوعی
- دانلود مقاله شبیه ساز OPNET
- فناوری وایمکس (WiMAX)
- مقاله آشنایی با زبان سی پلاس پلاس ++C
- مقاله ربات ها Robot
- الگوریتم Pso و کابردهای آن
- برنامه ها و سیستم های توزیع شده
دیدگاهتان را بنویسید