دانلود مقاله استفاده از Hadoop برای مدیریت داده در محاسبات ابری

.

فهرست مطالب :

مقدمه

فصل اول – آشنایی با محاسبات ابری

۱-شناخت محاسبات ابری

۱-۱ دیدگاه های مختلف در خصوص محاسبات ابری

۱-۲ شناخت بهتر محاسبات ابری

۱-۳ محاسبات جادویی یا Magic Computing :

۱-۴ پروژکتور پوشیدنیOmniTouch:

۱-۵ مزایا و نقاط قوت Cloud Computing

۱-۵-۱ هزینه های کامپیوتری کم تر

۱-۵-۲ کارآیی توسعه یافته

۱-۵-۳ هزینه های نرم افزاری کم تر

۱-۵-۴ ارتقای نرم افزاری سریع و دائم

۱-۵-۵ سازگاری بیشتر فرمت اسناد

۱-۵-۶ ظرفیت نامحدود ذخیره سازی

۱-۵-۷ قابلیت اطمینان بیشتر به داده

۱-۵-۸ دسترسی جهانی به اسناد

۱-۵-۹ در اختیار داشتن آخرین و جدیدترین نسخه

۱-۵-۱۰ همکاری گروهی ساده تر

۱-۵-۱۱ مستقل از سخت افزار

۱-۶ نقاط ضعف Cloud Computing

۱-۶-۱ نیاز به اتصال دائمی به اینترنت دارد

۱-۶-۲ با اتصال های اینترنتی کم سرعت کار نمی کند

۱-۶-۳ می تواند کند باشد

۱-۶-۴ ویژگی ها ممکن است محدود باشند

۱-۶-۵ داده های ذخیره شده ممکن است از امنیت کافی برخوردار نباشند.

۱-۷ چه کسانی می توانند از مزایای Cloud Computing بهره مند شوند؟

۱-۸ چه کسانی نباید از Cloud Computing استفاده کنند؟

۱-۹ چاپ ابری گوگل چیست ؟

۱-۹-۱ چگونه پرینتر خود را در اینترنت به اشتراک بگذارم ؟

۱-۱۰تفاوت رایانش ابری با رایانش مشبک

۱-۱۱ فناوری محاسبات ابری و نگرش‌های گوناگون

۱-۱۲ ویندوز ۸ و محاسبات ابری

فصل دوم- Hadoop و استفاده از آن در محاسبات ابری

۱- Hadoop چیست؟

۲-۱ Apache Hadoop از چه قسمت هایی تشکیل شده است؟

۲-۲ Hadoop چگونه عمل می کند؟

۲-۳ مزایای استفاده از Hadoop

۲-۴ Hadoop و مدیریت داده در رایانش ابری

۲-۴-۱ پیاده سازی هدوپ بوسیله کلودرا

۲-۵ هادوپ ۲

۲-۶ مروری بر مفاهیم مقدماتی NoSQL

۲-۶-۱ لیست مشترکات بانک‌های اطلاعاتی NoSQL

۲-۶-۲ نحوه مدیریت یکپارچگی اطلاعات در بانک‌های اطلاعاتی NoSQL

۲-۶-۳ نحوه مدیریت Indexing اطلاعات در بانک‌های اطلاعاتی NoSQL

۲-۶-۴ نحوه پردازش Queries در بانک‌های اطلاعاتی NoSQL

۲-۶-۵ آشنایی با مفاهیمی مانند الگوهای Sharding و Partitioning در بانک‌های اطلاعاتی NoSQL

نتیجه گیری

منابع و ماخذ

.

مقدمه :

سیر تکاملی محاسبات بگونه ای است که میتوان آن را پس از آب، برق، گاز و ‌تلفن بعنوان عنصر اساسی پنجم فرض نمود. در چنین حالتی، کاربران سعی میکنند بر اساس نیازهایشان و بدون توجه به اینکه یک سرویس در کجا قرار دارد و یا چگونه تحویل داده میشود، به آن دسترسی یابند. نمونه های متنوعی از سیستم های محاسباتی ارائه شده است که سعی دارند چنین خدماتی را به کاربران ارئه دهند. برخی از آنها عبارتند از: محاسبات کلاستری، محاسبات توری و اخیرا محاسبات ابری. محاسبات ابری ساختاری شبیه یک توده ابر دارد که بواسطه آن کاربران میتوانند به برنامه های کاربردی از هر جایی از دنیا دسترسی داشته باشند. بنابراین، محاسبات ابری میتواند با کمک ماشین های مجازی شبکه شده، بعنوان یک روش جدید برای ایجاد پویای نسل جدید مراکز داده مورد توجه قرار گیرد. بدین ترتیب، دنیای محاسبات به سرعت به سمت توسعه نرم‌افزارهایی پیش می رود که به جای اجرا بر روی کامپیوترهای منفرد، بعنوان یک سرویس در دسترس میلیون ها مصرف کننده قرار میگیرند. محبوبیت سه نوع مختلف محاسبات که به آنها اشاره شد، از دید موتور جستجوی گوگل نیز مورد ارزیابی قرار گرفته است که نتیجه آن در شکل ۱ نمایش داده شده است. این بررسی نشان میدهد که محاسبات کلاستری در حال حاضر نسبت به دو مورد دیگر مقبولیت کمتری دارد، محاسبات توری در رتبه دوم قرار گرفته است، و پردازش انبود با فاصله زیادی از آنها در حال افزایش جلب توجه افراد بیشتری است.

• شناخت محاسبات ابری

در ابتدا برای آشنایی بهتر با محاسبات ابری به بررسی یک مثال معمول و ساده برای شناخت محاسبات ابری می پردازیم که مربوط به محاسبه و پرداخت هزینه های آب، برق و تلفن است. شرکتی برای محاسبه و صدور صورتحساب و دریافت آن از مشتریان، ممکن است از نرم افزارهای خاصی استفاده کند. مثلا نرم افزاری را تهیه و روی سیستم خود نصب کند و همراه آن، سخت افزارهای لازم را نیز تهیه کرده و هزینه های نگه داری و ارتقا را بپردازد. اما روش دیگر میتواند به این صورت باشد که شرکتی این نرم افزار را روی سرور خود قرار دهد و نسبت به نگه داری و توسعه آن اقدام کرده و همواره سعی در بهره بردن از فنّاوری روز دنیا برای نرم افزار هایش را داشته باشد. در این شرایط تمام سازمان هایی که نیاز به صدور صورتحساب و دریافت مبلغ از مشتریان را دارند، از طریق ارتباط با این نرم افزار و استفاده از منابع موجود روی سرورهای ارائه شده، عملیات خود را انجام میدهند. بسیار واضح است که سازمان های استفاده کننده از این امکانات، هیچ مسئولیتی در قبال نگه داری سخت افزار و نرم افزار و منابع مربوط به این سیستم را نخواهند داشت و تنها از سرور خود انتظار دارند که بهترین خدمات را بصورتی کاملا مطمئن دریافت کنند و در قبال استفاده از این خدمات مبلغی را به دارنده نرم افزار یا ارائه کننده سرویس باید پرداخت کنند. این یک نمونه کاملا کاربردی از فن آوری محاسبات ابری در جهان فنّاوری اطلاعات است. حضور گسترده و روز افزون شرکتهای بزرگی نظیر Microsoft، Google، Amazon، Sun و … در عرصه رقابتی محاسبات ابری، نشان از توسعه سریع و تسلط این گونه از محاسبات در دنیای فنّاوری اطلاعات دارد.

۱-۱ دیدگاه های مختلف در خصوص محاسبات ابری

در حال حاضر محاسبات ابری از ابعاد مختلف موضوع بسیار بحث برانگیزی است. از این رو، محققان زیادی به بررسی تفاوت بین این دو مقوله پرداخته اند. برای اینکه یک دید اولیه بدست آوریم، ابتدا دیدگاه دو نفر از پیشتازان این عرصه را مورد بررسی قرار میدهیم.

Run Daniel مسئول بخش استراتژی های خدمات ابری درHP، بعنوان مثالی از سرویس های ابری، از خدماتی نام می‌برد که در حال حاضر از طریق پروتکل های اینترنتی و مبتنی بر Ajax ارائه میشود که بجای قرار گرفتن در کلاینت، در مرورگر ارائه می شوند. تکنیک های مجازی سازی و تکنولوژی های اتوماسیون بر روی بهبود این خدمات تمرکز کرده اند. به عقیده او ما چیز هایی داریم که نیاز داریم همیشه در دسترس باشند، به این ترتیب می توانیم در ابر قرار بگیریم و آن چیزی که در ابر قرار میدهیم، بطور فراگیر، پایدار و برای همیشه آنجا خواهد بود. ما میتوانیم ابر ها را بکار بگیریم تا تکنولوژی را در اختیار افراد و گروه های وسیعتری قرار دهیم. حتی افرادی که از تکنولوژی بدلیل پیچیده بودن یا گران بودن آن استفاده نمی کنند.

Franco Travostino از افراد برجسته در eBay، تفاوت عمده بین محاسبات توری و محاسبات ابری را در پیدایش ابر از مفهوم web 2.0 می داند. تاثیر آن زمانی است که مشتریان شما از ۲۵۰۰ به ۳۰۰۰۰ می رسند و هر ساعت هزاران کاربر به آن اضافه میشوند و ابر بر حسب حجم تقاضایی که دارید به شما پاسخ می دهد. من تصور میکنم در آینده سه نوع ابر داشته باشیم. ابرهای با مقیاس بسیار زیاد که توسط فروشنده ها ارائه میشود و به مرور بزرگتر می شوند. تعداد کمی ابر متعلق به مراکز با موقعیت های خاص، مثلا گروهی از افراد که قصد داشته باشند پردازش های ریاضی را بصورت موازی انجام دهند. نوع سوم هم متعلق به شرکت هایی است که ابرهای خود را ایجاد کرده اند. ابر موقعیت خوبی را برای نوآوران و کارآفرینان ایجاد کرده است تا بتوانند در بازار ویژگی های جدید را آزمایش کنند. هر کس که ارزش یک پیشنهاد با قیمت متغییر را بداند میتواند از مزایای ابر استفاده کند. ما همیشه باید در نظر داشته باشیم که ۴ بعد مختلف وجود دارد: افراد، پروسه ها، اطلاعات و تکنولوژی. همچنین اگر ما بتوانیم بر موضوع اعتماد غلبه کنیم و این اعتماد را ایجاد کنیم که ابر میتواند همانند یا حتی بهتر از تکنولوژی داخلی شرکت، خدمات را مدیریت کند، خواهیم دید که سرویس های زیادی روی ابر ایجاد خواهد شد، همانند ابزارهایی که در صنایع دیگر ایجاد میگردد. نهایتا اینکه مجازی سازی ما را به جایی خواهد رساند که ما به هیچ وجه داده های محرمانه یا شخصی را از دست نخواهیم داد، حتی اگر سیستم عامل با مشکل مواجه شود.

محاسبات ابری یا Cloud مدتهاست که در محدوده فن آوری اطلاعات خود نمایی میکند اما اکنون قصد دارد جای پای خود را در حیطه تجاری محکم نماید.

طرفداران ابر روی ۵ مزیت کلیدی تکیه میکنند: 
ارزانی : چون ارائه دهنده سیستم به شما، آن را برای سایر شرکت ها هم ارائه میدهد، لذا به اشتراک گذاری زیرساخت های پیچیده قیمتی مقرون به صرفه برایتان ایجاد میکند تا آنکه خود به تنهایی برای ساخت و استفاده آن هزینه پرداخت کنید.
سرعت: سرویسهایاساسیابر،راحت موردمصرف قرارمیگیرندوبرای نرم افزارهای پیچیده تر و راه حل های پایگاه داده، محاسبات ابری به شما اجازه می دهد تا از تهیه سخت افزار و هزینه های سرمایه گذاری صرف نظر کرده و بدین ترتیب برای شروع بسیارمناسب هستند.
به روزرسانی : اکثرارائه دهندگان دائما نرم افزارهای خودرابروزمیکنندوبه محض اضافه شدن یک مشخصه جدید، آنرا به سیستم خود اضافه میکنند.
مقیاس پذیری : اگر کسب و کار شما به سرعت در حال رشد است یا رشد فصلی دارد، می توانید از سیستم ابری استفاده کنید زیرا این سیستم به نحوی درست شده است که قابلیت رشد سریع را دارد.

تحرک : خدمات ابری به شکلی طراحی شده اند تا از راه دور مورد استفاده قرار گیرند، بنابراین اگر شما نیروی کار متحرک دارید، کارکنان شما امکان دسترسی به بسیاری از سیستم های خود را در حال عبور و مرور خواهند داشت.
به عبارت دیگر : فن آوری اطلاعات به سرویس تبدیل می شود، مانند برق، آب، و یا حتی نیروی کار بیرون از شرکت.
نهایتا به یاد داشته باشید، محاسبات ابری چیز تازه ای نیست. بیشتر ما در حال حاضر داریم از این سیستم استفاده میکنیم، مانند خدماتی چون هات میل، فلیکر، بلاگر و فیس بوک. این کسب و کاری است که رشد کندی داشته است.

برای برایان، استراتژی ابری به معنای پرداخت کمتر برای سازمان میباشد و تا کنون نزدیک به ۱۰،۰۰۰ از کارمندان او به سرویس ایمیل گوگل منتقل شده اند و ۱۰،۰۰۰ دیگرنیزبایدتاپایان سال اینکارراانجام دهند.
اینک برای انازسایتهای گوگل برای به اشتراک گذاشتن اسناددرشرکتش استفاده میکند و دست به ایجاد شبکه های داخلی برای هر دو نوع شرکت، در سطح جهانی و زیرگروه ها زده است.
این امکان محاسبات ابری، که میتوان براحتی با آن دست به دسته بندی در شرکت زد، جذاب است. شرکت بیمه Aviva که در رشته خود غولی به حساب میاید، همه مدیریت محتوای اینترپرایز و بیزنس هوشمند خود را به سرویس آنلاین Sharepoint مایکروسافت منتقل کرده است.

۱-۲ شناخت بهتر محاسبات ابری

آیا تاکنون در مورد محاسبات ابری چیزی شنیده اید؟ بسیاری معتقدند آینده اینترنت و فناوریهای مرتبط با اینترنت به محاسبات ابری گره خورده است در ادامه قصد داریم با مثالی به توضیح این مفهوم جدید بپردازیم.

مسلما در دنیای امروز برای استفاده از وسایل الکترونیکی در هر خانه ای یک کارخانه یا ژنراتور برق وجود ندارد! و تنها یک اداره برق یا کارخانه تولیدکننده وجود دارد و فرد در مقابل پرداخت هزینه از مزایای برق تولید شده بهرمند می گردد.

می توان در محاسبات ابری نمونه مشابهی را مشاهده کرد بدین معنا که افراد و شرکتها در ازای نرم افزار، سخت افزار یا شبکه، پولی را نمی پردازند و در قبال محاسبه و سرویس های نرم افزاری، موارد مورد استفاده خود را خریداری و استفاده می کنند. این امر موجب صرفه جویی و استفاده بهتر از IT  می گردد.

در حالت محاسبات ابری یا همان Cloud Computing، اطلاعات به جای استفاده بر روی کامپیوتر فرد، بر روی Cloud به معنای ابر قرار می گیرد. Cloud به معنای مجموعه ای از چند سرور و کامپیوتر است که بواسطه اینترنت به آنها متصل می شوند و نقش میزبان را دارند

به بیانی در آینده، اینترنت به واسطه PC، موبایل، تلویزیون، حتی یخچال و یا هر وسیله الکترونیکی که دارای رابط نرم افزاری است عمل می کند بدی معنا که وسیله مورد نظر قادر به دسترسی و استفاده از خدمات Online اینترنتی خواهد بود و همچنین می تواند از محاسبات ابری به منظور انجام کارهای دیجیتالی استفاده کند، اگربخواهیم ساده تر بیان کنیم بدین معناست که شما درآینده نه چندان دور برای استفاده ازاینترنت نیازنداریدکه حتما یک کامپیوتر به شکل امروزی داشته باشید.

Cloud computing به شما اجازه می دهد به تمام برنامه های کاربردی و اسناد خود، از هر جایی از دنیا دسترسی پیدا کنید و شما را از گرفتاری های استفاده از کامپیوترهای دسک تاپ رهایی می بخشد و به شما کمک می کند با دیگران همکاری کنید.

در حالت محاسبات ابری یا همان Cloud Computing، اطلاعات به جای استفاده بر روی کامپیوتر فرد، بر روی Cloud به معنای ابر قرار می گیرد. Cloud به معنای مجموعه ای از چند سرور و کامپیوتر است که بواسطه اینترنت به آنها متصل می شوند و نقش میزبان را دارند.

Hadoop و استفاده از آن در محاسبات ابری 

• Hadoop چیست؟

هدوپ یک نرم افزار متن باز تحت لیسانس آپاچی است که با جاوا برنامه نویسی شده و برای تقسیم بندی و توزیع فایل های متمرکز به کار می رود. هدف از پروژه Hadoop توسعه نرم افزاری  متن باز برای انجام محاسبات مطمئن، مقیاس پذیر و توزیع شده می باشد. نرم افزار Hadoop یک چارچوب است که امکان پردازش توزیع شده مجموعه ای از داده های حجیم را فراهم می آورد و این عملیات توسط یک مدل برنامه نویسی ساده بر روی سیستم clustering انجام میگیرد.طراحی آن به شکلی است که میتواند بر روی یک یا هزاران سرور محاسبات یا عملیات ذخیره سازی اطلاعات را به شکلی محلی انجام دهد. به جای تکیه بر سخت افزار، کتابخانه این نرم افزار هرگونه شکست را در لایه Application  تشخیص و برطرف میکند، بنابراین سرویس موردنظر با قابلیت اطمینان بسیار بالایی بر روی سیستم  clustering تعدادی سخت افزار ارائه میگردد که هرکدام میتواند منجر به شکست شود.ایده اولیه هدوپ اولین بار در شرکت گوگل رقم خورد اما خیلی ها باور به پیاده سازی این سیستم نداشتند و در چند سال اول این ایده تنها بصورت تئوری مطرح بود این شرکت در پی افزایش حجم تبادل اطلاعات، به دنبال راه حلی برای افزایش سرعت و راندمان سرورهای خود بود که سیستم توزیع منحصر به فردی برای خود ابداع کرد به نامGFS Google File System و در پی این موفقیت، انجمن توزیعApache به فکر گسترش این تکنولوژی در سطح وسیعتری افتاد و سیستم هدوپ به وجود آمد. کلودرا شرکتی است که بصورت فعال در این زمینه فعال می باشد و بسته نرم افزاری بی نظیر هدوپ را ایجاد کرده و آن را انتشار داده و پشتیبانی می کند.

ساختار کلی اطلاعاتی در هدوپ بدینگونه می باشد که اطلاعات توسط سیستم هدوپ شکسته شده و به چندین سرور فرستاده می شود.سرورها بسته به نوع اطلاعات که ممکن است پردازشی یا ذخیره ای باشد اطلاعات را پردازش یا ذخیره سازی می کنند. در هنگام در خواست اطلاعات مجدد سیستم اطلاعات را از سرور های مختلف گرفته ، مونتاژ کرده و در خروجی نمایش می دهد.

خوبی این سیستم تهیه نسخه پشتیبان از اطلاعات بصورت خودکار است. هر تکه از اطلاعات در چندین قسمت  سرور  ذخیره می شود و در صورت آسیب دیدن یکی از سرورها ، سرور دیگر قادر است مسئولیت را بر عهده گرفته و اطلاعات مورد نظر را جایگزین کند.

۲-۱ Apache Hadoop از چه قسمت هایی تشکیل شده است؟

Hadoopازچهار بخش زیر تشکیل گردیده است:

• Hadoop Common:امکاناتی برای پشتیبانی از ماژول های دیگر Hadoop
• Hadoop Distributed File System : سیستم توزیع شده فایل ها که دسترسی به داده های نرم افزار را با توان بالا فراهم میسازد.
• Hadoop YARN : چهارچوبی برای مدیریت Clustering
• HadoopMapReduce :سیستمی برای پردازش موازی از مجموعه داده های بزرگ

۲-۲ Hadoop چگونه عمل می کند؟

سیستم بدین صورت عمل میکند که اطلاعات دریافت شده به صورت بلوک های ۶۴ مگابایتی در آمده و هر تکه در یک سرور جداگانه ذخیره می شود. در تصویر زیر سرورNamenodeدر واقع همان سرور اصلی (Master) می باشد که وظیفه ی کنترل سرورهای دیگر (Slave) را به عهده دارد. بخشMap Reduce  نیز بر روی سرور اصلی اجرا می شود و بخشHDFS  یا همانHadoop Distributed File System  بر روی سرورهای جانبی اجرا می شود. سرورهای جانبی وظیفه ی ذخیره سازی اطلاعات را بر روی هارد دیسک های خود به عهده دارند. یعنی زمانی که کاربر درخواست فراخوانی یک فایل را صادر می کند، سرور اصلی از طریق آدرس هایی که در اختیار دارد، بلوک های مورد نظر را از سرورهای مختلف فراخوانی کرده و پس از سر هم کردن و تکمیل کردن فایل، آن را به کاربر تحویل می دهد.

نکته ی جالب پروسه مربوط بهData Replication می شود. الگوریتم این برنامه طوری نوشته شده است که چندین نسخه کپی از بلاک ها بر روی دیگر سرور ها قرار می گیرد و این امر دو مزیت بزرگ دارد: اول این که شبکه در مقابل خطاهای سخت افزاری از قبیل سوختن هارد دیسک، اشکالات سخت افزاری سرورها و … در امان میباشد و در صورتی که هر یک از سرورها به دلایلی از شبکه خارج شوند، اطلاعات مورد نظر از روی سرورهای دیگر فراخوانی می شوند. مزیت دوم این قابلیت این است که دیگر نیازی به استفاده از تکنولوژیRAID نمیباشد و می توان از حداکثر فضای هارد دیسک های خود استفاده نمود.

ساختار عملیاتی هدوپ و فرایند انتخاب و کاهش

۲-۳ مزایای استفاده از Hadoop :

• دسترس‌پذیراست: هدوپ روی کلاسترهای بزرگ تشکیل شده از سرورهای معمولی (در دسترس) یا روی سرویس‌های رایانش ابری همچون سرویسEC2 آمازون اجرا می‌شود.
• مقاوم است:Hadoopبر روی سخت‌افزارهایی معمولی اجرا می‌شود و به راحتی از عهده خرابی گره‌ها بر می‌آید. زیرا فرض می‌کند که عناصر رایانشی و ذخیره‌سازی از کار خواهند افتاد، بنابرایم چندین کپی از داده‌ای که روی آن دارد کار می‌کند را نگه می‌دارد تا اطمینان حاصل کند که پردازش می‌تواند باز توزیع شود.
• .

فایل کامل این تحقیق ۶۰ صفحه بصورت ورد WORD می باشد.
در تمامی ساعات شبانه روز >> پرداخت آنلاین و دانلود آنلاین پروژه