Map Reduce چیست؟

در

محاسبه علمی، زمینه تحقیقی است که از علم کامپیوتر برای حل مسائل علمی استفاده می کند. این را نباید با علم کامپیوتر اشتباه گرفت. محاسبه علمی معمولا به شبیه سازی و مدلسازی کامپیوتری در مقیاس بزرگ مربوط است و اغلب نیازمند مقادیر بالایی از منابع کامپیوتری است. برای انجام محاسبات علمی، رایانش ابری همراه با منابع نامحدود، مناسب می باشد.
در تطابق اپلیکیشن های حساس به منابع با ابرها، اپلیکیشن ها را باید به چارچوب هایی کاهش داد که بتوانند از منابع ابری استفاده کنند و این روشی است که ما در محاسبه علمی خود برروی پروژه ابرها (SciCloud) مورد مطالعه قرار می دهیم. بطور کلی، زیرساختارهای ابری مبتنی بر کامپیوتر می باشند که مقرون به صرفه است. این حقیقت می تواند باعث ایجاد مشکلات جدی شود چون نرم افزار باید بی عیب باشد. حل معایب سخت افزاری یا شبکه در سیستم توزیعی، شامل رونویسی از داده های مهم و انجام مجدد محاسباتی است که در حل خود مشکلاتی دارند. همچنین، چارچوب های محاسبه توزیعی وجود دارند که برحسب طراحی خود، دارای تحمل خطا می باشند و این چارچوب، چارچوب Map Reduce می باشد.
Map Reduce برای اولین بار توسطGoogle و بصورت چارچوب محاسباتی موازی جهت اجرای محاسبه توزیعی برروی تعداد بزرگ کامپیوترهای کالا ارائه شد. از آن به بعد، با نام چارچوب رایانش ابری معروف شد تا اپلیکیشن های توزیعی مقیاس پذیر را بصورت خودکار اجرا کنند. پیاده سازی Google Map Reduce اختصاصی است و می تواند به توسعه موارد مشابه همچون Hadoop Map Reduce منجر شود. Hadoop چارچوب نرم افزاری جاوا است که ازGoogle’s Map Reduce وGoogle File System الهام گرفته است. پروژه Hadoop توسط Apache توسعه یافت و کاربرد گسترده ای در زمینه تجاری و تحقیقی دارد و در نتیجه، کاربر محور بوده و ثبت سند مناسبی دارد. (سیارک)
در حالیکه مقیاس پذیری خودکار به هنگام کار با اپلیکیشن های توزیعی، بسیار جالب توجه است، اما ساختار اپلیکیشن Map Reduce بسیار محدود است. کاهش الگوریتم های پیچیده به مدلMap Reduce آسان نبوده و تضمینی برای اثربخشی الگوریتم های Map Reduce وجود ندارد. اثر قبلی نشان داد که Map Reduce برای مسائل موازی ساده مناسب می باشد. ازMap Reduce برای انواع مسائل همچون شاخص گذاری با مقیاس بزرگ، محاسبات نموداری، یادگیری ماشینی و استخراج داده های خاص از مجموعه بزرگ صفحات وب شاخص گذاری شده، استفاده می کنند. همچنین از Map Reduce را می توان برای مسائل نموداری همچون یافتن مولفه های نموداری، خوشه بندی گرانیگاهی، شمارش مستطیل ها و شمارش مثلث ها استفاده کرد. Map Reduce نیز از نظر مسائل علمی بررسی شده است.Map Reduce در مسائل ساده همچون روش قطبی Marsaglia، در زمینه ایجاد متغیرهای تصادفی و صحیح عملکرد خوبی داشته است.
با این حال،Map Reduce در مورد الگوریتم های پیچیده تر، مشکلات قابل توجهی دارد، همچون گرادیان مزدوج، تبدیل سریع فوریه و حل کننده سیستم خطی سه‌ قطری بلوک. بعلاوه، اغلب این مسائل از روشهای تکرار شونده برای حل آنها استفاده می کنند و نشان می دهند که Map Reduce مناسب الگوریتم هایی نیست که ماهیت تکرار شونده دارند. با این حال، بیش از یک نوع الگوریتم تکرارشونده وجود دارد. مجموعه ای از طبقات را برای الگوریتم های علمی طراحی کردیم تا بررسی کنیم که آیا مدل تکرارشونده برای تمام الگوریتم های تکرارشونده نامناسب است یا نه. براساس میزان سختی تطابق الگوریتم با مدل Map Reduce و ساختار آنها، الگوریتم ها بین این طبقات تقسیم می شوند. برای مقایسه طبقات با همدیگر، الگوریتم های هر طبقه را با مدل Map Reduce انتخاب کرده و تطبیق دادیم و به بررسی بازده و مقیاس پذیری آنها پرداختیم. چنین طبقه بندی به ما اجازه می دهد تا به دقت قضاوت کنیم که کدام الگوریتم ها به آسانی با مدل Map Reduce تطبیق شده و کدام طبقه تاثیرخاصی بر بازده و مقیاس پذیری الگوریتم های منطبق دارد. در ادامه این مقاله  به معرفی پروژه SciCloud می پردازیم..........ترجمه  itrans.ir

نظرات

در ادامه بخوانید...

مسائل امنیتی مرتبط با بستر ابری

در


(سیارک)یکی از مسائل کلیدی رایانش ابری  فقدان کنترل هست. بعنوان اولین مثال، کاربر خدمات (SU) دقیقاً نمی‌داند که داده‌ها در کجا ذخیره می‌شوند و در کدام بخش از ابر پردازش می‌گردند. رایانش و ابر عواملی هستند که متحرک هستند و می‌توانند به سامانه‌های دیگر انتقال پیدا کنند و SU نیز نمی‌تواند به‌صورت مستقیم کنترل شود. در اینترنت، داده‌ها می‌توانند به آزادی در بین محدوده‌های بین‌المللی در دسترس باشند و این امر می‌تواند تهدیدهای امنیتی دیگری نیز ارائه دهد. مثال دوم از فقدان کنترل این است که فراهم‌کننده‌ی ابری (CP) می‌تواند در رابطه با خدمات اجرایی مبلغی دریافت کند که در مورد جزئیات آن اطلاعی ندارد. این حالت از ضعف‌های بخش زیر ساختار به‌عنوان خدمات است. تا به امروز استفاده‌های نادرست از طریق قراردادهای مرتبط با خدمات تنظیم‌شده است، که در این حالت چنین توافق‌ها و موافقت‌نامه‌هایی باید اجرایی شوند و با ابزار نظارتی موردبررسی قرار گیرند.
برخی از مسائل امنیتی بستر ابری عبارت‌اند از :
- SEI1: دسترسی کاربر دارای امتیاز و مجاز: دسترسی به داده‌های ارائه‌شده‌ی حساس باید در رابطه با زیرمجموعه از کاربران مجاز محدود شود (تا بتوان ریسک استفاده‌ی نادرست از نقش‌های مجاز سطح بالا را محدود نمود)؛
- SEI2: دسته‌بندی داده‌ها؛ یک حالت مرتبط با داده‌های مرتبط با کاربران به‌طور حتم باید از داده‌های مرتبط با سایر کاربران تفکیک گردد.
- SEI3: حریم خصوصی: استفاده از اطلاعات حساس ذخیره‌شده در پلتفرم‌های مشخص می‌تواند بیان‌کننده‌ی مسئولیت قانونی و فقدان حسن شهرت باشد؛
- SEI4: استخراج مشکلات موجود در سامانه: یک عامل حمله‌کننده می‌تواند مشکلات سامانه را استخراج کند تا بتواند داده‌های باارزشی را به سرقت ببرد و همچنین از منابع موجود استفاده کند تا برای حملات بعدی خود از آن‌ها استفاده کند.
- SEI5: بازیابی: فراهم‌کننده‌ی خدمات ابری باید بازیابی و احیا کارآمدی برای استفاده از خدمات ارائه دهد که این بازیابی می‌تواند زمانی مورداستفاده قرار گیرد که فاجعه‌ای در رابطه با اطلاعات رخ دهد.
- SEI6: پاسخگویی: حتی اگر خدمات ابری بنا بر دلایل پاسخگویی نتوانند ردیابی شوند، در برخی از موارد این عامل در رابطه با استفاده از این بستر خدماتی ضروری جلوه‌گر می‌شود.
با توجه به زمینه‌ی آخری که بیان شد، پاسخگویی می‌تواند امنیت را افزایش داده و ریسک‌ها را برای هر دو کاربران خدمات و همچنین فراهم‌کننده‌ی خدمات تعدیل نماید. یک مقایسه در بین حریم و پاسخگویی وجود دارد، زیرا هر دو این حالات می‌توانند سابقه‌ای روند اجرایی یک کاربر را نشان دهند که می‌توانند در صورت بروز مشکلاتی از سوی عامل ثالث موردبررسی قرار گیرند. چنین ارزیابی می‌تواند اجزای دارای مشکل و جزئیات داخلی ترتیب بندی بستر ابری را بیان کند. به این طریق یک کاربر سامانه‌ی ابری می‌تواند اطلاعاتی در رابطه با ساختاری داخلی ابری به دست آورد که می‌تواند در صورت وقوع حمله از آن‌ها استفاده کند. یک را حل محتمل در این زمینه می‌تواند استفاده از روش‌های مخفی سازی و حفظ حریم خصوصی باشد که می‌تواند اطلاعات مرتبط با VM را در رابطه با بستر ابری را محدود کند. به‌هرحال فناوری کنونی نمی‌تواند VMM را از دسترسی کاربر به اطلاعات خام محدود نماید. این موضوع می‌تواند مسائل حریم خصوصی و محرمانه بودند را در رابطه با فراهم‌کننده‌ی این خدمات بیان نماید ( و یا این داده‌ها می‌توانند در رابطه با حمله‌ کننده‌ای باشند که بستر میزبانی این سامانه را به خطر می‌اندازند).(سیارک)

در سیارک بخوانیم:

شرکت‌ها چگونه می‌توانند از IaaS استفاده کنند

مزایای سرویس PaaS چیست؟

"SaaS" یا "نرم‌افزار به عنوان سرویس" چیست؟

در باره رایانش ابری چه می دانید؟ 

مدیریت اضطراری ابری 

در باره رایانش ابری چه می دانید؟

"SaaS" یا "نرم‌افزار به عنوان سرویس" چیست؟

نقش نیروی کار IT در استفاده از محاسبات ابری

شرکت‌ها چگونه می‌توانند از IaaS استفاده کنند

سرویس ابر ترکیبی چیست؟

چالش‌ها در محاسبه ابری و بررسی موضوعات امنیتی 

نظرات

در ادامه بخوانید...

شناسایی تهدیدات امنیت ابری

در

شناسایی تهدیدات امنیت ابری برای تقویت چارچوب بکارگیری رایانش یا پردازش ابری

رایانش یا پردازش ابری به شرکت ها اجازه می دهد تا کل فرآیند فن آوری اطلاعات (IT) خود را برون سپاری کنند که آنها را قادر به تمرکز بیشتر بر روی کسب و کار اصلی خود به منظور افزایش بهره وری و نوآوری خود در ارائه خدمات به مشتریان می سازد. رایانش یا پردازش ابری به کسب و کارها اجازه می دهد تا هزینه های سنگین تحمیل شده بر زیرساخت های فناوری اطلاعات (IT) را بدون از دست دادن تمرکز بر نیازهای مشتری کاهش دهند. با این حال، تا یک حد خاصی بکارگیری رایانش یا پردازش ابری تلاش کرده است تا در میان بسیاری از سازمان های استقراریافته و در حال رشد با توجه به مسائل متعدد مربوط به حریم خصوصی و امنیت رشد کند.
مقیاس پذیری و توسعه پذیری معماری های نرم افزار توزیع منجر به ایجاد مفهومی به نام رایانش یا پردازش ابری شده است.

رایانش یا پردازش ابری یک تکنولوژی مورد استفاده برای ارائه خدمات میزبانی به صورت اینترنتی است. از طریق این فن آوری، کاربران لازم نیست تا منابع فناوری اطلاعات (IT) خود را مدیریت کنند؛ در عوض، آنها نیازهای فناوری اطلاعات (IT) خود را به صورت خدمات از طریق اینترنت خریداری می کنند.

هدف اصلی پردازش یا رایانش ابری، ارائه ذخیره سازی امن، سریع و راحت داده ها با تمام خدمات ارائه شده از طریق اینترنت است. رایانش یا پردازش ابری دارای یک معماری توزیع شده می باشد و دارای یک الگوی محاسباتی است که آن را قادر می سازد تا در دسترس بودن، مقیاس پذیری، چابکی، همکاری و سازگاری سیستم را افزایش دهد. فن آوری پردازش یا رایانش ابری، کاهش هزینه های صرف شده در محاسبات زیرساخت ها، افزایش عملکرد و افزایش بهره وری یک سازمان را امکان پذیر می نماید .
ابر دارای بسیاری از ویژگی های خاص نسبت به بسیاری از فن آوری های سنتی است که مانند مجموعه بزرگی از منابع واکثر متعلقات ارائه دهندگان ابر، ناهمگن، توزیع شده و به طور کامل مجازی می باشند. آن به این دلیل است که اقدامات امنیتی سنتی مانند شناسایی، احراز هویت و مجوز در مورد پردازش یا رایانش ابری کافی نیست . کنترل ها و مکانیزم های امنیتی در فناوری اطلاعات (IT) سنتی کم و بیش بسیار شبیه و مفید به آن کنترل ها و مکانیزم های امنیتی شکل فعلی ابر برای بسیاری از مدل های تحویل آن است. اما، پردازش یا رایانش ابری، خطرات سازمانی متفاوت از فناوری اطلاعات (IT) سنتی به دلیل روش های استقرار خدمات، عملیات و فناوری های توانای آن را نشان می دهد. متأسفانه، ادغام امنیتی در این خدمات اغلب باعث می شود ارائه راه حل قابل توجهی برای مشکل دشوارتر شود.
برنامه های کاربردی مهم سازمان متحرک و پایگاه داده بازمانده پر از اطلاعات حساس برای ارائه دهنده سرویس ابر(CSP) با کنترل اطلاعات آنها، موجب نگرانی بسیاری از سازمان ها است. برای کاهش این نگرانی، ارائه دهنده سرویس ابر(CSP) باید اطمینان حاصل کند که آنها همچنان با ارائه به مشتریان با همان امنیت و کنترل در برنامه های کاربردی و داده های حساس به عنوان سیستم کرانه ای ادامه می یابند. به منظور دستیابی به این ارائه دهنده سرویس ابر(CSP) باید شواهد برای یک مشتری فراهم شود تا همه توافق نامه های سطح خدمات برآورده شوند و انطباق بتواند برای حسابرسان ثابت شود .
ما تلاش کرده ایم تا مسائل امنیتی مربوط به پردازش یا رایانش ابری را بر اساس مدل های ارائه خدمات به عنوان مثال مسائل امنیتی با نرم افزار به عنوان یک سرویس، پلت فرم به عنوان یک سرویس و زیرساخت به عنوان یک سرویس ارائه کنیم. همچنین، ما آسیب پذیری ها و تهدیدات را در پردازش یا رایانش ابری شناسایی کرده ایم که منجر به این مسائل امنیتی می شوند، که در آن آسیب پذیری ها اشاره به شکاف هایی در یک سیستم دارند که اجازه می دهد تا حمله موفق باشد و تهدیدها اشاره به حمله ای دارند که در شکاف های یک سیستم مبادرت به بهره برداری از منابع یا اطلاعات می کند. با پرداختن به این مسائل، ما در حال تلاش برای تقویت بخش آمادگی سازمانی چارچوب بکارگیری پردازش یا رایانش ابری هستیم. از آنجایی که امنیت از جمله عملی ترین تهدید برای اتخاذ ابر در نظر گرفته می شود، بسیار مهم است تا اطلاعات امنیتی را به اندازه کافی برای این چارچوب، به منظور به دست آوردن مجدد سطح اعتماد از دست رفته در میان سازمان های کوچک و متوسط اضافه کرد.این مقاله ادامه دارد.......... (سیارک)

در سیارک بخوانیم:

شرکت‌ها چگونه می‌توانند از IaaS استفاده کنند

مزایای سرویس PaaS چیست؟

"SaaS" یا "نرم‌افزار به عنوان سرویس" چیست؟

در باره رایانش ابری چه می دانید؟ 

مدیریت اضطراری ابری 

در باره رایانش ابری چه می دانید؟

"SaaS" یا "نرم‌افزار به عنوان سرویس" چیست؟

نقش نیروی کار IT در استفاده از محاسبات ابری

شرکت‌ها چگونه می‌توانند از IaaS استفاده کنند

سرویس ابر ترکیبی چیست؟

مسائل امنیتی مرتبط با بستر ابری

چالش‌ها در محاسبه ابری و بررسی موضوعات امنیتی 

 

نظرات

در ادامه بخوانید...