تكنولوژي گوگل

«جدا از مشكلات مقياس گذاري تكنيك هاي جستجوي قديمي، براي داده هاي به اين اندازه، تكنيك هاي جديد رقابتي كه استفاده از نمايش اطلاعات اضافي در فرا متن ها را براي نتيجة‌ جستجوي بهتر شامل مي‌شود وجود دارد… خيزش سريع تكنولوژي براي جمع آوري مستندات وب و نگهداري آن ها بصورت بروز لازم و ضروري است. فضاي ذخيره سازي بايد به نحو موثري جهت ذخيرة ايندكس ها و مستندا تشان استفاده شود. سيستم indexing بايد صدها گيگابايت از داده ها را به شكل موثري پردازش كند. پرس وجوها بايد با سرعت صدتا هزار بار در هر ثانيه انجام شوند» سرجي برين ولاورنس پيج، 1997 [1]

در ابتدا BackRub وجود داشت، سرويسي كه به گوگل تبديل شد. امروزه گوگل با دقت بيشتري به الگوريتم pageRank خود وابسته است. PageRank الگوريتمي انتخابي است كه ارزش را به چيز مهمتر مي دهد. نشانگر اهميت يك صفحة وب تعداد صفحاتي است كه به آن صفحة خاص لينك مي شوند.

آقايان بِريِن و پِيچ خيلي زود فاكتور جديدي را به اين الگوريتم اضافه كردند كه رأي را به صفحة مهمتر مي داد. ايدة آنها اين بود كه صفحه اي مهمتر است كه تعداد افراد بيشتري بر روي آن كليك مي كنند.كليك هاي بيشتر روي يك صفحة وب باعث مي شد كه آن صفحه وب داراي ارزش و اهميت بيشتري شود. در انتها، آرام آرام فاكتورهاي ديگري نيز به اين الگوريتم اضافه شد. براي مثال ، تعداد دفعاتي كه محتواي يك صفحه تغيير

مي كند نيز يكي از فاكتور هاي مهم شد.

تكنولوژي pogeRank گوگل دقيقاً به جستجوي اينترنتي وابسته شده است. براي نمونه، الگوريتم رأي گيري(Voting Algorithm) كارايي كمتري در عمل جستجو دارد. توجهي كه گوگل نسبت به تكنولوژي جستجويش كرد، باعث تحت الشعاع قرار گرفتن افكار عمومي راجع به اين شركت شد. جستجوي گوگل همانند يك ستارة نوظهوراست‌كه‌درخشندگي‌اش‌ باعث شده تا ناظران نتوانند جهات ديگر اين پديده را به وضوح و دقيق مشاهده كنند.

صرف نظر از اين ، گوگل يك شركت تكنولوژي است[2]بعضي از اين تكنولوژي ها هنگامي كه دريك مقاله توضيح داده مي شوند مانند مقالة“The Anatomy of a Large –ScaleHypertextual” كه در همان اوايل مطرح شد، خواستار پيدا مي كنند. مقاله هاي اخير مانند

“MapReduce: Simplified Data search Engine"مي توانند به آرامي خوانده شوند[3] با توجه به اينكه گوگل يك تكنولوژي است، توضيح دادن اينكه گوگل چكار مي كند، درجملات ساده وقابل هضم قدري مشكل است. شكل زير يك ديد كلي از چهار چوب گوگل را ارائه مي كند.

شكل 3-1: نمايي كلي از چهار چوب گوگل

مهمترين قسمت هاي تكنولوژي گوگل كه پايه و اساس دياگرام Googleplex است شامل موارد زير مي‌شوند:

[a]: اصلاح لينوكس به منظور اجازه دادن به فايل هاي بزرگ و ديگر توابع درجهت دادن شتاب بيشتر به همة سيستم

[b]: يك معماري توزيع شده كه به برنامه هاي كار بردي و مقياس بندي ها اجازه مي دهد كه بدون توجه به نوع آنها و بدون نياز به نصب سيستم عاملي ديگر به سيستم متصل شوند.

[c]: يك معماري فني كه در هر سطح مقياس بندي مشابه بهم هستند.

[d]: يك معماري مركزي وب، كه به انواع جديد برنامه هاي كاربردي، بدون محدوديت يك زبان برنامه‌نويسي اجازه مي دهد تا ساخته شوند.

تكنولوژي گوگل از يك پيشرفت پيوسته و يا آنچه كه مديران مشاور فني ژاپني به آن Kaizan مي گويند بوجود آمده است. هر تغيير تكنيكي گوگل ممكن است براي كاربران متوسط آن بي اهميت باشد اما زمانيكه بصورت كامل آن را تفسير مي كنند مزاياي فن شناسانة گوگل از ابداعات افزايشي و تصاعدي آن، سازگاري هوشمندانه و ماهرانة برداشت هاي پژوهشي – تحقيقي و تنظيم عالي بيزانس براي لينو كس حاصل مي‌شود. زماني، يك تاريخ نويس تكنولوژي ، از بين صدها پيشرفتي كه گوگل در اين نُه سال اخير آنها را رهبري كرده، قادر به تشخيص يك يا دو اختراع مهم كه برمبناي pageRank است خواهد بود. منتقدين گوگل در آينده خواهند ديد كه گوگل هستة پردازش تكنولوژي خود را با منابع مختلف پيوند زده است. جهت توضيح ، ساختار مراكز دادة گوگل و ارسال پيام به اين مراكز و از اين مراكز به جاهاي ديگر راههاي زيادي وجود دارد كه از طريق محاسبات شبكه اي صورت مي گيرد.[4] توانايي گوگل در خواندن داده بصورت همزمان از كامپيوتر هاي مختلف ، يادآور تكنولوژي BiTorrent است.[5] گوگل از سخت افزار مناسب يا “White box" در مراكز داده اش استفاده مي كند كه نشان دهندة خصلت كامپيوتر دوست بودن گوگل است. استفاده از حافظه و ديسك ها براي ذخيرة چنيدن كپي از داده ها ناشي از محدوديت هاي محاسباتي است.

گوگل به تكنولوژي دست يافت، سپس آنها را گلچين كرد و از راههاي مختلف نزديك شدن يك بلاك ساختمان، را به سيستم هاي با مقياس بزرگ نمايش داده گوگل از اين گلچين كردن و دسته بندي كردن سودهاي زيادي برد كه از آن جمله مي توان به اين موارد اشاره كرد: اولاً چهارچوب محاسباتي گوگل عملكرد سيستم را از سخت افزارهاي كم هزينه وبا قيمت نازل جدا كرد. دوماً، گوگل درمورد تنگناهاي سيستم عامل هايي از قبيل Solavis ، ويندوز سرور پيشرفته و لينوكس هاي آماده كاركرده است. سوماً ، گوگل ايده هاي برنامه نويسي خوبي از زبانهاي برنامه نويسي ديگر گرفته ، و توابع و كتابخانه هاي جديدي را جهت حذف بيشتر نيازهاي كدنويسي دستي براي موازي سازي يك برنامه كاربردي در سر تاسر سرورهاي گوگل پياده سازي كرده است.[6]

طبق نظر جف دين كه يكي از مهندسان ارشد گوگل است، مهندسي گوگل ترتيبي از آشفتگي هاست.[7] اين سخن نه شگفت انگيز است ونه لزوماً سخني منفي است. Googleplex جعبه اي است كوچك جهت برنامه نويسي و طراحي وابزارهاي آن پيچيده‌وغيرطبيعي اند. مقابله با مشكلات گوگل را تبديل به مكاني براي بهترين و درخشنده ترين تكنيك هاي جهان كرده است. طبيعت خلاق با حركت گوگل تركيب شده و همين امر پيش گويي ابداعات بعدي گوگل را مشكل ساخته است. قبل از مرور دقيق تر قسمت هاي انتخاب شده از تكنولوژي گوگل ، دياگرام «چهارچوب محاسبات گوگل» مروري بر Googleplex و برخي از تكنولوژي هاي آن ايجاد مي كند و موضوع بحث اين فصل نيز راجع به همين مقوله خواهد بود.

Page Rank جهت كار كردن به مقدار زيادي سيكل محاسبات بر حسب اسب بخار نياز دارد. هنگاميكه گوگل در سال 1996 در حال پيشرفت بود آقايان برين و پيچ محاسبات را محدود كردند. براي اينكه pageRank كار كند، آنها مجبور بودند طريقة توليد الگوريتم pageRank را بر روي كامپيوترهاي معمولي و پيش پا افتادة موجود بفهمند. از ابتدا- و با توجه به تصادف پيشرفت تقريباً مسلم گوگل با مايكروسافت اين نتيجه مهم است- گوگل بايد مشكل مهندسي نرم افزار و سخت افزار خود را براي به موفقيت رسيدن جستجوها حل مي كرد. در حقيقت هنگاميكه راجع به تكنولوژي گوگل بحث مي‌كنيم خيلي مهم است كه در ذهن خود اين موضوع را داشته باشيم كه pageRank تنها به اين دليل مهم است كه مي تواند به سرعت دردنياي واقعي اجرا شود ونه در يك كامپيوتر بي بار ويا دريك آزمايشگاه روشن همراه با نور آبي سوپر كامپيوترها.

شكل تركيبي گوگل: مهندسي نرم افزار وسخت افزار نشان مي دهند كه چهار چوب تكنولوژي گوگل داراي دو ناحية فعاليت است. يك قسمت مهندسي نرم افزار است كه تلاش مي كند روي pageRank وديگربرنامه‌هاي‌كاربردي‌متمركز ‌‌‌‌‌‌‌‌شود.مهندسي‌نرم افزاري كه در اينجا بكار رفته است به معناي نوشتن كد و فكر كردن دربارة اينكه چگونه يك سيستم كامپيوتري عمل كند تابيشترين سرعت عمل را داشته باشد است. سرعت عمل يعني زمان پاسخ گويي زير يك ثانيه ، كه گوگل قادر است علي رغم افزايش كاربران، برنامه هاي كاربردي و پردازش داده ها، آن را حفظ نمايد.

3-2:تركيب گوگل: نوآوري سخت افزار و نرم افزار

شكل 3-2: نماي تركيبي گوگل

قسمت ديگر برروي سخت افزار متمركز شده است. گوگل داراي رك هاي سرور، مكاني براي كابل ها، وسايل خنك كننده و لايه‌هاي مراكز داده است. بازدهي‌ازهزينه‌هاي عملياتي پائين تر است و توانايي مقياس بندي، بعنوان درخواستي براي افزايش منابع محاسباتي است. با يك گردش سريع تر و حذف كارهاي پردرد سر همانند پشتيباني گرفتن از داده ها، ابداع سخت افزار گوگل، آن را به يك مزيت رقابتي تبديل كرده است كه بعضي رقباي آن مي توانند دراواسط سال 2005 با آن برابري كنند.

Page Rank به همراه لايه هاي محاسباتي اضافي كه در طي چند سال اضافه شد باعث مشكلات نرم افزاري قابل ملاحظه اي شده است. سيستم گوگل بايد صفحات وب را پيدا مي كرد و دوجين از آنها را اجرا مي نمود، اگرنبودبايد صدها صفحة وب‌راآناليزمي كرد. يك لينك كه به يك صفحه اشاره مي كند را درنظر بگيريد، گوگل بايد يك توالي ازآنها را براي 8 ميليارد صفحة وب نگهدارد.

براي يك صفحة وب تكي همراه با يك لينك كه به‌آن‌اشاره‌مي‌كند مشكل جزئي وبي اهميت است. يك لينك معادل يك اشاره گر مي باشد، اما چه اتقاقي ممكن است رخ دهد زمانيكه يك سايت داراي 10000 لينك باشد كه به آن اشاره مي كند گاهي اوقات مشكل خيلي بزرگ مي‌شود و محاسبات قابل توجهي لازم دارد. بعضي از اين لينك ها احتمالاً از سايت هايي كه داراي ترافيك بيشتري نسبت به بقيه هستند مي آيند و بعضي ديگر ممكن است از سايت هايي كه قصد مسخره كردن و دست انداختن گوگل براي تفريح و سرگرمي دارند آمده باشند. محاسبات مرتب كردن مقدار هر كدام از اين لينك ها، به كار محاسباتي كه به pageRank مربوط مي‌شود اضافه مي گردد كه داشتن حساب اين فاكتورها كاربزرگي است. اندازه گيري فاكتورهاي مختلف بر ضد يكديگر، براي يك صفحه اگر بدون كمك يك ماشين حساب انجام شود مي تواند كار مشكلي باشد. اين محاسبات را در نظر بگيريد و آن رابه دو ميليادر صفحة وب اعمال كنيد و سپس وظايف محاسبات را به يك سوپر كامپيوتر بدهيد.

هنوز هم اين كار، هرروزه وقت گوگل و پردازش هاي pageRank آن را پر مي كند. كاربران به اين موضوع فكر نمي كنند كه چرا تكنولوژي، يك روال جستجو يا سيصد ميليون پرس وجوي گوگل كه هر روز نيز بكار مي برد را تأييد مي كند. تكنولوژي گوگل، در يك ثانيه در حدود سيصد و چهل پرس وجورا به دوازده زبان از كاربران دنيا انجام مي دهد.

تكنولوژي گوگل را نمي توان از جستجو متمايز كرد زيرا جستجو اصلي ترين محرك در دنياي گوگل بوده است. هنگاميكه آقايان برين و پيچ توانستند با تعداد محدودي كامپيوتر كار كنند والگوريتم pageRank را راه اندازي نمايند، آن وقت بود كه گوگل در يك جادة سرازيري قرار گرفت. نرم افزار احتياج به سخت افزار وزير ساختار هاي شبكه اي مناسب دارد تا بتواند كار كند. اگر سخت افزار و نرم افزار گوگل نبود، گوگلي هم وجود نداشت.

در گوگل سخت افزار و نرم افزار بشكل جدانشدني به هم پيوند خورده اند. با هر ويژگي جديد در نرم افزار، مهندسين گوگل بايد متقابلاً يك ويژگي مهم را به سخت افزار اضافه نمايند و هنگاميكه يك ويژگي جديد به سخت افزار اضافه مي‌شود، مهندسين گوگل با حرص و طمع از اين ويژگي براي عملكرد بهتر نرم افزار استفاده مي كنند.

دارايي هاي گوگل عبارتند از: سوپر كامپيوتر ها، ابزارهاي نرم افزاري جالب و چندين هزار كاربر كه تلاش مي كنند تا بفهمند Googleplex چه كارهاي ديگري مي تواند انجام دهد. بعضي از سرهم بندي ها از مشكلات ناشي از بيت ها وبايت ها، نوشتن كد و سرهم كردن برنامه هاي كاربردي خارج از توابع موجود ناشي مي شوند كه نتيجه يك محصول خيره كننده، خواهد بود. مشكلات ديگر از لحيم كردن و جوش دادن آهن و كاربا ابزار آلاتي مانند پيچ گوشتي بوجود مي آيد. اين‌مهندسين بدنبال‌راه‌حلي‌براي‌ساختن‌سخت افزار و سيستم فيزيكي هستند كه بتواند محاسباتي را كه براي راه اندازي pageRank مورد نيازاست انجام دهد. نزديكي گوگل به مراكز داده، رك ها درمراكز داده و وسايل موجود در رك ها كه در مراكز داده قرار دارند، چابك تر از سيستم جستجوي شركت هستند. سخت افزارها بايد هوشمند تر گردند. سخت افزارها بايد بصورت 7×24، درشرايط بارگذاري پيوسته و در مكان هايي از سوئيس تا پكن كار كنند. تناسب بين سخت افزار ونرم افزار شايد يكي از موفقيت هاي مهم گوگل بوده است.

3-3:چگونه گوگل از ياهو و MSN متمايز مي‌شود

تكنولوژي گوگل همانند ديگر تكنولوژي هاي شركت هاي آنلاين بصورت همزمان و مقارن است، اما در عين حال خيلي متفاوت از آنهاست. معمولاً يك مركز داده، تسهيلاتي بدست آمده است؛ و بوسيلة شخص ثالثي ، جايي كه مشتري سرورهاي خود را در آنجا قرار مي دهد بكار انداخته مي‌شود. كاركنان و پرسنل مركز داده، قدرت، وضعيت هوا و نگهداري روال ها را مديريت مي كنند. مشتري، كامپيوتر و كامپوننت هارامشخص مي كند. هنگاميكه يك مركز داده بايد توسعه داده شود، كادرتسهيلات بايد تقريباً تمام كارهاي روزمرة خود را انجام دهند و ممكن است با مهندسين مشتري براي برخي وظايف تخصصي كاركنند. قبل از نگاه به تفاوت هاي مهم گوگل و دو رقيب بزرگ او، با هم ليستي از ويژگي هاي مراكز دادة گوگل را مرور مي‌كنيم.

[1]- From “The Anatomy of a Large-Scale Hypertextual Web Search Engine” , WWW. db. Standord . edu/~backrub/google. html

[2] - پيوست اين مقاله شامل ليستي از بيش از شصت اختراع به ثبت رسيدة گوگل است. اين ليست كاملاً تكميل نمي باشد، اما به هر حال ليستي از تعداد اختراعات و توضيح خلاصه اي در مورد بعضي از آنها كه مهمتر هستند را در اختيار مي گذارد. اختراع ثبت شدةPageRank متعلق به هئيت علمي دانشگاه استنفورد مي باشد. اختراعات گوگل سعي مي كنند در جهت تمركز بروي سيستم ها و روش هايي براي ارتباطات ، تبليغات و ديگر فعاليت هاي شركت حركت كنند.

[3] - جف دين پژوهشگر سابق Alta Vista و مهندس ارشد گوگل از MapReduce طرفداري كرده است. بيشتر مقالات اخير او در آدرس Http:// labs . google. Com/people/jeff/. موجود مي باشند.

[4] - محاسبات شبكه اي درحال بكار بردن منابعي از بسياري كامپييوتر ها در يك شبكه براي يك مشكل يا يك برنامة كاربردي است. گوگل از تكنولوژي grid-like در سيستم كامپيوتري توزيع شده اش استفاده مي كند.

[5] - BitTorrent يك ابزار توزيع فايل همتاست كه به وسيله برنامه نويس برام كوهن در سال 2001 نوشته شده است پياده سازي مرجع آن به زبان پايتون و تحت گواهينامه MIT است.

[6] - گوگل در هر كجا بين 100000 تا 165000 سرور و يا حتي بيشتر دارد. سرورها درون كلاسترهايي سازماندهي شده اند . كلاسترها ممكن است درون يك رك يا سرتاسر رك هاي متعدد سرورها قرار داشته باشند. بعضي از توابع گوگل در سرتاسر مراكز داده توزيع شده اند.

[7] - از سخنراني دكتر دين در دانشگاه واشنگتن دراكتبر سال 2001 . وب سايت

http:// www. uwtv.org/programs/displayevent.asp? rid=2459. را مشاهده كنيد.