Техническая мудрость, стоящая за успехом поисковой машиной Google, возможно, сводится к пониманию тривиального: ПК ломаются.
В среду вице-президент поискового гиганта Урс Хольцль, выступив на конференции для программистов EclipseCon в Берлингейме, штат Калифорния, пролил некоторый свет на то, как функционируют вычислительные центры Google . Многие считают опыт работы компании даже более ценным, чем те алгоритмы поиска, с которых она начиналась.
Google смогла построить свою вычислительную инфраструктуру за миллионы, а не десятки миллионов долларов, покупая относительно дешевые машины. Оценив стоимость аппаратуры, инженеры компании поняли, что несколько высококлассных серверов на восьми и более мощных процессорах обойдутся значительно дороже, чем десятки более простых commodity-серверов.
Фокус в том, чтобы заставить эти стойки с аппаратурой работать в комплексе и чтобы отказ одной машины не нарушал выполнения таких операций, как обработка запросов или демонстрация рекламы.
Возьмите домашний ПК, сказал Хольцль. Допустим (оптимистически), что потребительский ПК выходит из строя из-за сбоя в программе или отказа аппаратуры раз в три года. «В масштабах Google… когда у вас тысячи ПК, отказов нужно ожидать ежедневно. Поэтому лучше всего, чтобы их последствия устранялись автоматически, иначе вы получите перебои в обслуживании».
Google, известная своей строгой практикой отбора специалистов, нацеленной на привлечение самых ярких умов компьютерной индустрии, создала ряд программных инструментов для управления своей вычислительной инфраструктурой. Компания написала собственную файловую систему Google File System, оптимизированную для работы с крупными, 64-Мбайт блоками данных. Она спроектирована с учетом того, что отказ диска или отключение сетевого кабеля может произойти в любое время.
Данные реплицируются в трех местах, и есть «главная» машина, которая находит копии фрагментов таких данных, как индекс ключевых слов, в том случае, если оригинал перестал быть достоверным. «Программное обеспечение становится нечувствительным к отказам. Это делает дешевые массовые ПК пригодными для работы с интернетом», — пояснил Хольцль.
РС-серверы Google, исчисляемые тысячами, работают с упрощенной версией Linux, которая основана на дистрибутиве Red Hat, но на самом деле это просто ядро операционной системы, модифицированное для Google.
Урс Хольцль, вице-президент Google Еще компания создала систему для управления большим количеством данных и быстрой обработки запросов. Google разделила веб на миллионы участков, которые реплицируются в случае отказа.
Не удивительно, что компания ведет индекс слов, присутствующих в вебе, и хранит его в виде массива крупных файлов. Но есть также серверы документов с копиями веб-страниц, которые обходит и загружает Google.Другая важная инженерная находка Google: программы, очень рационально функционирующие на тысячах серверов. Обычно создание приложений для работы на «параллельной» конфигурации серверов требует специализированных инструментов и знаний.
Инструмент программирования Google, который называется MapReduce, автоматизирует задачу восстановления программы в случае отказа и играет важную роль для сохранения низкого уровня расходов компании.
«Расходы складываются из затрат на поддержание работоспособности оборудования и времени, за которое программисты могут написать что-то полезное», — сказал Хольцль, добавив, что в прошлом году Google начала использовать MapReduce более широко.
Наконец, Google создала программное обеспечение «группового» планирования заданий, которое играет роль диспетчера для миллионов операций. Это ПО, называемое Global Work Queue, разбивает задачи на множество мелких подзадач и распределяет их между машинами.
При всем своем резервировании система все же не решает всех проблем, признал Хольцль. Он продемонстрировал фотографию, на которой изображены шесть пожарных машин, вызванных по тревоге к одному из вычислительных центров Google. «Тут выходом из строя одного ПК не ограничилось», — прокомментировал Хольцль.
В последовавшем за выступлением интервью CNET News.com Хольцль добавил, что еще одним важным фактором, влияющим на конструкцию вычислительных центров Google, является стоимость электроэнергии. «Физическая стоимость всей работы, не считая зарплаты, прямо пропорциональна затратам на электроэнергию, — сказал он. — Электроэнергия становится фактором экономии, способным удешевить эксплуатацию вычислительного центра. Нужно не только покупать дешевые компьютеры, но и сохранять на разумном уровне текущие расходы».
Источник: HackZona.Ru