Google

[?]

Установил Google Desktop - фигня полная.  Недоделанный, как и, к сожалению, все продукты Google

[Л.К.Вольфхарт]

Я так думаю по теме.
1. Для начала определяется сегмент интернета. Заметили что сразу нас переводят на гугл.ком.уа, гугл.ру?
2.Хотя информации и петабайты (тысяча терабайтов), но у гугл просто ОГРОМНЫЕ вычислительные мощности, супер компьютеры и т.д. некорректно сравнивать с поисковиком на компе - Винда есть Винда)

[?]

Хотя информации и петабайты (тысяча терабайтов), но у гугл просто ОГРОМНЫЕ вычислительные мощности, супер компьютеры и т.д. некорректно сравнивать с поисковиком на компе - Винда есть Винда)

А то что компьютером одновременно пользуется один-три человека, а гуглом десятки-сотни тысяч тебя не смущает?

[Л.К.Вольфхарт]

Хотя информации и петабайты (тысяча терабайтов), но у гугл просто ОГРОМНЫЕ вычислительные мощности, супер компьютеры и т.д. некорректно сравнивать с поисковиком на компе - Винда есть Винда)

А то что компьютером одновременно пользуется один-три человека, а гуглом десятки-сотни тысяч тебя не смущает?

Ну нет) Я же пишу - огромные компы и другое ПО

[Lkob]

Эту тему можно закрыть. Изначально, это был интересный вопрос, но теперь.... нет....
Все дело в том, что гугл не ищет сразу 4 589 985 356 результатов... У него есть база данных, из которой он выбирает только 10, соответствующих вашему запросу (для этого не надо очень много итераций).

 Как оказалось, все очень просто.

Если кому интересно, я докажу, что количество запросов, которые пишет гугл - глупость. Он сам не знает, сколько результатов в итоге будет...

[buka]

Эту тему можно закрыть. Изначально, это был интересный вопрос, но теперь.... нет....
Все дело в том, что гугл не ищет сразу 4 589 985 356 результатов... У него есть база данных, из которой он выбирает только 10, соответствующих вашему запросу (для этого не надо очень много итераций).

 Как оказалось, все очень просто.

Если кому интересно, я докажу, что количество запросов, которые пишет гугл - глупость. Он сам не знает, сколько результатов в итоге будет...

А как он находит эти десять?
Особенно, если ищется фраза?
Ещё более простой вопрос.
Как он убеждается, что конкретной фразы нет, если все слова присутствуют в миллионе ссылок?

[Lkob]

Buka, все весьма просто. Гуглу не надо находить сразу 5 543 474 485 результатов. Он делает проще. Он сравнивает перую букву, которую вы ввели, далее втору, третью и т.д. Этот запрос можно решить на самом "не быстром" компьютере очень быстро. Вот в чем секрет.
Как написал мой знакомый программист, так работает любой дадасет.

[buka]

Buka, все весьма просто. Гуглу не надо находить сразу 5 543 474 485 результатов. Он делает проще. Он сравнивает перую букву, которую вы ввели, далее втору, третью и т.д. Этот запрос можно решить на самом "не быстром" компьютере очень быстро. Вот в чем секрет.
Как написал мой знакомый программист, так работает любой дадасет.

Ну, скажем, сравнил 1-ю букву (напр. Й), взял К первых попаданий,
сравнил вторую букву (напр. У), взял К первых попаданий,
сравнил 3-ю букву (напр. Х), взял К первых попаданий,
допустим далее, что все 3 буквы присутствуют в М ссылок из К.
Как ему убедиться, что он нашёл ЙУХ, а не наоборот?
Качать все М ссылок и сравнивать он не вложится ни в какие рамки.
Я уже не говорю о "ХАПУГОЙ" или "моЙ мУж ХУлиган"

[Илья]

что количество запросов, которые пишет гугл - глупость.

И тут развод.

[Deaduwka]

Buka, все весьма просто. Гуглу не надо находить сразу 5 543 474 485 результатов. Он делает проще. Он сравнивает перую букву, которую вы ввели, далее втору, третью и т.д. Этот запрос можно решить на самом "не быстром" компьютере очень быстро. Вот в чем секрет.
Как написал мой знакомый программист, так работает любой дадасет.

Ну я не так писал) сам запрос строится аццкой машиной смерти гугла, благодаря умам сумасшедших профессоров, которые сгенерили алгоритмы. но если говорить проще, то при первом заходе на страницу клиенту (тоесть браузеру) сервер отдают по факту 11 записей (10 ссылок и количество).
Что касается по поводу "вхождений" и "попаданий". Тут все решается на уровне сервера БД + ихняя хитрая структура данных. Вы же не думаете, что гугл при вашем запросе начинает заходить на сайты и искать постранично ваш текст? )) У него своя БД, которая наполняется благодаря граммотному СЕО, sitemap'ам, структуре сайта... наполняет эту БД гугл-бот...
Ну и да.. lkob, побуквенно никто никогда нигде не сравнивал) сравнение идет по словам конечноже .. select .. from .. where title like %Леша - клевый чувак% выберет сайты у которых в заголовке написано, что Леха - клевый чувак )

[Алекс Г]

я седня зарегился и еще не знаю, умный я или нет, но позвольте маленький коммент. если я правильно понял, что гугл сравнивается с поиском на жестком диске, то это конечно не совсем корректно. У стандартного средства Винды нет базы данных с индексами всех слов, которые могут подлежать поиску, поэтому происходит реальный просмотр всех файлов, что конечно очень медленно.  А у Гугла как выше и написали всё уже проиндексировано. Если на локальный комп поставить Гугл Десктоп (который тоже выше упоминался), то поиск и на локальном компе будет занимать доли секунды. Правда база очень большая - несколько гигов минимум.

[buka]

Вопрос в том, на каком уровне происходит индексирование.
Если на уровне слов, то можно вложиться в гигабайты, но тогда как искать фразы?
Если на уровне фраз, то ни в гига ни в тера, ни в пета не вложиться...

[Алекс Г]

Вопрос в том, на каком уровне происходит индексирование.
Если на уровне слов, то можно вложиться в гигабайты, но тогда как искать фразы?
Если на уровне фраз, то ни в гига ни в тера, ни в пета не вложиться...

понятно. думаю, что на уровне слов и все. если поиск одного слова занимает например 0,1 сек. то фраза из N слов будет искаться в базе 0,1N секунд + затраты на аггрегацию данных. Учитывая, что N в среднестатистическом запросе порядка 1-5, время не сильно меняется при умножении на N. Аггрегация в принципе тоже может быть подготовлена заранее наверное. Хотя как? да, вот это интересный вопрос. Например число парных комбинаций (для образования связей между хотя бы двумя понятиями) при словаре в 30000 слов составит 30000!=10^121287 (калькулятор Винды подсказал). Очень много. Вопрос действительно интересный, актуальный, и наверное сложный.

[Маша]

Просто к слову

[Lkob]

Из той же серии.
//текст доступен после регистрации//