Google на чьей стороне?

2. При подключении через Тор поиск часто недоступен

тоже заметил это недавно. вот ведь мрази :))

Заодно отбиваясь от ботов, которые делают накрутки и портят статистику и рейтинги

ну а почему тогда так избирательно? для некоторых узлов по прежнему доступна треклятая капча.

неважно tor-exit это, прокси, узел бот-сети или промежуточный поисковик

в том то и дело, что только узлы Тора. cколько юзал всевозможных прокси, никогда капчи не требовали. блочат именно Тор.

кстати и "наша обезьяна-хуяндекс", тоже перенял эту нехорошую привычку с капчей (только кому вы нужны со своим глюкавым индексированием)

а вот мелкософтный bing и задохлик yahoo, пока никаких ограничений не вводит, по крайней мере у меня не попадалось

С тех узлов, у которых большая пропускная способность, с тех и идёт больше запросов. Тех и блочат чаще. Те, которые имеют низкую пропускную способность или редко включаются в онлайн, тех и реже блочат. Если бы было надо, они бы явно заблочили всех, кто приходит с тор-сети, как это сделано в википедии для редактирования страниц. Но наоборот, они явно давали специально существовать всяким скруглам по какой-то полугласной договорённости, хотя и меняли синтаксис своих запросов, не уведомляя эти прокси-поисковики, отчего они периодически не работали. Поддержку этого Scroogle кажется прекратил сам автор из-за этого и больших расходов на трафик.

с них не набирается большого числа запросов. Можете даже со своего реального неанонимного айпишника начать делать тысячи запросов в минуту и вас также заблочат.

Гугл занимается зарабатыванием денег впервую очередь. А как это делать, предоставляя бесплатные услуги, кроме как следить за пользователями?

Продажа лучших мест в результатах поиска, контекстная реклама – легальные способы заработка для поисковика. Хотя торговля персональными данными наверное действительно выходней.

После кончины scroogle перешёл на startpage.com. Этот анонимный поисковик вроде свободен от упомянутых недостатков.

1. С отключенным яваскрипт гугл выдаёт битые ссылки

Странно, не замечал.

2. При подключении через Тор поиск часто недоступен

Видел только для яндекса. Гугл по-прежнему просто выдаёт капчу. Её проходишь — и дальше всё хорошо.

После кончины scroogle перешёл на startpage.com. Этот анонимный поисковик вроде свободен от упомянутых недостатков.

Scroogle был лучше. Вывод со startpage не совпадает с собственно выводом сообщений по гуглу. Кое-что, не слишком распространённое, на ура ищется в гугле, а startpage этого вообще не находит. Со scroogle'ом такого не было (или очень редко).

Да, наверное яваскрипт не при чём. гугл выдаёт не прямые ссылки, а типа

http://www.google.com/url?q=ht.....qnKE9ScevXcU0EiuHCdw

т.е. даёт ссылку на себя с параметром, содержащим закодированную искомую страницу. Очевидно это делается для получения статистики переходов пользователей с отключенным яваскриптом (при включенном яваскрипте в такой косвенной адресации нет необходимости). У меня в прокси-сервере стоит опция fast-redirect, которая раскодирует содержимое параметра и сразу переходит на страницу, не предоставляя гуглу информацию об этом. Но гугл стал использовать не стандартное 2-байтовое url-кодирование, а 4-байтовое (наверное для поддержки юникода). Возможно в будущем вообще начнёт шифровать свои ссылки.

Капча через Тор была раньше, сейчас гугл просто выдаёт свою 404 ошибку.

У меня такие же три ответа, как у Гость (02/04/2012 02:34.

90% пользователей далее 3-й страницы не заглядывают, а большинство посетителей получают стандартную выдачу результатов по 10 сайтов на странице

жесткая цензура поисковика не нужна – достаточно нежелательную информацию запрятать поглубже и не пускать на первые (три) страницы. А дальше всё будет определяться большинством голосов, поскольку демократия...

Продажа лучших мест в результатах поиска – легальный способ заработка для поисковика

Поэтому понятно, почему ОНИ так борются за эту "демократию" – если "денежному мешку" (а тем паче "печатному станку") не нравится выдача на первых страницах, он просто покупает первые места по этим ключевым словам и совершенно легально забивает её своим "мусором". "О дивный новый мир!"

У меня в прокси-сервере стоит опция fast-redirect, которая раскодирует содержимое параметра и сразу переходит на страницу, не предоставляя гуглу информацию об этом.

Какой proxy-сервер используется — не подскажете?

90% пользователей далее 3-й страницы не заглядывают

Часто ищется не что-то кардинально новое, а то, что уже видел в интернете, но не знаешь точной ссылки. Если нужная ссылка на первой странице в поиске, зачем все 10 просматривать? Это-то как раз нормально. Если что-то реально нужно найти, то смотришь и 10 и 20 страниц, и более — зависит от заинтересованности в вопросе (в целом с негативным влиянием на манипуляции со статистикой, конечно, согласен).

С отключенным яваскрипт гугл выдаёт битые ссылки

Странно, не замечал.

Уже заметил. Да, иногда бывает. Приходится такие руками копировать и вставлять в новой вкладке браузера.

При подключении через Тор поиск часто недоступен

Видел только для яндекса. Гугл по-прежнему просто выдаёт капчу. Её проходишь — и дальше всё хорошо.

Теперь всё чаще и чаще начинаю видеть блокировку гуглом, увы :(

У меня такие же три ответа, как у Гость (02/04/2012 02:34).

У unknown'а такие же 3 ответа, как у меня в этом посте. Recursion started :)

Какой proxy-сервер используется — не подскажете?

privoxy

Кстати ошибся выше – стандартное url-кодирование 1-байтовое, а гугл стал использовать 2-байтовое.

покупает первые места по этим ключевым словам и совершенно легально забивает её своим "мусором".

Ну тут в идеале можно было бы иметь законодательное требование явно отделять (отмечать) рекламную выдачу от "честной" и открытость алгоритмов индексирования и ранжирования включая публичный аудит на соответствие реализации заявленному.

открытость алгоритмов индексирования и ранжирования

Ну Вы и загнули :) Подозреваю, что это, хотя бы частично, отнесено к коммерческой тайне гугла (могу наврать).

Ну я же написал "в идеале" :)
А в принципе в критических для своей жизнедеятельности областях общество вполне может ограничивать свободу своих частей, и на мой взгляд алгоритмы, применяемые в поисковике глобального уровня как раз и относятся к такому случаю.

алгоритмы, применяемые в поисковике глобального уровня

Собственно говоря всё (будущее) протестное движение по поводу "честных выборов" на самом деле можно свести к этому вопросу.

Вот, даже лозунг придумал: "Честная поисковая система – основа демократии!"