Как видят сайты RSS-агрегаторы? Видят ли тип агрегатора (например, FeedReader)?
Здравствуйте, уважаемые!
Возник такой вопрос, как видят RSS-ленты программы, котороми они читаются?
Т.е., настроил например пользователь чтение новостей с сайта через RSS-агрегатор FeedReader, видит ли сайт в этом случае, что клиент (RSS-агрегатор), скачивающий ленту, это именно FeedReader? И если видит, значит видит и IP этого агрегатора (т.е. IP пользователя)?
Понимаю, что решений для расширивания ленты может быть много разных, хотелось бы услышать от знающих, какие решения для лент RSS видят (или не видят) тип RSS-агрегатора и его IP.
Заранее благодарю за ваши ответы!
комментариев: 11558 документов: 1036 редакций: 4118
Как значение HTTP-заголовка User-Agent. Агрегатор — обычный HTTP-клиент, так что через HTTP-заголовки GET-запросов утекает примерно такая же информация, как и у веб-брауеров: там могут быть и куки, и кэш, и что угодно ещё в рамках протокола.
Программа же клиентская? Ясно дело, что видит.
комментариев: 5 документов: 0 редакций: 0
Понятно. То есть если сидеть без той же прокси или VPN сайты видят названия агрегаторов.
А если это онлайновый RSS-агрегатор? Наример, вроде закрытого не так давно Google Reader-а? Сайты видят и типы онлайновых агрегаторов? Т.е., вот это – Google Reader, а вот это еще какой-то сервис и т.д.
Еще вопрос, насчет куков и кешей, может быть такое, что агрегатор выдает инфу какому-то сайту и о других подписках, т.е. с других сайтов? Или следы этих подписок?
_
И если кто знает, подскажите вариант с сервисом (онлайновым например), который расшаривает RSS, который бы видел побольше о пользователе?
комментариев: 11558 документов: 1036 редакций: 4118
Название (точнее, хидер User-Agent; что программа передаёт в этом хидере, вопрос отдельный) они видят в любом случае, если этот хидер тем или иным образом не отфильтровывается. Ни обычные прокси, ни VPN сами не занимаются фильтрацией трафика.
Ещё раз: любой HTTP-клиент обязан исполнять HTTP-протокол. Будь агрегатор онлайновый или клиентский, он скачивает ленты не через астрал, а с помощью протокола HTTP (коли уж ленты хостятся в вебе). Так что тот или иной user-agent отдаёт и онлайн-сервис.
Нет предела теоретической кривизне
рук программистанаписанной программы. Ставьте Wireshark и разбирайте трафик своего агрегатора, если этот вопрос принципиален.Лично я не понимаю, о чём Вы спрашиваете в этом месте.
комментариев: 5 документов: 0 редакций: 0
С VPN и проскси что-то я затупил. Все понял.
Имею ввиду, онлайновый сервис какой-нибудь, через который можно поднять свою RSS-ленту, и через кабинет этой ленты посмотреть на логи, котороые появятся после загрузки лент каким-либо агрегатором. В смысле хотелось бы узнать такой сервис, если просто кто знает. Котороый бы показывал как можно больше инфы об агрегаторах.
комментариев: 11558 документов: 1036 редакций: 4118
Если это так важно, можно даже запустить на собственной машине веб-сервер с подробным логом HTTP-запросов и натравить этот агрегатор на собственный IP (в случае онлайн-сервиса). Для клиентского агрегатора, как я уже сказал, достаточно сниффера типа Wireshark на собственной же машине.
Но, по-моему, Вы занимаетесь каким-то бесполезным трудом. Ту или иную утечку даёт любая программа, не заточенная на цели анонимизации пользователя. Чего Вы в принципе пытаетесь добиться? Какая у Вас модель угрозы?
комментариев: 5 документов: 0 редакций: 0
Насчет модели угрозы. Хочу перебраться таки на Tor. И соответственно читать RSS-каналы через агрегатор, который скачивает RSS через TOR. Но в виду специфичности моего агрегатора, некий сайт (сайты) могут скорее всего поймут (основываясь на том, что (например) агрегатор редкий), что через TOR на эти сайт стал ходить именно я, т.к. до этого несколько месяцев ходил на этот сайт (сайты) через свой обычный IP.
Конечно, вопрос можно решить сменой RSS-ридера, но нынешний просто очень удобен и не хотел бы его менять, поэтому и хотел узнать об этих моментах с агрегаторами подробнее.
комментариев: 9796 документов: 488 редакций: 5664
Во-первых, нельзя смешивать сессию агрегатора с сессией торбраузера, т.е. придёться освоить нечто наподобие этого.
Во-вторых, если ридер будет читать несолько RSS-лент одновременно, то это тоже будет уникальный профилирующий отпечаток.
комментариев: 5 документов: 0 редакций: 0
Смешивать, то есть пускать и агрегатор и тор-браузер (например обычный Firefox + Tor Button) через один TOR (т.е. одну TOR сессию на эти две программы (агрегатор, браузер))?
А почему нельзя? Какая мне может быть разница, если и агрегатор стянет RSS через TOR канал и браузер через этот же канал будет смотреть страницы?
Насчет этого в целом наверное соглашусь, если понял вас правильно.
То есть, раскрывая мысль, например, у меня есть два сайта, с которых я читаю RSS. Эти два сайта принадлежат разным владельцам и врядли между собой связяны. Но запуская скачивание лент в агрегаторе я теоретически себя деанонимизирую тем, что агрегатор стягивает ленты почти в одно и то же время.
То есть, если сайты N1 и N2 "в сговоре", то они могут по времени стагивания + User Agent RSS-агрегатора понять, что стягивание идет с одного и того же агрегатора?
P.S.: Вообще ситуация такая, что врядли разные сайты принадлежат одному владельцу, то есть врядли они "в сговоре", но все равно интересно, правильно ли я понял вас.
комментариев: 9796 документов: 488 редакций: 5664
По поводу первого и второго — исходящие узлы самой сети Tor и тот, кто, возможно следит за ними.
комментариев: 5 документов: 0 редакций: 0
Благодарю! Насчет второго я не подумал. Действительно, исходящему узлу TOR становиться понятно, что вот эти N-лент RSS это уже метка, т.е. профилирующий отпечаток.
А вот насчет первого все равно недопонял. Если например я загрузил ленту (например, если RSS-ридер скачивает через этот канал только одну RSS-ленту) некого сайта через ту же сессию TOR, что и браузер, и тут же зашел, оставил комментрий под неким постоянным никнеймом (под своим аккаунтом, например), какая разница исходящему узлу TOR, что я и загрузил ленту и что-то закомментировал? Ведь это ему ничего не дает по сути. Кроме факта конечно, что я зашел с некого конкретного типа RSS-ридера и факта того, что узел видит мой аккаунт на сайте)? Т.е.. если я учитываю именно эти моменты относительно узла, в чем тут также может быть угроза?
комментариев: 9796 документов: 488 редакций: 5664
И по поводу первого. У противника несколько исходящих подконтрольных узлов. Мало того, что кто-то запускает через них редко встречающийся трафик RSS-ридера, так этот же аноним синхронно с этим трафиком по истечении действия цепочки переключается на примерно одинаковый набор сайтов. У многих сайтов обмен куками и гуглобаннерами к тому же.
Поэтому в Tor трафик от разных программ или профилей рекомендуется разносить в разные цепочки, но через один набор входящих узлов. Так сделать можно, но это требует осторожной настройки и из коробки не поддерживается.
SATtva, по-моему, не понял смысл вопроса. Онлайновый агрегатор — это просто сайт в интернете. Он сам своим каким-то способом скачивает RSS и отдаёт результат клиенту как обычную веб-страницу по HTTP или HTTPS. Если клиент при этом использует TBB, то от него утекает не больше и не меньше информации, чем на любой иной сайт при использовании TBB. Конечно, сайт, чьи новости таким образом скачиваются, будет видеть, что кто-то для этого использует определённый онлайн-RSS-сервис. Насколько это критично — решать уже автору.
Вы отстали от жизни на 2 года. Нет уже никаких Firefox + Tor Button, но есть связка TBB, в которой стоит свой браузер (форк FireFox), TorButton к нему и видалия.
Unknown уже ответил, но всё же упомяну конкретную ссылку, где разжевано, почему так:
По выходе с эксита (выходного узла Tor) трафик идёт по сети нешифрованным, поэтому не только экситу понятно, но и всем десяткам узлов интернета, через которые проходит связь между экситом и сайтом. А на этих узлах сидят уши АНБ, GCHQ, их CNE-точки и прочая нечисть.
Практически у каждого сайта есть обмен куками с какой-то из крупных площадок, таких как google или facebook. Я бы сказал, что заходя практически на любой сайт в интернете, вы автоматически отправляете ping об этом событии почти всем спецслужбам почти всех государств, а также крупным маркетинговым площадкам.
комментариев: 11558 документов: 1036 редакций: 4118
Или Вы. :) Вопрос был о том, какую информацию об агрегаторе узнаёт сайт, хостящий RSS-ленту. Но за верные дополнения в любом случае спасибо.
P.S. Тройные и более цитирования требуют экранировки: знаки, начиная с третьего, нужно представить движку, как будто они уже часть текста, а не разметки:
[Было бы лучше, если б уних было подцвечивание разными цветами, как в почте, но это не поддерживается].
комментариев: 11558 документов: 1036 редакций: 4118
Оно работало (как и любое число знаков ">"), но отвалилось после какого-то обновления PHP. Класс форматтеров и тамошние регулярные выражения — это такой адский адъ, что я не рискую туда лезть, чтобы нечаянно не сделать ещё хуже.
[/offtopic]