id: Гость   вход   регистрация
текущее время 15:39 14/06/2021
Автор темы: Гость, тема открыта 11/12/2013 15:50 Печать
Категории: софт, анонимность, приватность
https://www.pgpru.com/Форум/АнонимностьВИнтернет/КакВидятСайтыRSS-агрегаторыВидятЛиТипАгрегаторанапримерFeedReader
создать
просмотр
ссылки

Как видят сайты RSS-агрегаторы? Видят ли тип агрегатора (например, FeedReader)?


Здравствуйте, уважаемые!


Возник такой вопрос, как видят RSS-ленты программы, котороми они читаются?
Т.е., настроил например пользователь чтение новостей с сайта через RSS-агрегатор FeedReader, видит ли сайт в этом случае, что клиент (RSS-агрегатор), скачивающий ленту, это именно FeedReader? И если видит, значит видит и IP этого агрегатора (т.е. IP пользователя)?


Понимаю, что решений для расширивания ленты может быть много разных, хотелось бы услышать от знающих, какие решения для лент RSS видят (или не видят) тип RSS-агрегатора и его IP.


Заранее благодарю за ваши ответы!


 
Комментарии
— SATtva (11/12/2013 16:07)   профиль/связь   <#>
комментариев: 11558   документов: 1036   редакций: 4094
Возник такой вопрос, как видят RSS-ленты программы, котороми они читаются?

Как значение HTTP-заголовка User-Agent. Агрегатор — обычный HTTP-клиент, так что через HTTP-заголовки GET-запросов утекает примерно такая же информация, как и у веб-брауеров: там могут быть и куки, и кэш, и что угодно ещё в рамках протокола.

И если видит, значит видит и IP этого агрегатора (т.е. IP пользователя)?

Программа же клиентская? Ясно дело, что видит.
— howol (11/12/2013 16:17)   профиль/связь   <#>
комментариев: 5   документов: 0   редакций: 0
Программа же клиентская? Ясно дело, что видит.

Понятно. То есть если сидеть без той же прокси или VPN сайты видят названия агрегаторов.

А если это онлайновый RSS-агрегатор? Наример, вроде закрытого не так давно Google Reader-а? Сайты видят и типы онлайновых агрегаторов? Т.е., вот это – Google Reader, а вот это еще какой-то сервис и т.д.

Еще вопрос, насчет куков и кешей, может быть такое, что агрегатор выдает инфу какому-то сайту и о других подписках, т.е. с других сайтов? Или следы этих подписок?

_
И если кто знает, подскажите вариант с сервисом (онлайновым например), который расшаривает RSS, который бы видел побольше о пользователе?
— SATtva (11/12/2013 16:28, исправлен 11/12/2013 16:31)   профиль/связь   <#>
комментариев: 11558   документов: 1036   редакций: 4094
То есть если сидеть без той же прокси или VPN сайты видят названия агрегаторов.

Название (точнее, хидер User-Agent; что программа передаёт в этом хидере, вопрос отдельный) они видят в любом случае, если этот хидер тем или иным образом не отфильтровывается. Ни обычные прокси, ни VPN сами не занимаются фильтрацией трафика.


А если это онлайновый RSS-агрегатор? Наример, вроде закрытого не так давно Google Reader-а? Сайты видят и типы онлайновых агрегаторов?

Ещё раз: любой HTTP-клиент обязан исполнять HTTP-протокол. Будь агрегатор онлайновый или клиентский, он скачивает ленты не через астрал, а с помощью протокола HTTP (коли уж ленты хостятся в вебе). Так что тот или иной user-agent отдаёт и онлайн-сервис.


Еще вопрос, насчет куков и кешей, может быть такое, что агрегатор выдает инфу какому-то сайту и о других подписках, т.е. с других сайтов? Или следы этих подписок?

Нет предела теоретической кривизне рук программиста написанной программы. Ставьте Wireshark и разбирайте трафик своего агрегатора, если этот вопрос принципиален.


И если кто знает, подскажите вариант с сервисом (онлайновым например), который расшаривает RSS, который бы видел побольше о пользователе?

Лично я не понимаю, о чём Вы спрашиваете в этом месте.

— howol (11/12/2013 16:40)   профиль/связь   <#>
комментариев: 5   документов: 0   редакций: 0
Благодраю за ответы.
С VPN и проскси что-то я затупил. Все понял.

И если кто знает, подскажите вариант с сервисом (онлайновым например), который расшаривает RSS, который бы видел побольше о пользователе?


Лично я не понимаю, о чём Вы спрашиваете в этом месте.


Имею ввиду, онлайновый сервис какой-нибудь, через который можно поднять свою RSS-ленту, и через кабинет этой ленты посмотреть на логи, котороые появятся после загрузки лент каким-либо агрегатором. В смысле хотелось бы узнать такой сервис, если просто кто знает. Котороый бы показывал как можно больше инфы об агрегаторах.
— SATtva (11/12/2013 16:48, исправлен 11/12/2013 16:48)   профиль/связь   <#>
комментариев: 11558   документов: 1036   редакций: 4094

Если это так важно, можно даже запустить на собственной машине веб-сервер с подробным логом HTTP-запросов и натравить этот агрегатор на собственный IP (в случае онлайн-сервиса). Для клиентского агрегатора, как я уже сказал, достаточно сниффера типа Wireshark на собственной же машине.


Но, по-моему, Вы занимаетесь каким-то бесполезным трудом. Ту или иную утечку даёт любая программа, не заточенная на цели анонимизации пользователя. Чего Вы в принципе пытаетесь добиться? Какая у Вас модель угрозы?

— howol (11/12/2013 17:02)   профиль/связь   <#>
комментариев: 5   документов: 0   редакций: 0
Понял.
Насчет модели угрозы. Хочу перебраться таки на Tor. И соответственно читать RSS-каналы через агрегатор, который скачивает RSS через TOR. Но в виду специфичности моего агрегатора, некий сайт (сайты) могут скорее всего поймут (основываясь на том, что (например) агрегатор редкий), что через TOR на эти сайт стал ходить именно я, т.к. до этого несколько месяцев ходил на этот сайт (сайты) через свой обычный IP.

Конечно, вопрос можно решить сменой RSS-ридера, но нынешний просто очень удобен и не хотел бы его менять, поэтому и хотел узнать об этих моментах с агрегаторами подробнее.
— unknown (11/12/2013 17:33, исправлен 11/12/2013 17:33)   профиль/связь   <#>
комментариев: 9796   документов: 488   редакций: 5664

Во-первых, нельзя смешивать сессию агрегатора с сессией торбраузера, т.е. придёться освоить нечто наподобие этого.


Во-вторых, если ридер будет читать несолько RSS-лент одновременно, то это тоже будет уникальный профилирующий отпечаток.

— howol (11/12/2013 17:45)   профиль/связь   <#>
комментариев: 5   документов: 0   редакций: 0
мм.. недополнял вас.
Смешивать, то есть пускать и агрегатор и тор-браузер (например обычный Firefox + Tor Button) через один TOR (т.е. одну TOR сессию на эти две программы (агрегатор, браузер))?
А почему нельзя? Какая мне может быть разница, если и агрегатор стянет RSS через TOR канал и браузер через этот же канал будет смотреть страницы?

Во-вторых, если ридер будет читать несолько RSS-лент одновременно, то это тоже будет уникальный профилирующий отпечаток.


Насчет этого в целом наверное соглашусь, если понял вас правильно.
То есть, раскрывая мысль, например, у меня есть два сайта, с которых я читаю RSS. Эти два сайта принадлежат разным владельцам и врядли между собой связяны. Но запуская скачивание лент в агрегаторе я теоретически себя деанонимизирую тем, что агрегатор стягивает ленты почти в одно и то же время.
То есть, если сайты N1 и N2 "в сговоре", то они могут по времени стагивания + User Agent RSS-агрегатора понять, что стягивание идет с одного и того же агрегатора?

P.S.: Вообще ситуация такая, что врядли разные сайты принадлежат одному владельцу, то есть врядли они "в сговоре", но все равно интересно, правильно ли я понял вас.
— unknown (11/12/2013 18:05, исправлен 11/12/2013 18:06)   профиль/связь   <#>
комментариев: 9796   документов: 488   редакций: 5664

По поводу первого и второго — исходящие узлы самой сети Tor и тот, кто, возможно следит за ними.

— howol (11/12/2013 19:36, исправлен 11/12/2013 19:40)   профиль/связь   <#>
комментариев: 5   документов: 0   редакций: 0

Благодарю! Насчет второго я не подумал. Действительно, исходящему узлу TOR становиться понятно, что вот эти N-лент RSS это уже метка, т.е. профилирующий отпечаток.


А вот насчет первого все равно недопонял. Если например я загрузил ленту (например, если RSS-ридер скачивает через этот канал только одну RSS-ленту) некого сайта через ту же сессию TOR, что и браузер, и тут же зашел, оставил комментрий под неким постоянным никнеймом (под своим аккаунтом, например), какая разница исходящему узлу TOR, что я и загрузил ленту и что-то закомментировал? Ведь это ему ничего не дает по сути. Кроме факта конечно, что я зашел с некого конкретного типа RSS-ридера и факта того, что узел видит мой аккаунт на сайте)? Т.е.. если я учитываю именно эти моменты относительно узла, в чем тут также может быть угроза?

— unknown (11/12/2013 19:42, исправлен 11/12/2013 19:43)   профиль/связь   <#>
комментариев: 9796   документов: 488   редакций: 5664

И по поводу первого. У противника несколько исходящих подконтрольных узлов. Мало того, что кто-то запускает через них редко встречающийся трафик RSS-ридера, так этот же аноним синхронно с этим трафиком по истечении действия цепочки переключается на примерно одинаковый набор сайтов. У многих сайтов обмен куками и гуглобаннерами к тому же.


Поэтому в Tor трафик от разных программ или профилей рекомендуется разносить в разные цепочки, но через один набор входящих узлов. Так сделать можно, но это требует осторожной настройки и из коробки не поддерживается.

— Гость (13/12/2013 02:46)   <#>

SATtva, по-моему, не понял смысл вопроса. Онлайновый агрегатор — это просто сайт в интернете. Он сам своим каким-то способом скачивает RSS и отдаёт результат клиенту как обычную веб-страницу по HTTP или HTTPS. Если клиент при этом использует TBB, то от него утекает не больше и не меньше информации, чем на любой иной сайт при использовании TBB. Конечно, сайт, чьи новости таким образом скачиваются, будет видеть, что кто-то для этого использует определённый онлайн-RSS-сервис. Насколько это критично — решать уже автору.


Вы отстали от жизни на 2 года. Нет уже никаких Firefox + Tor Button, но есть связка TBB, в которой стоит свой браузер (форк FireFox), TorButton к нему и видалия.


Unknown уже ответил, но всё же упомяну конкретную ссылку, где разжевано, почему так:

TCP-протоколы, не являющиеся HTTP/HTTPS — большое зло для анонимности


По выходе с эксита (выходного узла Tor) трафик идёт по сети нешифрованным, поэтому не только экситу понятно, но и всем десяткам узлов интернета, через которые проходит связь между экситом и сайтом. А на этих узлах сидят уши АНБ, GCHQ, их CNE-точки и прочая нечисть.


Практически у каждого сайта есть обмен куками с какой-то из крупных площадок, таких как google или facebook. Я бы сказал, что заходя практически на любой сайт в интернете, вы автоматически отправляете ping об этом событии почти всем спецслужбам почти всех государств, а также крупным маркетинговым площадкам.
— SATtva (13/12/2013 07:21, исправлен 13/12/2013 07:27)   профиль/связь   <#>
комментариев: 11558   документов: 1036   редакций: 4094

Или Вы. :) Вопрос был о том, какую информацию об агрегаторе узнаёт сайт, хостящий RSS-ленту. Но за верные дополнения в любом случае спасибо.

— Гость (13/12/2013 09:17)   <#>
Правильно поставленный вопрос — уже половина ответа, но не всегда удаётся понять, что именно кому-то непонятно. :)

P.S. Тройные и более цитирования требуют экранировки: знаки, начиная с третьего, нужно представить движку, как будто они уже часть текста, а не разметки:
>>"">"" текст
>>"">>"" текст
На печати получаем:



[Было бы лучше, если б уних было подцвечивание разными цветами, как в почте, но это не поддерживается].
— SATtva (13/12/2013 09:29)   профиль/связь   <#>
комментариев: 11558   документов: 1036   редакций: 4094
[offtopic]
Было бы лучше, если б уних было подцвечивание разными цветами, как в почте, но это не поддерживается
Оно работало (как и любое число знаков ">"), но отвалилось после какого-то обновления PHP. Класс форматтеров и тамошние регулярные выражения — это такой адский адъ, что я не рискую туда лезть, чтобы нечаянно не сделать ещё хуже.
[/offtopic]
Ваша оценка документа [показать результаты]
-3-2-1 0+1+2+3