Методы обнаружения зашифрованной информации


Доброго всем времени суток.
Допустим, на флешке хранится зашифрованная информация.Какие существуют методы её обнаружения?
Явно вижу только 2:
1) Поиск на флешке специфических файлов (например BestCryptDisk.jbc)
2) Поиск в последовательности байтов на флешке специфических сигнатур.
( ну типа hf84hfgtkrf94hSUPER_HIDDED_DISKlkcghwd74hr734)
Существуют ли программные продукты, способные определять вероятность наличия зашифрованной информации?


Комментарии
— SATtva (14/08/2006 17:00)   
Есть специальные экспертные системы, которыми пользуются правоохранительные органы (по крайней мере, на Западе). Всё сводится к методам, описанным Вами.

Есть ещё один вариант: прогнать подозрительные файлы через набор статистических тестов на выявление "случайности" (энтропии, неизбыточности) информации. Чем ближе итоговый показатель будет к единице, тем вероятнее, что файлы зашифрованы. Кстати, для той же цели файлы можно просто попытаться сжать (невозможность сжатия свидетельствует о неизбыточности).

Такой метод, однако, — не гарантия наличия шифртекста. Может быть, этот файл — просто выход какого-нибудь генератора случайных чисел, созданный в тестовых или исследовательских целях? Но именно этот фактор неопределённости используется в "отрицаемом шифровании" (например, в TrueCrypt) — в суде такой неопределённости будет довольно.
— spinore (22/08/2006 20:01)   
Вообще, очень больная тема... Проще информацию хранить рядом с автоматом... гос-во так делает. Всё остальное ломается :( По существу дела: погуглите по слову "стегоанализ".
Гость (27/08/2006 18:23)   
Просто стегоконтейнер нужно брать ПОБОЛЬШЕ! :)
— HEMO (06/11/2006 23:16, исправлен 06/11/2006 23:22)   

Всё сводится к методам, описанным Вами.


Врядли профи так "наследит", ну если только специально.

...выявление «случайности» (энтропии, неизбыточности) информации


Опять-таки, когда опасен сам факт наличия закрытого текста, профи не будет так явно обнаруживаться, лучше уж "застеганить".
Кстати, не трудно сделать текст "избыточным", а надо ли, Большой Брат по-любому попробует его на зуб.:)
— spinore (06/11/2006 23:26)   


Там какая-то загадочная дымка вокруг этого стегоанализа... Типичный фильм для контейнера не возьмёшь: сравнят с оригиналом и выяснят. Итак, в кач-ве контейнера должен быть взят уникальный файл. Должны использоваться качественные алгоритмы, иначе очень быстро обнаружат что есть стега. Говорят, что качественные алгоритмы засекречны. А проги их или сколькно-нибудь нормальные алгоритмы реализующие, мало того что не оупенсорцовые, так ещё и не бесплатные :( Стеганография пока, к сожалению, плохо развита :(
— spinore (06/11/2006 23:28)   
А вообще, как область математики, стеганография и стегоанализ мне кажутся довольно занимательными. Я бы почитал ради интереса и саморазвития.
— HEMO (06/11/2006 23:35)   
не трудно сделать текст «избыточным»

Известно, что вносится погрешность для гражданских пользователей GPS и в негрифованные картматериалы, чтобы неавторизованные пользователи не имели равных возможностей с авторизованными.
— HEMO (06/11/2006 23:43)   
какая-то загадочная дымка вокруг этого стегоанализа

На самом деле всё не так уж трудно. Чем качественнее кино/музыка, тем более длинными "словами" они кодируются, а если последние несколько разрядов заменить произвольными (в общем случае) битами, то существенного влияния на качество не будет – так, шумок какой-то. А если "произвольные" заменить на "непроизвольные", то вполне можно под видом шума скрыть информацию.
— spinore (06/11/2006 23:53)   


HEMO, в своё время я специально интересовался этим делом, потому и говорю, что не получится. Любой фильм – последовательность нулей и единиц. Для любого фильма есть его оригинальная копия. У следствия вызовет вопрос: почему именно ваша копия фильма, которая поидее должна быть идентичной, оличается последними битами. Но это примитив. Есть способы выяснить, что с большой вероятностью используемый файл есть стегоконтейнер, основываясь на анализе. Просто как факт. Алгоритмы, которые не позволяют в настоящее время наличию информации быть обнаруженным отнюдь не тривиальны. И даже их надёжность может существенно поколебнуться в связи с успехами стегоанализа (о которых нас могут даже своевременно не известить).
— HEMO (07/11/2006 00:18)   
spinore:

Для любого фильма есть его оригинальная копия.


И что? Будете утверждать что цифровые технологии не позволяют информации теряться?
Простейший пример: вам перепал музыкальный файл *.мр3 с качеством 200 кб/сек. (условно), вы его переписываете по аудио каналу цифровым рекордером в режиме 100 кб/сек, а за тем ещё раз, но с качеством 200 кб/сек. и в результате имеете файл с "длинной" кодировкой последние разряды которой имеют случайный характер, т.е. – шум. И пусть следствие докажет, что вы купили иное.
В реале, "закрывающие" программы делают всё сами и иначе, другое дело, можно ли им верить, но это уже другая тема.
А вообще, я и не собирался с вами спорить ибо возможности спецслужб безграничны.
:)
— spinore (07/11/2006 02:29)   


да, при копировании файла, очевидно, информация не теряется и не искажается.


И всё же я бы предпочёл создать своё подставное видео, у которого нет копий, и использовать его в качестве стегоконтейнера.
— unknown (07/11/2006 09:05)   
а если последние несколько разрядов заменить произвольными (в общем случае) битами, то существенного влияния на качество не будет – так, шумок какой-то. А если «произвольные» заменить на «непроизвольные», то вполне можно под видом шума скрыть информацию.

Spinore абсолютно прав. Это самый наивный способ стегокодирования. Если вывести корреляцию младших битов со старшими и вывести в виде картинки, то можно легко визуально заметить, где есть стего, а где нет. Младшие биты не являются случайным шумом! Идеально случайного шума в природе и в технике вообше практически не встречается.

Даже более сложные способы, основанные на преобразованиях Фурье, вейвлет-преобразованиях и т.д. не являются в настоящих момент надёжными.
— HEMO (07/11/2006 13:15)   
Spinore абсолютно прав.

Одобряете идею подставного видео?
:)
— unknown (07/11/2006 14:36, исправлен 07/11/2006 14:37)   
Одобряете идею подставного видео?


Ну не обязательно видео. Скажем уникального стегоконтейнера.

Это необходимое условие, но недостаточное. Нужен ещё стойкий стегоалгоритм.
Гость (07/11/2006 14:53)   
Можно не париться со своим видео: сжимать DVD в MPEG4 – обычная практика. Не пихайте туда много – никто вас и не заподозрит. Жадность и тут губительна! :)
— spinore (08/11/2006 14:16)   


наверняка есть способы понять как сжимали и вопроизвести это. Тогда цена наличию ужатия как повышению качества контейнера – нуль.
— SATtva (08/11/2006 14:30)   
Если видео уникальное — не уверен. Алгоритмы сжатия MPEG и JPEG — это, конечно, не хэш-функции, но они необратимы: при кодировании происходит потеря избыточных данных. Так что с высокой точностью восстановить прообраз не удастся.
Гость (08/11/2006 19:02)   
Если видео уникальное

или если программа ужатия уникальна :)
— SATtva (08/11/2006 19:24)   
Ну, в некотором смысле. Можно, например, определить для MPEG произвольную степень сжатия (не могу сказать, однако, насколько уникальным в этом случае будет результат), но сам алгоритм сменить Вы не сможете, иначе это уже не будет "просто видео-ролик", который может просмотреть кто угодно. Соответственно, его уже нельзя будет считать разумным стегоконтейнером.
Гость (08/11/2006 20:49)   
У алгоритмов видеосжатия каждая реализация жмёт по своему. :)
Вот, например
http://compression.ru/video/co.....mparison/mpeg-4.html[link1]

Кстати, там же можно найти и программу для видеостего.
http://compression.ru/video/stego_video/index.html
— HEMO (17/11/2006 10:26)   

Не пихайте туда много – никто вас и не заподозрит. Жадность и тут губительна! :)


Ну, немного мона где угодна спрятать.
А вот где граница между много и мало?...
— spinore (17/11/2006 12:37)   

А вот где граница между много и мало?...

Согласно стегоанализу, натравленному на конкретный алгоритм, ответ будет таков: с вероятностью N% файл яляется стегоконтейнером. Далее вы сами определяете, какое N для вас допустимо. Обычно интуитивно считается, что если вероятность > 1/3, то подозрительно. У меня для такого случая свой пример:
Если поставить задачу: я еду в транспорте, и мой риск оценивается в некторое число процентов, что я выживу. Спрашивается, начиная со скольки процентов риска я буду готовиться к смерти в целом, а со скольки – к жизни. Такие критически отметки – это 2/3 и 1/3 (если вероятность умереть больше чем 2/3 – готовлюсь к смерти, меньше чем 2/3 – к жизни). Для стеганографии, думаю, также :)
Гость (17/11/2006 21:09)   
Для любого фильма есть его оригинальная копия
Нет. Для любого фильма есть десятки изданий и пережимок кривыми руками (4-в-одном), и песок попавший под матрицу штампа и окисление рабочего слоя (поиск: "длительное хранение информации", возмущённые маты, возвращение на форум :)
Лично сверял 3 Гб БСЭнциклопедии – несколько файлов не совпали, на DVD – битые, зато на CD-версии экзешник битый. Ещё углубляться будем? ;)
Сам рипанул с "известного фильма" "Агент 007" понравившися "танец живота" и сжал "чам под руку подвернулось" с настройками "на глазок" и фильтрами crop и resize. Что где с чем будем сверять?
*.мр3 – там ещё хлеще...

В развитеие этой темы – считаю необходимым авторов фильмов, музыки и т.п. в обязательном порядке публиковать хэш своих произведений в официальных открытых источниках. Иначе – лишать авторских прав (переводить в "общественное достояние").
Сейчас у меня НЕТ возможности проверить, что я купил ДЕЙСТВИТЕЛЬНО авторскую версию "Рашн Дэнс" Тома Уэйтса, а не пиратскую пережимку с аудиокассеты в CDDA.

вносится погрешность для гражданских пользователей GPS
теперь нет ("снятие гражданского загрубления" 2002, вроде) сам голову ломал, почему вдруг любые приборы начали обещать (и давать) 5-метровую точность вместо сотен метров, пока не навели меня на это постановление президента США. Ну это так, на суть высказывания конечно же не влияет.
— SATtva (17/11/2006 22:21)   
Иначе – лишать авторских прав (переводить в «общественное достояние»).

Ну уж Вы загнули! Неимущественных авторских прав лишить невозможно. А имущественные зачастую принадлежат паблишеру. Видимо его и надо лишать смежных прав. Только много ли найдётся умельцев вроде нас среди всей оравы потребителей, кто сможет сверить хэш-значение произведения? 0.01% дай Бог. И Вы действительно думаете, что они станут ради этого шевелиться? По правде говоря, и я не вижу в такой практике большого смысла.
Гость (18/11/2006 17:22)   
to Moderator:
1000 извинений! Никак не мог понять отправилось или нет! И cookies нужны и скрипты... пока нашёл, где я их задушил... сегодня решил ещё раз попробовать – только после отправки вдруг увидел своё первое сообщение и ответ SATtva. F5 or not F5...

SATtva
Ну уж Вы загнули!
ну меня иногда спрашивают, "где такую траву беру", хотя по сути возразить не могут и не хотят ;)
можно было так не углубляться в юрисдикцию, я мог предложить "пороть на площади", "оставлять без сладкого"
суть в том, что я хочу проверить, что мне продали. Не особо думая, предложил жёсткий способ вместо современного "купи, мужик, веща фырменная, во смари, лейблу И-Эм-Ай атксерили"

0.01%
если это будет кнопка в медиаплейере "проверить качество альбома на сайте автора" то 99.97%

я не вижу в такой практике большого смысла.
я не вижу большого смысла публиковать 95% музыки и фильмов :) но если уж какая-то обезьяна нажала на кнопку "рекорд" – пусть отвечает за последствия.
И, замечу, публиковать md5 к дистрибутивам на сайтах авторов программ – распространённая практика, а не 0.01%

пардон, если слишком уклонился. Я пытался доказать, что практически предложенный стегоконтейнер применим. Хотя теоретически – нет (и хочу заставить общество мне обеспеспечить соответствие теории практике :)
Тогда перейдём к вопросу использования любительских уникальных записей.
— HEMO (20/12/2006 14:48)   

любые приборы начали обещать (и давать) 5-метровую точность вместо сотен метров


Это надо понимать как плюс-минус пять метров? Квадрат со стороной 10 метров? Сто квадратов? Маловато будет! Не, ну для гражданских -"где эта улица, где этот дом"- может и ничего, а вот найти люк, закладку или человека в лесу ночью – маловато.
Для межконтиненталки может тоже нормально, а в "отдушину" бункера "УРСом" врядли попадёшь... Если только ручным наведением.
Гость (20/12/2006 20:29)   
кнопка в медиаплейере «проверить качество альбома на сайте автора»

Тогда ещё в фильм нужно поместить "нестиремый" watermark с адресом этого сайта.
(Но, если такая практика распространиться, станет труднее скрывать факты цензуры от широких масс.)


если вероятность умереть больше чем 2/3 – готовлюсь к смерти, меньше чем 2/3 – к жизни

Вы исключительно смелый оптимист.
Многие бояться летать на самолётах при значительно меньшем риске.


А вот где граница между много и мало?...

Меня тоже очень интересует этот вопрос.

Почему-то современные исследователи стеганографии сосредоточены на определении верхней границы заполнения, после которой уже можно определить наличие скрытой информации, хотя, при современных ценах на запоминающие устройства и трафик было бы логичнее интересовться нижней границей, при которой была бы гарантировала нераскрываемость.


при современных методах допроса у вас нет никаких шансов сохранить тайну
– из эпигрфа к сайту

Соответственно, шанс сохрнить тайну есть, если избежать применения "современных методов допроса". А для этого нужно не привлекать к себе внимание допрашивающих, в частности, своими шифрованными сообщениями.

Почему же тогда на сайте так мало информации о стеганографии, когда вы же сами признаёте малую полезность криптографии в современных условиях?


В общем, странно это...
— spinore (20/12/2006 20:48)   
Идея состоит в том, если посмотреть правде в глаза, что в настоящее время не существует ни одной операционной системы, обеспечивающей plausible deniability. Возможно, это связано с тем, что большинству это не надо. Для того чтобы создать грамотный продукт, потребуются усилия многих людей. Truecrypt – децкий сад для самых малых. Первый вопрос: если у вас стоит трукрипт, значит вы что-то скрываете, основной фактор чтобы вас допросить. Особенно, если учесть, что трукрипт обладает свойством deniable encryption якобы. А как сделать так, чтоб трукрипт на диске не стоял? Никак. Как скрыть наличие самого факта использования трукрипта? Скачивать его каждый раз с инета? А если инета нет? Держать его на флэшке? Тогда и флэшку приобщат к елу если не дураки. Нужна стега, вделанная в фс по дефолту, и такая, чтоб определить факт её наличия никак было нельзя (используется ли данная фича фс). А если я юзаю спецюзера для хождения анонимно по инету, что тогда? Как скрыть сам факт наличия в системе такого юзера? Как запретить писать всякую херь в /var, да ещё и так, чтобы никто не спрашивал у меня фигли я это запретил?! Использовать виртуальную систему? Qemu? Xen? Vmware? А факт того что у меня используется виртуалка будет отражён на основной системе? Или проблему рекурсивно свели к предыдущей? Ещё можно миллион вопросов задать, а ответ только один: в случае грамотного оппонента единственный выход – писать полностью всё своё программное обеспечение самому. А поскольку большинству это не под силу, то про защиту можно забыть. Как это ни странно, автомат и системы самоуничтожения работают надёжнее чем стего- *** :(((
Гость (20/12/2006 21:41)   
Написание стего-операционки ещё как-то можно себе представить. Но вот как сделать её распространённой настолько, чтобы само её наличие не вызывало подозрений?

писать полностью всё своё программное обеспечение самому. А поскольку большинству это не под силу


Возможно, что выход будет найден в модульной архитектуре+просветительской деятельности.
То есть нужно создать набор компонентов и систем обучения, которые будут достаточно универсальными, чтобы не вызывать подозрений, и достаточно специализировнным, чтобы у достаточного числа людей хвтило бы умений собирать то, что нужно.

PS Анекдот
Работал как то мужик на заводе по производству бытовой техники. Ну жена его и попросила – вынеси, дескть, детали, собери что-нибудь для дома. А он ей отвечает – пробовал уже, пулемёт получается...
— SATtva (20/12/2006 22:41)   
Почему же тогда на сайте так мало информации о стеганографии, когда вы же сами признаёте малую полезность криптографии в современных условиях?

К сожалению, современное состояние дел в области стего вызывает ещё меньшее удовлетворение: открытых работ по стеганографии мало, открытых работ по стегоанализу — много (а закрытых, поди, ещё больше). Не знаю, лично у меня это воодушевления не вызывает; ни одному из известных мне средств я б свою жизнь не доверил. А рекомендовать другим — значит, вызывать у них ложное чувство защищённости, что, на мой взгляд, совершенно недопустимо.
— HEMO (21/12/2006 09:57)   
Тогда ещё в фильм нужно поместить «нестиремый» watermark с адресом этого сайта. (Но, если такая практика распространиться, станет труднее скрывать факты цензуры от широких масс.)

"watermark" прилепляется после цензуры и перед публикацией.
в настоящее время не существует ни одной операционной системы, обеспечивающей plausible deniability

"настоящее время" наступило с внедрением win95? Вывод: возвращаемся к fido и bbs.
единственный выход – писать полностью всё своё программное обеспечение самому

Или взять в руки лист бумаги, карандаш и шифр-блокнот.
сделать её распространённой настолько, чтобы само её наличие не вызывало подозрений?

Именно это и будет вызывать подозрения. Стего это маскировка, а вы предлагаете везде по умолчанию расположить этот инструментарий, тогда по умолчанию будет инициироваться взлом.
нужно создать набор компонентов и систем обучения

А набор компонентов будет "опен соурсе"? А сама среда программирования для написания "опен соурсе" тоже является "опен соурсе"? "набор компонентов" будет содержать мастер-кеи, люки и прочие скрытые возможности для большого брата? А создавать будет кто? Билл Гейтс? Представляю себе чего он там насоздаёт!
— spinore (21/12/2006 14:19)   


Замечание в принципе дельное. Но на то она и стего*, чтобы быть универсальной аки Linux. Если у меня сейчас стоит BSD то что с того? Ну да, редкое явление, но BSD стоит у многих и сказать что все, кто интересуется unix-подобными системами – преступники – по меньшей мере странно :)))


Linux уверенно идёт по нужному пути, но когда это будет?! В основном люди озабочены не этим... а, например, какой-нить удалённой уязвимостью. уязвимостью на уровне локального юзера... Но никак не защитой диска от предъявления обвинений, имхо.


Я недавно был в магазине – видел книгу по стеганографии... Но, поскольку я не специалист в этой области, её содержание мне мало о чём говорило. Ну, изложена некая теория и подходы, как некий раздел математики.
— spinore (21/12/2006 14:24)   


А где гарантия, что шифр-блокнот не прикрепят к делу в качестве вещь-дока?!
— HEMO (21/12/2006 14:48)   
А где гарантия, что шифр-блокнот не прикрепят к делу в качестве вещь-дока?!

Вещь-док – это вещественное доказательство деЯния. А доказательством какого деяния является наличие ш/б? А статья такая есть – приобретение (изготовление), хранение, использование средств криптографического закрытия?
Ну, максимум – подозрение в шпионаже. :)))
Гость (21/12/2006 16:54)   
А статья такая есть?

Был бы человек, а статья найдётся!
Гость (21/12/2006 17:54)   
Linux уверенно идёт по нужному пути, но когда это будет?! В основном люди озабочены не этим...

Давайте образуем что-то вроде Stego Interest Groop, чтобы "озаботить" этим соответствующих людей.
Гость (21/12/2006 19:38)   
Стего это маскировка, а вы предлагаете везде по умолчанию расположить этот инструментарий, тогда по умолчанию будет инициироваться взлом.


Создние прогрмм, защищённых от взлома – вот какое назначение может быть у такого инструментрия! Вполне социально-одобряемая цель. Ну и понятно, что стегошифровние даёт большую защищённость, чем шифровние просто.

Применив к себе данный инструментарий, получим то, что нужно – программу, не вызывающую подозрений, для создания прогрмм, не вызывающих подозрений. :)

Уже сейчас можно легко защищать от взлома[link2] программу двойного назнчения ;)
Гость (21/12/2006 20:03)   
Вполне социально-одобряемая цель

Тут даже важна не социальная одобряемость, а широкая распространённость такой потребности!

Почему бы, к примеру, не хранить ваши секреты в какой-нибудь неизвестной (или на вид широко известной) игрушке, которую никому и на ум не придёт взламывть?

Остлось донести эту идею до широкой публики! :-)
— SATtva (21/12/2006 21:07)   
Почему бы, к примеру, не хранить ваши секреты в какой-нибудь неизвестной (или на вид широко известной) игрушке, которую никому и на ум не придёт взламывть?

А если хэши файлов сравнят?
Гость (21/12/2006 22:04)   
А если хэши файлов сравнят?

А если изменяемый файл – сохранённый вариант частичного (авто) прохождения неизвестной игры?
Гость (22/12/2006 02:11)   
Уже сейчас можно легко защищать от взлома программу двойного назнчения ;)

Поправочка: можно только усложнять взлом ;), тем-более программами по ссылке ;).
А по теме, со стего ситуация ужасная, есть огромное поле для разработки, огромное количество самых разных методов, новых идей, есть даже хорошие работы энтузиастов с исходниками на абстрактных языках в открытом доступе, но в последнее время абсолютно не развиваются как исследовательские работы, так и новые законченные продукты. Сушествующие решения скорее всего уже все "палятся". На мой взгляд, развитие этой темы прекратилось несколько лет назад, тогда же прекратилось развитие пожалуй единственной открытой программы стегоанализа StegDetect. Могу и ошибатся, т.к. в этой отрасли не спец.
Гость (22/12/2006 05:00)   
можно только усложнять взлом

Я не сказал "можно защитить", я сказал "можно защищать"
Ссылка был дана как раз для прояснения этой ситуции. ;)

Ссылки
[link1] http://compression.ru/video/codec_comparison/mpeg-4.html

[link2] http://www.wasm.ru/toollist.php?list=12