модификация "xor"

Пусть открытый текст, который мы хотим зашифровать — вывод ГСЧ. Мы ксорим этот вывод каждый раз с одним и тем же фиксированным паролем (да пусть хоть даже ксорим каждый бит с единицей). Может ли по шифртексту атакующий получить какую-то частичную информацию об открытом тексте? Насколько я понимаю, нет.

Это верно, но криптография — это не только шифрование. В реальных протоколах можно пропихнуть известный и подобранный открытый текст. Есть даже криптоанализ с известным ключом — когда шифр используется для проверки целостности или как элемент хэш-функции. Если он не может быть стойким в такой конструкции (с определёнными ограничениями), то считается, что он нестоек вообще.

Получается, что все атаки на XOR в конечном счёте сводятся к связыванию шифртекста с открытым текстом. Конечно, для любого архиватора связь между открытым текстом и архивированным есть

Берёте огромный словарь не только со словами, но и с часто встречающимися фрагментами тэгов HTML, разметки файловых систем и пр. Архивируете, перебираете.

чем она сложнее, тем тяжелее анализировать/взламывать такой «шифр».

В общем случае да. Но это такая сложность, которая не имеет совсем никакой теоретической базы, кроме запутывания. Даже строгую криптографию зачастую справедливо упрекают в плохой теоретической обоснованности. А с более наивным подходом может получиться, что то, что считалось сложным, кто-то легко упростит.

Вот ваш тезис примерно таков: "Пусть XOR — слабый шифр, но простейшее преобразование позволяет вычислительно увеличить гамму из ключа в два раза". Без каких-либо теоретических обоснований.

Вам контртезис с примером: "XOR фрагментов шифртекста по известным (или вычисленным) периодам позволяет сократить гамму обратно".

Насколько это эффективно, другой вопрос. Но для доказательства отсутствия продуманной теории — достаточно. Подозреваю, исходя из общих соображений (но не утверждаю, т.к. не выводил строго для вашего случая), что возможно написать систему линейных уравнений и свести взлом к обычному сокращённому XOR-ключу так, что взлом будет лишь чуть сложнее на несколько операций. В линейном криптоанализе и более сложные задачи решаются.

Но это такая сложность, которая не имеет совсем никакой теоретической базы, кроме запутывания. Даже строгую криптографию зачастую справедливо упрекают в плохой теоретической обоснованности. А с более наивным подходом может получиться, что то, что считалось сложным, кто-то легко упростит.