Английский язык

Я бы порекомендовал http://cryptome.org

Там постоянно всякие e-mail переписки, английский в перемешку, разговорный и профессиональный. Разговорного очень много, читать интересно. Постоянно используются всякие обороты речи, их в газетах на английском не встретишь. Постоянно какие-то споры, ругань. А Шнайер очень примитивный язык использует, видимо старается быть максимально понятным. Его читать не так интересно. Хотя комменты в его блоге день ото дня жгут.

Наверное, что-то типа Basic English.


Зато у самого Дж. Янга язык ужасный, правда от себя на cryptome он пишет крайне редко. То, что там публикуется — в основном официальные документы, где полно всяких канцеляризмов и официальщины. Бывают стенограммы каких-то заседаний. Иногда попадаются какие-то документы, наподобие писем из тюрьмы, но там тоже разговорный язык несколько специфический.

Оцените:

#!/usr/bin/python import sys if len( sys.argv ) == 1: print ("Usage: python3 analyze.py file1 [file2 file3 ... fileN]") exit(1) data = '' for i in range( 1, len( sys.argv ) ): data += open( sys.argv[i] ).read() symbols = [',','.',"'",'"',':',';','\\','/','+','=',' - ','=','!', '[', ']', '?', '\n', '\t','\r', '>', '<', '_', '-', '(', ')'] for i in symbols: data = data.replace( i, ' ' ) for i in range( 0, 10 ): data = data.replace( str( i ) , ' ' ) di = {} for word in data.split(' '): word = word.strip() word = word.lower() if len( word ) > 0: if word in di: di[ word ] += 1 else: di[ word ] = 1 index = 0 for word in sorted(di, key=di.get, reverse=True): print( str( index ) +': ' + word + ": " + str( di[word] ) ) index += 1

Накрапал на этом прекрасном скриптовом языке высокого уровня статистический анализатор текста. Идея: берёт подряд все слова и делает им counter ++, затем печатает чарт слов, самые часто употребляемые сверху.

Теперь берём всего ShakeSpear-a:
$ wget --mirror --page-requisites --adjust-extension --no-parent --convert-links --directory-prefix=SHAKESPEARE "http://lib.ru/SHAKESPEARE/ENGL/" $ python analyze.py SHAKESPEARE/lib.ru/SHAKESPEARE/ENGL/* > SHAKESPEARE_Words_Chart.txt $ cat SHAKESPEARE_Words_Chart.txt | less

Получаем:
0: the: 58836 1: and: 55531 2: i: 46876 3: to: 41985 4: of: 36728 5: a: 34731 6: you: 28795 7: my: 25808 8: that: 23816 9: in: 23297 10: is: 19484 11: d: 18741 12: not: 17659 13: with: 16738 14: it: 16204 15: for: 16119 16: s: 16102 17: me: 16049 18: his: 14750 19: be: 14585 20: he: 14210 21: this: 14058 22: your: 14040 23: but: 13310 24: have: 12441

Всего ShakeSpear использовал порядка 26,174 английских слов. Если интересно, я могу продолжить, сейчас занимаюсь 11Gb bzip-ным архивом английской WikiPedii.

Hello world!

Языковые частотные таблицы уже давно существуют для всех языков.

Frequency Lists

Интересно, любой труд интересен. А с какой целью делаешь это?
Гуру то понятно неинтересно, а мне даже скрипт полезно было посмотреть и вникнуть в, для кого-то, банальные вещи.
Спасибо.

@ressa, рад что понравилось.

С какой целью – Учу язык. Как-то так получилось, что понял, граматика – херня, язык состоит из слов, слова из букв. Понял что слов не знаю вообще, кроме школьных cat и table, нихрена не знаю как называется. Решил коллекционировать неизвестные слова, в итоге пришёл в тотальному собирательству всего что не знаю.

По Шекспиру пробежался, 90% слов мне неизвестны. Там frequency у них 2 раза, 3 раза. А слова красивые...


К примеру, unknown привёл лист там такое:


У меня сейчас получается 55 миллионов слов по последнему архиву Википедии, надо подрихтовать, может их на самом деле всего 29 миллионов.

Я тоже не дзен в инглише – практикую по возможности. Моя проблема в разговорной речи. Говорю, но как таджик. Мало практики и поздно его учить начал. Так что буду рад присоединиться) А ты их собираешь, а дальше? Ну т.е. просто английский вариант читаешь или структурировано сразу с переводом?

Я их google.translat-ом перевожу, потом у меня есть самописная игра,

Jennifer меня вдохновила http://jenniferdewalt.com/hangman/game

У меня так же, но есть поле Hint: русский перевод, в свободное время приятно поугадывать слова.

Скинь игру свою, очень интересно.

Она сырая и запаяна под мои тулзы. Не хочу шарить. Тот скрипт который считает Frequency Lists по заданому тексту я расшарил, потому что это 20 строк, которые парсят всего Шэкспира. Элегантно и красиво на мой взгляд.

Кстати, индусский код отсюда можно заменить четырёхстрочником:

import sys, collections, re words = collections.Counter() [words.update(re.findall('\w+', open(file).read().lower())) for file in sys.argv] words.most_common(10)

Оказывается, всё давно придумано.

@SATtva,

file – служебное слово, ошибка.

добавьте в эту строку очистку от спец. символов – и мои 20 строк, против вашего скролинга одной строки в 2 горизонтальных листа.

концепция KISS. Все эти колекшн и т.д. мне видятся абсолютно лишними в языке богатом такими прелестями как set, dict, list.

Прям специально через анализатор прогоняли? :) Переходите на py3.


Зачем?


Мощный аргумент. :) Ну, перепишите так, чтобы совсем уж по pep8:
[words.update(re.findall('\w+', open(file).read().lower())) for file in sys.argv]


Очевидно, Вы её неправильно понимаете.


Collections — стандартный инструмент из стандартной библиотеки, призванный избавить программиста от изобретения велосипедов, подобных Вашему.