Как мы считаем частоту слов
Порядок слов в колодах и диаграмма на обороте карточки — собственный подсчёт Cardavela. Мы прочитали субтитры фильмов, расшифровки живой речи, книги и статьи и посчитали, как часто встречается каждое слово колод вместе с его формами.
Сколько текста прочитано, млн слов
| Язык | Разговор | Фильмы | Книги | Интернет | Слов и фраз посчитано |
|---|---|---|---|---|---|
| Английский | 103 | 150 | 40 | 81 | 21 547 |
| Испанский | 3 | 100 | 15 | 51 | 21 751 |
| Иврит | — | 80 | — | 50 | 20 544 |
| Арабский | — | 80 | — | 50 | 19 401 |
Для иврита и арабского не нашлось открытых расшифровок речи и книг в нужном объёме, поэтому у них в диаграмме только фильмы и интернет.
Источники
Фильмы и сериалы
OpenSubtitles 2018, одноязычные тексты корпуса OPUSСубтитры фильмов и сериалов с opensubtitles.org. P. Lison, J. Tiedemann. OpenSubtitles2016: Extracting Large Parallel Corpora from Movie and TV Subtitles. LREC 2016.
Условия OPUS и opensubtitles.org
Живая речь
YouTube-Commons (PleIAs)Расшифровки видео под свободной лицензией, только оригинальные, не машинный перевод.
CC BY 4.0
Живая речь
Switchboard, выравнивание слов ISIPТелефонные разговоры на английском, 1990-е годы.
Открытая публикация ISIP, Mississippi State University
Книги
Project Gutenberg330 книг на английском и 166 на испанском, вышедших из-под авторского права.
Общественное достояние
Интернет
Википедия, выгрузка 2023-11-01Статьи на английском, испанском, иврите и арабском.
CC BY-SA 4.0
Как считается место слова
- Считается само слово и его формы: у «be» это «am», «is», «was», у «give up» — «gave up» и «giving up». В иврите и арабском учтены приставки (ו, ה, ב / و, ال, ب).
- Частота в каждом виде текста — на миллион слов, поэтому большой набор одного вида не перевешивает малый.
- Место — взвешенная сумма логарифмов частоты. В английском разговор и фильмы весят по 0,35, книги и интернет по 0,15; в испанском фильмы 0,45, разговор 0,25, интернет 0,2, книги 0,1; в иврите и арабском фильмы 0,7, интернет 0,3.
- Фразы сравниваются с фразами, слова со словами: на карточке «Топ-500 фраз» или «Топ-1 000 слов».
- Доли на диаграмме показываются, только если слово встретилось не меньше 30 раз; малый набор текста, где слово ожидается реже 5 раз, в долях не участвует.
- У слов, которые пишутся одинаково, счёт общий. Значение не ставится намного выше своего перевода на другие языки, поэтому «лопата» на иврите не стоит рядом со служебным словом «את».
- Глаголы иврита, испанского и арабского считаются по словарной форме, поэтому их место не ниже английского глагола того же значения.
Уровни A0–C2
Слова уровней A1–B2 — по списку CEFR-J версии 1.5 (Юкио Тоно, Токийский университет иностранных языков), C1–C2 — по профилю Octanove Vocabulary Profile C1/C2 1.0 (Octanove Labs, CC BY-SA 4.0). Переводы и примеры карточек вычитаны с помощью ИИ.