Проведенный эксперимент показал, что дальнейшее увеличение
объема выборок не обязательно, так как искомый АВТОРСКИЙ
ИНВАРИАНТ был обнаружен уже при величине выборки в 16000 слов.
При исследовании текстов небольшого объема величина шага
уменьшалась и выборки производились чаще. Впрочем, как показал
эксперимент, величина шага (в отличие от объема выборки) мало
сказывается на окончательных результатах.
В качестве критерия стабилизации был взят следующий принцип.
Объем выборки увеличивался до тех пор, пока не обнаруживался
параметр, для которого средняя величина его отклонений от средних
значений вдоль произведений всех исследуемых писателей
оказывалась существенно меньше амплитуды колебаний параметра
между текстами разных авторов.
Другими словами, для каждого автора вычислялось отклонение
параметра от среднего значения, а затем эти отклонения
усреднялись по всем авторам. Разыскивался параметр, для которого
это последнее число существенно меньше разницы между максимальным
и минимальным значениями параметра по всем исследуемым писателям.
5. СПИСОК ИССЛЕДОВАННЫХ НАМИ АВТОРОВ
И ИХ ПРОИЗВЕДЕНИЙ.
Мы воспользовались традиционной периодизацией истории
русского литературного языка [9]. В качестве основного
исторического периода был избран XIX век, где были выбраны 9
писателей, писавших по-русски и создавших большие тексты. См.
список ниже.
Однако, чтобы составить более полное представление об
эволюции перечисленных параметров в зависимости от исторической
эпохи, рамки эксперимента были расширены. К списку авторов ЧШЧ
века мы добавили писателей XVIII и XX веков. В итоге получился
список из 23 писателей (см. ниже). Для каждого писателя были
обработаны все его основные книги. Оказалось, что полученные
результаты практически не зависят от объема произведений при
условии, что объемы достаточно велики.
Приведем список обработанных нами литературных произведений.
ПИСАТЕЛИ XVIII ВЕКА:
1) ЧУЛКОВ М.Д. (1743-1792) - роман "Пригожая повариха"
(написан в 1770 г.), М., 1971.
2) НОВИКОВ Н.И. (1744-1818) - сатирический журнал
"Живописец" (издан в 1772-1773 гг.), М., 1971.
3) ФОНВИЗИН Д.И. (1745-1792) - "Записки первого путешествия"
(написаны в 1777-1778 гг.), повесть "Повествование глухого и
немого" (издана в 1783 г.), повесть "Калисфен" (издана в 1786
г.), сочинение в письмах "Друг честных людей или стародум"
(написано в 1830 г.), мемуары "Чистосердечное признание в делах
моих и помышлениях" (изданы в 1830 г.), М., 1971.
4) РАДИЩЕВ А.Н. (1749-1802) - "Путешествие из Петербурга в
Москву" (издано в 1790 г.), М., 1971.
5) КАРАМЗИН Н.М. (1766-1826) - "История Государства Российского"
(написана в 1816-1826 гг.), повесть "Бедная Лиза" (издана в 1792
г.), повесть "Остров Бернгольм" (издана в 1794 г.), повесть
"Марфа Посадская" (издана в 1803 г.), М., 1971.
6) КРЫЛОВ И.А. (1769-1844) - повесть "Каиб" (издана в 1792 г.),
"Похвальная речь" (издана в 1792 г.), М., 1971.
ПИСАТЕЛИ XIX ВЕКА:
7) ГОГОЛЬ Н.В. (1809-1852) - повести: "Вечера на хуторе близ
Диканьки", "Сорочинская ярмарка", "Вечер накануне Ивана Купала",
"Майская ночь или утопленница", "Пропавшая грамота", "Ночь перед
Рождеством", "Страшная месть", "Иван Иванович и его тетушка",
"Заколдованное место" (изданы в 1831-1832 гг.), повести:
"Миргород", "Старосветские помещики", "Тарас Бульба", "Вий",
"Повесть о том, как поссорились Иван Иванович с Иваном
Никифоровичем" (изданы в 1835 г.), "Повести" (Петербургские):
"Невский проспект", "Нос", "Портной", "Шинель", "Коляска",
"Записки сумасшедшего", "Рим" (изданы в 1833-1842 гг.), поэма
"Мертвые души" (издана в 1840 г.), М., 1959, 1971.
8) ГЕРЦЕН А.И. (1812-1870) - мемуары "Былое и думы" (изданы
в 1852-1868 гг.), М., 1969.
9) ГОНЧАРОВ И.А. (1812-1891) - роман "Обыкновенная история"
(издан в 1847 г.), роман "Обломов" (издан в 1859 г.), роман
"Обрыв" (издан в 1869 г.), М., 1959.
10) ТУРГЕНЕВ И.С. (1818-1883) - "Записки охотника" (написаны
в 1855-1856 гг.), роман "Рудин" (написан в 1855-1856 гг.), роман
"Дворянское гнездо" (написан в 1859 г.), роман "Накануне"
(написан в 1860 г.), роман "Отцы и дети" (написан в 1862 г.), М.,
1961.
11) МЕЛЬНИКОВ-ПЕЧЕРСКИЙ П.И. (1818-1883) - "Красильниковы"
(дорожные записки, 1852 г.), рассказ "Дедушка Поликарп" (написан
в 1857 г.), рассказ "Поярков" (написан в 1857 г.), рассказ
"Старые годы" (написан в 1857 г.), роман "В лесах" (написан в
1871-1875 гг.), М., 1963.
12) ДОСТОЕВСКИЙ Ф.М. (1821-1881) - роман "Преступление и
наказание" (написан в 1866 г.), роман "Братья Карамазовы"
(написан в 1879-1880 гг.), М., 1970-1973.
13) САЛТЫКОВ-ЩЕДРИН М.Е. (1826-1889) - "История одного
города" (написана в 1869-1870 гг.), роман "Господа Головлевы"
(написан в 1875-1880 гг.), М., 1975.
14) ЛЕСКОВ Н.С. (1831-1895) - повесть "Леди Макбет Мценского
уезда" (написана в 1864 г.), повесть "Воительница" (написана в
1866 г.), "Запечатленный ангел" (повесть написана в 1873 г.),
повесть "Очарованный странник" (написана в 1873 г.), рассказ
"Железная воля" (написан в 1876 г.), рассказ "Однодум" (написан в
1879 г.), рассказ "Несмертельный голован" (написан в 1880 г.),
рассказ "Левша" (написан в 1881 г.), рассказ "Тупейный художник"
(написан в 1883 г.), рассказ "Человек на часах" (написан в 1889
г.), рассказ "Зимний день" (написан в 1894 г.), М., 1973.
15) ТОЛСТОЙ Л.Н. (1828-1910) - повесть "Детство" (написана в
1852 г.), повесть "Отрочество" (написана в 1854 г.), повесть
"Юность" (написана в 1856 г.), рассказ "Набег" (написан в 1852
г.), повесть "Утро помещика" (написана в 1856 г.), повесть
"Казаки" (написана в 1863 г.), роман "Война и мир" (написан в
1863-1869 гг.), роман "Анна Каренина" (написан в 1873-1877 гг.),
роман "Воскресение" (написан в 1899 гг.), М., 1960-1964.
ПИСАТЕЛИ XX ВЕКА:
16) ГОРЬКИЙ А.М. (1868-1936) - рассказ "Макар Чудра"
(написан в 1892 г.), рассказ "Дед Архип и Ленька" (написан в 1894
г.), рассказ "Старуха Изергиль" (написан в 1894-1895 гг.),
рассказ "Ошибка" (написан в 1895 г.), рассказ "Однажды ночью"
(написан в 1895 г.), рассказ "Озорник" (написан в 1896 г.),
рассказ "Товарищи" (написан в 1897 г.), рассказ "Супруги Орловы"
(написан в 1897 г.), рассказ "Бывшие люди" (написан в 1897 г.),
рассказ "Мальва" (написан в 1897 г.), рассказ "Скуки ради"
(написан в 1897 г.), рассказ "Варенька Олесова" (написан в 1898
г.), рассказ "Дружки" (написан в 1898 г.), рассказ "Читатель"
(написан в 1898 г.), М., 1939. Далее: повесть "Детство" (написана
в 1912-1913 гг.), повесть "В людях" (написана в 1914-1915 гг.),
повесть "Мои университеты" (написана в 1923 г.), повесть "Дело
Артамоновых" (написана в 1925 г.), М., 1967.
17) БУНИН И.А. (1870-1953) - рассказ "Антоновские яблоки"
(написан в 1900 г.), повесть "Деревня" (написана в 1909-1910
гг.), повесть "Суходол" (написана в 1911 г.), рассказ "Захар
Воробьев" (написан в 1911-1912 гг.), рассказ "Братья" (написан в
1916 г.), рассказ "Господин из Сан-Франциско" (написан в 1915
г.), рассказ "Божье дерево" (написан в 19130 г.), рассказ
"Натали" (написан в 1941 г.), рассказ "Чистый понедельник"
(написан в 1944 г.), М., 1973.
18) НОВИКОВ-ПРИБОЙ А.С. (1877-1944) - рассказ "По-темному"
(написан в 1911 г.), рассказ "Бойня" (написан в 1906 г.), рассказ
"Пошутили" (написан в 1913 г.), рассказ "Порченный" (написан в
1912 г.), повесть "Море зовет" (написана в 1919 г.), роман
"Капитан первого ранга" (написан в 1936-1944 гг.), роман "Цусима"
(написан в 1905-1941 гг.), М., 1963.
19) ФЕДИН К.А. (1892-1977) - роман "Города и годы" (написан
в 1924 г.), роман "Братья" (написан в 1928 г.), М., 1974.
20) ЛЕОНОВ Л.М. (род. 1899) - роман "Русский лес" (написан в
1953 г.), М., 1974.
21) ШИШКОВ В.Я. (1873-1945) - повесть "Тайга" (написана в
1916 г.), повесть "Пейнус-озеро" (написана в 1931 г.), роман
"Угрюм-река" (написан в 1918-1932 гг.), М., 1960.
22) ФАДЕЕВ А.А. (1901-1956) - роман "Разгром" (написан в
1926 г.), роман "Молодая гвардия" (написан в 1945 г.).
23) ШОЛОХОВ М.А. (1905-1984) - собрание сочинений в 8 томах,
М., 1962: ранние рассказы - том 1, роман "Тихий Дон" - тома 2-5,
роман "Поднятая целина" - тома 6,7, рассказы - том 8.
6. ВЫЧИСЛИТЕЛЬНЫЙ ЭКСПЕРИМЕНТ
Для каждого из этих писателей мы в 1974-1977 годах полностью
обработали все указанные в списке сочинения. А именно, вдоль всех
этих многотомных текстов были просчитаны значения девяти
перечисленных лингвистических параметров. В результате, мы
построили частотные графики для выборок размером в 2000, 4000,
8000, 16000 слов. Вся эта огромная работа была выполнена нами
"вручную", поскольку мы не располагали компьютеризированными
версиями всех этих книг (мы не уверены, что таковые существуют
даже сегодня).
Принцип построения частотных графиков был таков. По
горизонтали откладывались номера последовательных выборок, а по
вертикали - численные значения лингвистических параметров. В
результате каждому писателю отвечает некоторая ломаная кривая.
Колебания параметров, их отклонения от среднего значения,
подсчитывались по формуле
d = (H.макс - H.мин) / H.сред
где H.макс, H.мин, H.сред - максимальное, минимальное и среднее
значения соответственно.
7. РЕЗУЛЬТАТЫ ЭКСПЕРИМЕНТА
Оказалось, что все перечисленные параметры за исключением
параметра 3 при росте объема выборки либо не стабилизируются
вообще, либо разброс их значений для одного автора сравним с
максимальной разностью значений для разных авторов. Другими
словами, в этом последнем случае "все авторы склеиваются", их
невозможно численно отделить друг от друга. Ясно, что такие
параметры не могут служить для различения хотя бы некоторых групп
авторов.
Типичным примером первой ситуации (отсутствие стабилизации с
ростом объема выборки) является эволюция параметра 1 - количества
слов в предложении (рис.2). Отчетливо видно, что даже при объеме
выборок в 16000 слов кривые хаотичны, сильно перемешаны и размах
колебаний слишком велик.
Типичным примером второй ситуации ("слипание всех
писателей") является поведение параметра 2 - количества слогов в
слове (рис.3). Хотя при объеме выборок в 16000 слов кривые
начинаются выпрямляться, стабилизироваться, однако все траектории
практически сливаются друг с другом, слипаются, что делает
невозможным различение авторов.
Аналогичная картина наблюдается и для параметров
4,5,6,7,8,9. Например, кривые параметра 9 не стабилизируются и
перемешиваются. Поведение параметра 8 похоже на поведение
параметра 2 - хотя при большом объеме выборок кривые
выравниваются, однако они становятся очень близкими друг к другу,
стремятся к одному и тому же значению, определяемому,
следовательно, общими законами русского языка, а не
индивидуальными особенностями писателя.
На этом основании нам представляется крайне сомнительным
использование параметров 1,2,4,5,6,7,8,9 для различения авторов.
8. ЧАСТОТА УПОТРЕБЛЕНИЯ СЛУЖЕБНЫХ СЛОВ ОКАЗЫВАЕТСЯ
АВТОРСКИМ ИНВАРИАНТОМ
Замечательным исключением является параметр 3 - частота
употребления всех служебных слов - ПРЕДЛОГОВ, СОЮЗОВ И ЧАСТИЦ.
Эволюция этого параметра в зависимости от роста объема выборки
показана на рис.4,5,6,7.
В список служебных слов мы внесли следующие слова:
ПРЕДЛОГИ - в, на, с, за, к, по, из, у, от, для, во, без, до,
о, через, со, при, про, об, ко, над, из-за, из-под, под.
СОЮЗЫ - и, что, но, а, да, хотя, когда, чтобы, если, тоже,
или, то есть, зато, будто.
ЧАСТИЦЫ - не, как, же, даже, бы, ли, только, вот, то, ни,
лишь, ведь, вон, то-есть, нибудь, уже, либо.
Итого - 55 служебных слов. Хотя список неполон, он оказался
вполне достаточным для различения авторов.
ВАЖНЫЙ ЭКСПЕРИМЕНТАЛЬНЫЙ ФАКТ.
1) При величине выборок в 16000 слов процентное содержание
служебных слов для каждого автора из нашего списка (за
исключением одного писателя, о котором речь пойдет ниже)
оказалось приблизительно постоянным вдоль всех его произведений,
т.е. частотный график изображается практически горизонтальной
прямой. Эта стабилизация происходит для всех 22 писателей (из 23
исследованных). См. рис.7.
2) Разность между максимальным и минимальным значениями
параметра 3 (минимум и максимум взяты по всем исследованным
писателям) значительно больше амплитуды его колебаний внутри
произведений отдельных авторов. Амплитуда колебаний параметра 3
по разным писателям достаточно велика - от 19% до 27,5%.
См.рис.7. Отсюда следует, что параметр 3 хорошо различает многих
авторов.
На этом основании назовем параметр 3 - АВТОРСКИМ
ИНВАРИАНТОМ.
Он может служить для атрибуции неизвестных произведений и
для обнаружения плагиата, хотя и с определенной осторожностью,
поскольку мы обнаружили писателей с очень близкими авторскими
инвариантами, например, Фонвизин Д.И. и Толстой Л.Н. (см. ниже).
Кроме того, для достаточно уверенных выводов нужны тексты
большого объема.
Главным выводом здесь является нетривиальное утверждение о
существовании авторского инварианта русских литературнрых
текстов.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98