Статистика поэтического вкуса

   Положительной стороной всякого конкурса является, прежде всего, общение. Читатель, пришедший со стороны, знакомится с творчеством многих авторов. Заинтересовавшись, он идёт к автору на страничку и продолжает знакомство там.
   Издержками всякого конкурса является то, что часто сравнивается несравнимое - стихи, написанные в разных жанрах и стилях - одному автору хочется с рифмами поиграться, другому - душу излить. Обе цели достойны, но как стихи между собою сравнивать?
   Между тем, стихи сравнивают, выставляют оценки, скажем, по десятибальной шкале, и подводят общий итог.

   Но не только общий итог интересен. Интересна статистика оценок, которая позволяет судить и об общем, и об индивидуальном читательском вкусе.
   Я хочу предложить вам, уважаемые читатели, небольшое статистическое исследование одного из редакторских конкурсов, проведённых на Кубке Стихиры.
Вот условия этого конкурса - http://www.stihi.ru/2016/06/18/8856
В конкурсе приняли участие 15 человек, из них - ведущая текстов не писала, но давала им оценки, один эксперт только оценивал техническую сторону текстов, второй эксперт как оценивал техническую сторону текстов, так и сам полноценно участвовал в конкурсе, то есть писал тексты.

   В результате было написано 55 текстов, которые были оценены (каждый текст каждым участником, кроме своего текста, разумеется). Оценки были опубликованы в виде таблицы Exel, часть которой вы можете видеть на рисунке.


   ОБРАБОТКА РЕЗУЛЬТАТОВ

  Поскольку прямо извлекать данные из Exel для последующей их обработки было для меня затруднительным, то я перенёс эти данные в текстовый файл Т.ТХТ, так, как вы можете это видеть на рисунке - последовательно, строка за строкой. Всего N=55 строк.
  Для всех пар участников вычислялись коэффициенты корреляции выставленных ими оценок по формулам, показанным на рисунке. Текст программы приведён ниже.

  По последней формуле было найдено, что коэффициенты корреляции по абсолютной величине превышающие 0.27 или 27% (значения коэффициентов, умноженные на 100, приведены в верхней таблице рисунка), такие значения могут считаться знАчимыми - с вероятностью 95% верно утверждение, о том что оценки рассматриваемой пары коррелированы между собой.
  Проще сказать, поэтический вкус обоих участников до некоторой степени совпадает. 
  Чем выше коэффициент корреляции, тем больше вкусовое совпадение.


   ОБСУЖДЕНИЕ РЕЗУЛЬТАТОВ

  Посмотрим на верхнюю таблицу рисунка. Участники конкурса обозначены русскими буквами. Заглавное Е - ведущая, заглавное Ж - эксперт по технике, текстов не писавший, заглавное З - оценка техники вторым экспертом, который в то же время и является участником конкурса строчное-"з", дававшим, как и все остальные Оценку Общего Впечатления.

  Хочу обратить внимание, что в результаты таблицы не вошли взаимные оценки по парам - в таблице отражена корреляция оценок, данных двумя участниками, стихам других участников, то есть с исключением собственных стихов и одного, и второго. Иначе говоря, они оценивали тексты посторонних.

  Посторонних, да не очень. Тут я хочу сказать, что члены всякого поэтического сообщества со временем притираются друг другу. Притираются и своими текстами, и своими оценками. Особенно притирка в оценках заметна бывает в экспертных сообществах, у экспертов вырабатывается консолидированный вкус.
  //Википедия: Консолидация (от лат. con — вместе, solido — укрепляю) — укрепление, объединение, интеграция, сплочение чего-либо//
  Оценка консолидированного вкуса может быть сделана и по нашей таблице.   
  Просуммируем коэффициенты корреляции по строкам и вычтем из результата 100. Получим значения консолидированной корреляции, указанные в последнем столбце таблицы. О чём говорят эти значения?

  Большие значения консолидированной корреляции, а именно такие значения есть у большинства, говорят о принадлежности вкуса участника к консолидированному вкусу сообщества. Высоко это значение и у ведущей - 360, чего и следовало ожидать у человека, долгое время управляющего конкурсной площадкой.
  С другой стороны имеется 3 участника с низким консолидированным вкусом, это участники "и", "к" и "б". Это не значит, конечно, что вкус у них "неправильный" - он просто другой, и они обращают внимание не на те вещи, на которые обращает своё внимание большинство.
  А консолидированы ли они между собой? Тоже нет, скорее наоборот - взаимный корреляционный коэффициент и-к равен -15. Они имеют почти что противоположный вкус! Вкусы могут быть не просто разные, их может быть несколько - посмотрите, коэффициент б-и равен -14. Коэффициент б-к равен 6, и тоже корреляции не демонстрирует.
  О чём это говорит? Имеются люди, находящие и ценящие в поэзии своё, для них важное, и может быть даже в некотором смысле единичное.
  А как у этих людей с их собственными стихами дела обстоят? По моему мнению, и собственные их тексты тоже выделяются по некоторым чертам среди других, но совсем уж переходить на личности я не хочу, ограничусь лишь тем фактом, что статистика на некие существующие различия вкуса очевидным образом указывает. Что очень интересно, поскольку когда я начал это исследование, то столь выраженного результата не ожидал.

  Отойдём от консолидированной корреляции и обратим внимание на наибольшие значения корреляции в парах. Критик "З" дававший оценки технике исполнения текста, сильно коррелирует с самим собой "з", дающим Оценку Общего Впечатления: З-з=53.  Не удивительно, замечаемые им технические огрехи не могут не испортить общего впечатления.
  Пара критиков по технике хорошо коррелируют между собой: Ж-З=50.
  Самый неконсолидированный участник "и" неплохо сочетается со взглядами на технику со стороны "Ж" - Ж-и=26. Впрочем как и с "н" - и-н=28. В чём дело? Какая техника, что ценится всеми троими? Я думаю, что в паре и-н это естественность речи, а в паре Ж-и это гармоничное звучание стиха. Но опять же, не буду переходить на личности, так, высказал своё мнение, и хватит. Кстати и у "н" низкий консолидированный вкус, тот, кто знает, кто такой "н", разумеется воскликнет - как же, знаем, и творения у него соответствующие ))
  Знать-то мы знаем, но интересно, что не читавшая творений "н" статистика на это указывает.
 
   РЕЗЮМЕ

  Исследование корреляции конкурсных оценок позволяет выявить индивидуальный и консолидированный вкус участников конкурса, и оценить их консолидированный вкус количественно. Подобная возможность переносит суждение вкуса на объективную основу, и создаёт предпосылки для количественного его измерения.

   ДОПОЛНЕНИЕ

  Несколько позже статистические исследования были продолжены и расширены -
http://www.stihi.ru/2016/07/17/6954
  Оказалось возможным объединять участников голосования в группы консолидированного вкуса, и выяснилось, что этот "консолидированный" вкус не столь уж консолидирован. Он проявляется в разных группах по-разному.
На конкретной статистике этой статьи по уровню консолидации R=10% (см. по ссылке),
 образуются следующие группы:

группа 1  ( 6) (11) ( 1) ( 2) ( 3) ( 4) ( 5) (13)
группа 2  ( 8) (12) ( 7) (14)

тогда как участники ( 9)"и" и (10)"к" высказали такие оценки, которые не позволяют отнести их к той или другой консолидированной группе.
  Интересно, что и участник (14)"н", о котором было сказано, что он имеет низкий консолидированный вкус, входит, тем не менее в группу 2.
  Группа 1 имеет консолидированное ядро. При уровне R=20% её покидает участник ( 2), а при уровне R=40% она остаётся в узком составе:
группа 1  ( 6) (11) (13)

Таким образом, объединение в группы позволяет более тонко отследить вкусовые особенности участников голосования.

_______________________   

  ПРИЛОЖЕНИЕ. ТЕКСТ ПРОГРАММЫ на языке Турбо Бейсик

'CORR.BAS
DIM X(100,50) : DIM R(50,50)
FOR I=1 TO 100 : FOR J=1 TO 50 : X(I,J)=99 : NEXT J : NEXT I
N=0 : M=0
OPEN "X.TXT" FOR INPUT AS #1
10 LINE INPUT #1,S$
  IF LEFT$(S$,3)=",,," THEN 20 'маркер окончания текста считан
  IF S$="" THEN 10
  N=N+1 : M1=0
12  I=INSTR(S$," ")
  IF I=1 THEN S$=MID$(S$,2) : IF LEN(S$)>0 THEN 12
  IF S$="" THEN 10
  M1=M1+1 : IF M1>M THEN M=M1
  B=VAL(S$) : X(N,M1)=B
  I=INSTR(S$," ") : IF I=0 THEN 10
  S$=MID$(S$,I) : GOTO 12

20 CLOSE #1
  OPEN "XT.TXT" FOR OUTPUT AS #2
  FOR I=1 TO N : FOR J=1 TO M+1 'вывод данных в файл для их проверки
   B$=STR$(X(I,J)) : S$=LEFT$(B$,4)
   IF LEN(S$)=2 THEN S$=" "+S$
   IF J<M+1 THEN
     PRINT #2,S$;
    ELSE : IF X(I,J)=99 THEN PRINT #2," -"; ELSE PRINT #2,S$; 'ошибка вышла
   END IF
  NEXT J : PRINT #2,"" : NEXT I
  PRINT N;"   member";M
  'CLOSE #2 : STOP

  PRINT #2,"======="
FOR M1=1 TO M : FOR M2=1 TO M 'расчёт средних величин
  I=0 : X1S=0 : X2S=0 : N1=0
30 I=I+1 : IF I>N THEN 32
  IF X(I,M1)*X(I,M2)=0 THEN 30
  N1=N1+1 : X1S=X1S+X(I,M1) : X2S=X2S+X(I,M2) : GOTO 30
32 I=0 : X1S=X1S/N1 : X2S=X2S/N1 : S=0 : S1=0 : S2=0
33 I=I+1 : IF I>N THEN 34
  IF X(I,M1)*X(I,M2)=0 THEN 33
  DX1=X(I,M1)-X1S : DX2=X(I,M2)-X2S
  S=S+DX1*DX2 : S1=S1+DX1*DX1 : S2=S2+DX2*DX2 : GOTO 33
 
34 B=S/(SQR(S1)*SQR(S2)) : R(M1,M2)=B
  NEXT M2 : NEXT M1

  FOR I=1 TO M : Y=0 : FOR J=1 TO M 'расчёт коэфф. корреляции
   A%=CEIL(R(I,J)*100) : Y=Y+A%
   B$=STR$(A%) : S$=LEFT$(B$,4)
   SELECT CASE LEN(S$) 'выравнивание длины числа
    CASE 1 : S$="   "+S$
    CASE 2 : S$="  "+S$
    CASE 3 : S$=" "+S$
   END SELECT
   PRINT #2,S$;
  NEXT J : PRINT #2," >";Y-100 'печать значения консолидации
  NEXT I : CLOSE #2 : STOP
'======================


Рецензии
Ну с чего Вы рншили, что это
«Статистика поэтического вкуса»
Это статистика взаимных оценок.
А что за ними стоит, вкус, безвкусица
или симпатии и антипатии,
или кукушничество - это
большой вопрос.
От самого интересного Вы как раз и отказались.
Вы выбираете самый "приятный" для всех вариант, списывая все на "разные вкусы".
А ведь не надо микроскопа, чтобы заметить, что не все тут так просто.
Да и мой многолетний опыт говорит об ином.
В частности, что анонимность сильно меняет результаты.
Что в разных компашках бывает очень разная степенть закукушенности и принципиальности. Разная степень вкусовой зашоренности, как и разная степень снисходительности к ляпам и корягам.
Среди голосовальщиков есть как безоглядно голосующие за своих и топящие соперников, да и просто тех, чья рожа не нравится, так и принципиальные.

Говоря только о "разнице вкусов" Вы очень усильно упрощаете действительную картину.
.
С уважением
п.с. а на зачем Вы привели формулы и программу?
Типа для полных дурачков?
:-)

Тимофей Бондаренко   06.08.2016 22:24     Заявить о нарушении
Тексты небольших программ я теперь публикую (особенно часто на проза.ру), поскольку приобрёл неприятный опыт - винчестер ломается, и тексты теряю.
Большие файлы храню на Яндекс диске, но не всегда это удобно. А в статье - и текст, и пояснение к нему.
Что касается влияния анонимности на оценки, согласен, и я сам ощущаю часто собственную предвзятость. На "Самовыражение-2" прошло 5 туров конкурса "Неопубликованное", сейчас там материал собираю.
Но и с Кубковыми мини-конкурсами статистика интересна, особенно в части выявления групп "антагонистов". А они ведь выявляются в любом конкурсе достаточно чётко.
Но побеждает обычно средний "серый" вкус - не то, что необычно и ярко, а то, что приемлемо для всех.
Поэтому конкурсы с голосованием (жюри ли это, или голосование народное) не приносят авторам правильных оценок. Но индивидуальные критические разборки, сопровождающие конкурсы, пользу приносят несомненную.
А в связи с этим и индивидуальные вкусовые пристрастия критика автору интересно знать. А как их обнаружить? Со слов самого критика? - тоже, да. Но и статистика кое-что может подсказать. Для меня некоторые мои собственные корреляционные коэффициенты оказались неожиданными.

Пытаясь отгадать, что будет впереди,
Ты мудрости Конфуция внимаешь.
о. не суди других, о, не суди -
Ведь ангелов своих ты сам ещё не знаешь ))

В социологии тестовые опросы с последующей статистической обработкой проводятся часто, почему бы не изучать поэтический вкус?

Возможен ли тест на предрасположенность к поэтическому творчеству, подобный тесту IQ? Прошел тест - иди к психотерапевту, или на сайт - куда больше нравится.

Некоторые относятся к стихосложению, как к игре. Что ж, статистика тоже часть этой интересной игры. Ясно, что в игре вопрос о доверительных интервалах не стоит ))
Дм.

Маштаков   07.08.2016 10:05   Заявить о нарушении
Отличить своеобразный вкус от безвкусицы, и в самом деле интересно. Но как это сделать? На каком материале?
Пойти что ли в гости на странички к графоманам? Но там нет оценок, там одни восхищенные возгласы. Как их обрабатывать?
Есть ещё и лента рейтинга, над которой все потешаются. Материал обширный, но как его использовать?
Рейтинг Панкина давал многообещающие по части статистики результаты, там тоже можно было наблюдать несколько разновысоких вершин разного вкуса. Но он не ведётся, и интереса к исследованиям в этом направлении у меня нет - с обширными данными самостоятельно я не справлюсь. Так что уж то, что могу.
М.б. у Вас, Тимофей, какие-нибудь предложения по части статистики есть?

Но авторы наших конкурсов - в большинстве своём, люди со сложившимся вкусом, уж какой он ни есть. Это среда другая.
Дм.

Маштаков   07.08.2016 10:32   Заявить о нарушении
А что можно поисследовать - в конкурсе по поэтам насколько авторов написали по 10 стихов - достаточно большая выборка.
И любопытно было бы посмотреть на согласованность оценок на материалах отдельных авторов.
Подозреваю, что без труда обнаружиится кое-что любопытное.
:-)
С уважением

Тимофей Бондаренко   23.09.2016 00:01   Заявить о нарушении
Тимофей, о каком конкурсе речь?
Возможно, я что-то упускаю - занялся музыкой и мало обращаю внимания на сайт.
Но у меня есть вторая статья по статистике http://www.stihi.ru/2016/07/17/6954
Дм.

Маштаков   23.09.2016 00:40   Заявить о нарушении
Об этом самом. про который речь в на этой странице.
А суть исследования - если дело действительно только во вкусах, то группировака по отношению к стихам ТБ по идее должна быть такой же как по отношению с стихам Гавриловой , Маштакова итд (по тем, кто предоставил достаточно много стихов).
Ну а существенные расхождения позволят хотя бы качественно оценить, в разнице ли вкусов дело, или существенную роль играют и какие-то групповые или личные отношения.
.
С уважением

Тимофей Бондаренко   23.09.2016 00:50   Заявить о нарушении
К сожалению, я не могу вернуться к статистике этого конкурса - винчестер в старом компе сломался, и данные пропали. Но программа сохранилась, она приведена в статье по ссылке.
Если алгоритм несколько изменить, то можно будет делать статистику по отдельным выборкам из общей таблицы. То есть, по отношению голосующих к стихам отдельного автора. Об этом, как я понял, идёт речь.
Но не хочется возвращаться к старому конкурсу и восстанавливать данные. Подождём подходящего нового. Тогда уж со всеми подробностями.
Дм.

Маштаков   23.09.2016 07:58   Заявить о нарушении
Подходящего, т.е. в котором участники писали бы по 10 стихов, скоро вряд ли дождемся...
:-)
.
С уважением

Тимофей Бондаренко   23.09.2016 19:47   Заявить о нарушении
На это произведение написаны 3 рецензии, здесь отображается последняя, остальные - в полном списке.