Конкурс самооценки. Правила и схема

Этот конкурс является преемником проводившегося ранее

http://novik-vn.narod.ru/GoldPen-2.html

но по новой, более простой и удобной схеме.


Основные правила


  1.
Конкурс проводится по умолчанию анонимно.

 
  2.
Каждый желающий участвовать в конкурсе присылает одно стихотворение объемом от 8 до 32 строк (со ссылкой на свою страницу) по одной из трех тематик: лирика любовная, лирика философская и лирика пейзажная (стихи не должны содержать нецензурной лексики и порнографии); и адрес своей страницы письмом на адрес

  al-setin@yandex.ru (обязательно этот адрес, копируя его и вставляя как адрес письма)

Следует учесть, что для действительного анонимного представления стихов, автор должен сам проверить, что они не обнаруживаются поисковиками. Для этого стихи можно удалить с авторской страницы на время проведения Конкурса (они легко восстанавливаются двумя кликами "мышки").
 

  3.
После поступления необходимого количества стихов (количество участников заранее не оговаривается, и определяется динамикой поступления стихов, обычно - от 8 до 40 и объявляется в день опубликования задания на странице новостей конкурса), каждому участнику сообщается задание на оценку 4-5 стихов, например, в виде:

2/+ 4/+ 8/+ 11/+ 23/,

где 2,4,8,11,23 - номера вывешенных к этому времени на странице конкурса стихотворений. Также каждому участнику необходимо определить лучшие и наименее удачные строки оцениваемых стихотворений. (Это делается для контроля качества оценивания, а также для дополнительной полезной информации о произведениях авторам)

Срок проведения тура обычно 1 неделя, считая от опубликования заданий.

  4.
После оценки стихов, участник направляет письмом (в теме письма написать: конкурс № 1)  по указанному выше адресу свой ответ в виде

 2/5+ 4/3+ 8/4+ 11/1+ 23/2

$2 белеет парус одинокий
#2 увы, он счастия не ищет,

...

$23 я помню чудное мгновенье
#23 как мимолетное виденье,


где 5, 3, 4, 1, 2 - оценки соответствующих стихов по пятибалльной системе (1-5). $2 - означает лучшую строку стихотворения под номером 2, #2 - означает наименее удачную строку строку стихотворения под номером 2, и т. д., знаки "$" и "#" нужны для автоматической обработки информации с помощью специальной компьютерной программы.
 
  5.
После подведения итогов стихотворения всех (в зависимости от количества участников) или лучших 10-15 авторов БУДУТ РАЗМЕЩЕНЫ на ГС. Кроме этого, все финалисты, а также лучшие в рейтинге оценщиков (см. приложение ниже)  будут поощрены стихобаллами. Все присланные баллы идут только на поощрение участников.

  Организаторы конкурса.


  =========================================================
   Приложение

  Рассмотрим схему работы конкурса на простом примере. Можно сделать так, чтобы все участники конкурса сами себя оценивали. Вот простой пример для 6 оценщиков и 6 стихов, причем каждый оценщик оценивает по 3 стиха выбранные заранее случайным образом. Предположим, что первый оценщик оценил 2, 4, 6 стих и поставил оценки 4, 5, 1 (первая строка матрицы:
  {0, 4, 0, 5, 0, 1},
  {2, 0, 3, 0, 4, 0},
  {1, 0, 0, 4, 5, 0},
  {0, 2, 5, 0, 0, 3},
  {5, 2, 0, 0, 0, 1},
  {0, 0, 3, 1, 3, 0}

Причем ненулевые позиции в матрице выбираются заранее случайным образом.

  Соответственно - второй оценщик - вторая строка, и т. д. - всего 6 оценщиков и 6 стихов.
  Делим каждую оценку в данной строке на сумму всех оценок (усредняем), и получаем матрицу:

  {0,       0.40,    0,           0.50,        0,         0.10},
  {0.22,   0,        0.33,      0,             0.44,    0},
  {0.10,   0,         0,          0.40,        0.50,    0},
  {0,        0.20,   0.50,      0,             0,         0.30},
  {0.63,   0.25,    0,          0,             0,         0.13},
  {0,        0,         0.43,     0.14,        0.43,     0}

  Суммируя по каждому стиху его усредненные оценки, получаем пока не
  усредненную коллективную оценку: {0.947222,0.85,1.2619,1.04286,1.37302,0.525}
  Делим каждое число на сумму всех чисел в строке и получаем
  окончательную коллективную оценку:

  {0.15787, 0.141667, 0.210317, 0.17381, 0.228836, 0.0875}
 
  Подсчитываем рейтинг оценок: {5,3,4,1,2,6} - т.е. на первом месте - стих No. 5 (самый большой балл) и т. д. Вычисляем отклонения индивидуальных оценок от окончательной (коллективной), как среднее геометрическое от соответствующих разностей (корень квадратный от квадратов разностей соответствующих величин)

  {0.416284, 0.256439, 0.357828, 0.363971, 0.480991, 0.297468}

  И получаем рейтинг оценщиков: {2,6,3,4,1,5}

  Т.е. на первом месте оценщик No. 2 - у него самое минимальное отклонение, на
  втором - оценщик No. 6 и т.д. Разумеется, все подсчеты делаются мгновенно, с помощью специальной программы.

  Причем, если возникают сомнения в правильности подсчетов, то
 отдельные цифры всегда можно проверить с помощью калькулятора, или,
 допустим, в экселе. Добавлю, что в матрице - все видно как на ладони.

 Если допустим первый оценщик оценивший две работы на 4 и 5, а третью в 1, на самом деле поставил 4 и 5 за явно плохие стихи, а то, что он оценил в 1 - стих неплохой, то это сразу будет видно. "Подгадать" же оценки, не вызывая подозрений - практически невозможно.

Важно также, что вычисление рейтинга оценщиков как раз и позволяет сделать систему самонастраивающейся. Т.е. от тура к туру накапливая все больше оценщиков, и анализируя их результаты, - качество оценок будет только повышаться.