Требования к балльным шкалам

Способы получения экспертных оценок

Мнения экспертов выясняются путем их индивидуального или группового опроса.

При решении задачи оценивания перед ними могут быть поставлены следующие задачи.

1. Произвести ранжирование однородных объектов по степени выраженности заданного показателя качества.

2. Дать количественную оценку показателей качества продукции в условных единицах (долях единиц, баллах) или оценить веса этих показателей.

Рассмотрим обе задачи.

Для построения ранжированного ряда (т.е. шкалы порядка) обычно применяют способ попарного сопоставления объектов. Сначала объекты сопоставляются между собой попарно и для каждой пары результат сопоставления выражается в форме «больше — меньше», «лучше — хуже». Затем, на основании результатов попарного сопоставления, производится ранжирование.

Для количественной экспертной оценки показателей качества используют безразмерные шкалы — в долях единиц или баллах.

Балльная шкала позволяет приписать объектам количественные характеристики, отражающие интенсивность того или иного свойства продукции, определяющего его качество. Основной характеристикой балльной шкалы является диапазон (балльность) шкалы — количество градаций, которое включает шкала, т.е. количество оценочных точек. Число градаций определяется характером решаемой задачи, квалификацией экспертов, требуемой достоверностью результата. В нашей стране приняты десяти-, двадцатипяти- и стобалльные шкалы. Исключение составляет пятибалльная шкала оценивания качества знаний в учебных заведениях.

Принцип построения балльной шкалы проиллюстрируем примером построения шкалы балльных оценок для отнесения продукции к определенной сортности.

1. Устанавливают максимальную общую оценку продукции в баллах.

2. Каждому отдельному показателю качества, входящему в принятую модель качества продукции, эксперты присваивают определенный вес устанавливая, таким образом, его роль в формировании качества.

3. Исходя из общей максимальной оценки, с учетом весов отдельных показателей, устанавливают балльную оценку каждого показателя качества.

4. Устанавливают скидки от показателей качества идеальной продукции при различной степени снижения уровня качества Например, если идеальное качество поверхности изделия оценивается в 7 баллов, то при наличии незначительных царапин оно снижается на 2 балла.

5. Определяют число степеней качества исходя из возможных балльных оценок соответствующего свойства. Например, могут быть приняты четыре степени качества: отличное, хорошее, удовлетворительное и плохое.

Общие закономерности, принятые для балльной оценки качества продовольственных товаров

1. При разработке балловой шкалы требуются четкие смысловые характеристики и соответствующая терминология для каждого уровня качества. Если опытный дегустатор может безошибочно различить только 6 ступеней того или иного качества, то их в системе и должно быть не более шести.

2. В универсальной системе достаточно будет 4-х уровней положительного качества и пятый – неудовлетворительная оценка. Этим требованиям отвечает 5 балловая шкала.

3. Показателей качества может быть от 3-х до 6-ти, но каждый показатель следует оценивать по той же самой 5-балловой шкале.

4. При разработке системы следует учитывать коэффициенты весомости.

Задание 1. Изучить ГОСТ 6477-88 «Карамель. Общие технические условия». Методика выполнения

При изучении ГОСТа более подробно остановиться на требованиях к органолептическим показателям, а также к упаковке, маркировке продукта и заполнить таблицу.

Выбрать единичные показатели качества для проведения сенсорной оценки продукта.

Задание 2. Назначить коэффициенты весомости и составить схему-таблицу. Методика выполнения: для оценки органолептических свойств карамели с начинкой рекомендуется использовать 5 балловую шкалу. При ее составлении необходимо учесть, что зона положительных оценок должна составить не менее 80 %.

Коэффициенты весомости используются в связи с различной значимостью единичных показателей в общем восприятии товарного качества продукции. Они выражают долевое участие признака в формировании качества продукта и служат множителями при расчете обобщенных балловых оценок.

Для назначения коэффициентов весомости прежде всего должны быть выделены главные показатели, наиболее полно отражающие способность изделия выполнять основное назначение. Наиболее важными для пищевых продуктов являются вкус, запах, консистенция.

Обычно вкусоароматическим показателям в шкалах отводят до 40-60 % общего количества баллов, консистенции — 20-25 % баллов.

Согласно рекомендациям сумма коэффициентов весомости должна быть равна 20, чтобы 5-балловые шкалы при любом количестве показателей трансформировались в 100 балловые, и комплексные показатели можно было воспринимать в процентах от оптимального качества (эталона). Результаты назначения коэффициентов весомости представить в таблицу 7.

Далее следует провести описание органолептических свойств каждого качественного уровня для выбранных единичных показателей и заполнить таблицу.

Балльная шкала оценки качества карамели с начинкой

Провести градацию качества и назначить граничные пределы для разных категорий оцениваемой продукции. Определить граничные пределы значений комплексных и единичных показателей и для каждой категории качества в соответствии с градацией качественных уровней.

Задание 3.Провести апробирование балловой шкалы и статистическую обработку результатов анализа.

Методика выполнения: а пробирование проводится группой дегустаторов, оценивается несколько образцов продукции. Оценивая, показатели продукции, дегустаторы сопоставляют их характеристики с базовыми признаками аналогов и словесным описанием свойств в схемах-таблицах. Результаты оценочных операций эксперты заносят в дегустационные листы.

Требования к балльным шкалам

Существует шкала органолептической оценки. Существует шкала бальных оценок.

Если один из наиболее важных показателей качества имеет оценку «неудовлетворительно», блюдо в реализацию не допускается. При проведении бракеража необходимо искать пути устранения дефекта. При коллективной дегустации в ходе технологических конференций или дегустации новых технологических блюд оценка проводится по несколько иной системе:

Органолептическая оценка с учетом коэффициента важности подразумевает значимость показателей качества. Для каждой группы кулинарной продукции существует своя система оценки важности.  Кв = 10 (Институт питания академии медицинских наук) Допускаются дробные Кв, их сумма должна быть равна 1. Производится оценка каждого из показателей качества по 5-ти балльной системе. После заполнения таблицы итоговую сумму баллов (43) делят на сумму коэффициентов важности (10) и получают итоговую оценку блюда. 43/10 = 4,3 Для анализа используют оценочные листы, в которых правка не допускается. На предприятиях иногда проводят слепую дегустацию по методу парных проб, по методу треугольника (3 пробы закодированные). ^

Для продолжения скачивания необходимо собрать картинку:

Виды балльных шкал и подходы к их разработке. Современные исследования по разработке и применению балльных шкал

Органолептические показатели продуктов относятся к неизмеримым, значения которых нельзя выразить в физических размерных шкалах. Характеристику вкуса, запаха, консистенции и других сенсорных признаков приводят в качественных описания.

Чтобы перевести качество в количество, при экспертной оценке используют безразмерные шкалы: обычно в баллах, реже в долях, единицах или процентах.

Балловая шкал а представляет собой упорядоченную совокупность чисел и качественных характеристик, которые приводятся в соответствие с оцениваемыми объектами согласно определяемому признаку.

Составление шкал для измерения субъективных ощущений — задача трудная. Для этого в первую очередь должны быть решены следующие два вопроса: выбор объема (количество баллов) шкалы и выявление взаимосвязи между интенсивностью отдельных признаков качества и цифровыми значениями шкалы. При выборе объема балльной шкалы руководствуются требуемой степенью точности, надежностью результатов и числом различимых дегустаторами уровней качества. Так, если дегустаторы могут различить только пять категорий качества, шкала с 20 делениями не нужна.

Большие колебания в значимости того или иного показателя качества продукта объясняются не только мнением авторов систем, но и многообразием свойств продовольственных товаров и специфическими требованиями, предъявляемыми к ним.

Органолептические показатели продуктов относятся к неизмеримым, значения которых нельзя выразить в физических размерных шкалах. Характеристику вкуса, запаха, консистенции и других сенсорных признаков приводят в качественных описаниях.

Чтобы перевести качество в количество, при экспертной оценке используют безразмерные шкалы: обычно в баллах, реже в долях единицы или процентах. Балловая шкала представляет собой упорядоченную совокупность чисел и качественных характеристик, которые приводятся в соответствие с оцениваемыми объектами согласно определяемому признаку. Балловая шкала служит для количественной оценки, которая выражает качественный уровень признака. Шкала характеризуется диапазоном, или балльностью, под которой понимают количество уровней качества, включенных в шкалу. Количество оценочных точек не всегда совпадает с числом баллов, так как баллы могут делиться на доли (1,1; 1,5; 1,7 балла и т.д.) или при оценке могут использоваться не все баллы (5, 10, 15, 20-50 баллов и т.д.).

Например, шкала с наибольшей оценкой 5 баллов с градацией через 0,5 балла имеет такой же диапазон, как шкала с высшей оценкой 10 баллов и градацией через 1 балл и аналогично шкала с максимальной оценкой 100 баллов и градацией через 10 баллов. Если в этих балловых шкалах не используется 0, то все они имеют одинаковый диапазон с 10 уровнями качества.

  Получение разрешения на работу фмс

При разработке балловых шкал градацию шкалы определяют в зависимости от поставленной задачи, качества экспертов, необходимой точности результатов и возможности словесного описания характеристики качественных уровней.

Для экспертной оценки качества продукции рекомендуется использовать шкалы с нечетным числом уровней качества, чаще применяют балловые шкалы, имеющие 3, 5, 7, 9 градаций качества, которые могут совпадать или не совпадать с количеством баллов.

Опытный дегустатор запоминает и различает только 6 — 10 ступеней качества каждого показателя.

Общим недостатком шкал, содержащих большое число баллов или большое количество уровней качества, является наличие «мертвых зон» с неудовлетворительными оценками, которые, как правило, не используются в работе экспертов-дегустаторов.

Известны шкалы, включающие от 3 до 120 баллов. Наиболее простой является 3-балловая шкала, по которой оценивают изменения качества.

Пример 3-балловой шкалы приведён в таблице 1.

Таблица 1 — 3-балловая шкала различных продуктов в процессе хранения.

Примечание: Источник: [11, с.92].

Однако 3-балловая шкала не позволяет дифференцированно оценивать продукт, поскольку характеризует его по незначительному количеству уровней качества.

Наибольшее распространение в практике органолептической оценки получили 5-балловые шкалы.

Пример 5-балловой шкалы приведён в таблице 2.

Таблица 2 — 5-балловая шкала различных продуктов в процессе хранения.

Плохое (едва приемлемое)

Очень плохое (неприемлемое)

Примечание: Источник: [11, с.93].

Применение 5-балловой шкалы позволяет дегустатору со средней сенсорной чувствительностью и опытом получать достаточно точные результаты.

При использовании 5-балловой системы в условиях сравнительной оценки нескольких образцов у дегустаторов может возникнуть потребность сделать их более дифференцированную оценку, например величину полбалла, или выразить свое отношение к продукту дополнительно к оценке баллами знаками плюс или минус.

Система 5-балловой оценки может быть признана основной или эталонной.

Пример 9-балловой шкалы приведён в таблице 3.

Таблица 3 — 9-балловая шкала различных продуктов в процессе хранения.

Очень плохое (совершенно неприемлемое)

Примечание: Источник: [11, с.93].

Пример 100-балловой шкалы приведён в таблице 4.

Таблица 4 — 100-балловая шкала различных продуктов в процессе хранения.

Примечание: Источник: [11, с.93].

Недостатком 100-балловых шкал, применяемых при органолептической оценке пищевых продуктов, является отсутствие описания каждого балла шкалы.

100-балловые шкалы составляются по-разному в зависимости от характера продукции и относительной значимости каждого из основных органолептических показателей, участвующих в оценке качества. Каждому из показателей присваивают определенное максимальное количество баллов так, чтобы в сумме получалось 100. Затем устанавливается размер скидок с каждой частной (по отдельным показателям) балльной оценки для предусмотренных стандартом товарных сортов.

Скидки для каждого вида продукции устанавливаются не одинаковые, а с учетом их специфики.

Существенным преимуществом много-балловых систем по сравнению с мало-балловыми является широкий диапазон шкалы, превышающий в несколько раз рабочие диапазоны других балльных систем.

Оптимальная шкала удовлетворяет основному условию: каждый балл шкалы должен отвечать другому уровню качества, воспринимаемому средним дегустатором, причем для оценки отдельных показателей качества удобно применять шкалу с одинаковым числом баллов.

Чтобы обеспечить различимость ступеней шкалы, необходимо дать дегустаторам описание, в котором отражены характерные особенности градаций, позволяющие достаточно четко отличить каждый уровень балловой шкалы от граничащих с ним и выражающие степень качества оцениваемого показателя.

Характеристика качественных уровней шкалы должна отвечать)

Общеупотребительность — распространенность терминов, привычность для дегустаторов;

Однозначность — близкое толкование разными экспертами;

Различимость — возможность различать признаки по всем ступеням шкалы;

Достаточность — количество уровней шкалы обеспечивает необходимую точность результатов.

В последние десятилетия за рубежом бурно развивается органолептика. Большое внимание уделяется методу балловой оценки качества продуктов. В различных странах приняты разные системы и структуры с 5, 10, 15, 18, 20, 30, 50 и 100-балловыми шкалами. В основном применяют шкалы с 5 и 20 баллами [11, с.102].

В рамках международного сотрудничества проведены научные разработки унифицированной балловой системы оценки органолептических свойств продуктов. Введение в практику метода балловой оценки, основанного на единых принципах, необходимо международной торговле для обмена информацией о качестве продуктов, которая будет одинаково интерпретироваться в разных странах. Выполненные разработки используют международные тенденции в науке, опыт балловой системы оценки качества продуктов в развитых странах мира.

Европейская организация по контролю качества разработала структурный метод характеристики органолептических свойств продуктов, необходимый для контроля качества в частном и государственном секторах промышленности. Применение структурных шкал, основанных на единых принципах, облегчает унификацию требований к органолептической оценке в различных странах и фирмах, что особенно важно для продуктов нового ассортимента.

При этом необходимо придерживаться следующих основных принципов:

структура и система баллового метода должны быть доступными для понимания — оценки на шкале сопоставимы с оценками потребителей;

при составлении описательных характеристик, прежде всего, следует учитывать оценку продукта потребителями, по возможности избегать повторений и совпадений. Показатели качества и характеристики предпочтительно объединять в группы, применяя экспертные методы группового обсуждения;

расчет градаций шкалы и коэффициентов весомости показателей целесообразно проводить с учетом мнений потребителей;

положительные и отрицательные характеристики показателей соотносить с соответствующими точками на шкале. Каждый балл шкалы должен иметь описание признаков качества;

разные группы признаков предпочтительно оценивать с помощью шкал интервалов, которые позволяют наряду с дифференцированием и ранжированием сравнивать ширину интервалов. Значения делений шкалы определять статистически. Описание признаков составлять на основе общей обоснованности;

сенсорную оценку желательно дополнять данными других методов, например инструментальных, но эти измерения не являются частью метода балловой оценки. Баллы органолептического теста должны быть выражены так, чтобы их можно было использовать для статистических расчетов. Результаты испытаний должны вписываться в общую систему, применимую к различным видам пищевых продуктов.

Наиболее ответственный момент — выбор шкалы. С учетом изложенных принципов рекомендована шкала с симметричными интервалами, на которой большее значение соответствует хорошему качеству, а меньшее — плохому. Шкала должна учитывать средние способности подготовленных дегустаторов к различительной оценке. Существующие шкалы имеют обычно от 3 до 11 интервалов. Опыт показывает, что при оценке групповых показателей (вкус, запах, консистенция, внешний вид и др.) даже для квалифицированных дегустаторов более удобны шкалы с 6 — 8 интервалами. Установлено, что способность различать интервалы качества сложных показателей не идентична способности тех же дегустаторов различать интервалы для простых тестов. Например, опытный дегустатор способен различать до 20 концентраций сладкого вкуса, но затрудняется различить значительно меньшее число ступеней вкуса продукта, созданного композицией компонентов. Для удобства работы и обеспечения надежных результатов для оценки разных показателей в рамках одной системы следует использовать одну и ту же шкалу с одинаковым числом интервалов. Важным требованием балловой системы является устранение элементов субъективизма.

Исследования, выполненные в Центре по проведению контроля качества и анализа пищевых продуктов (Венгрия), свидетельствуют о том, что для работы дегустаторов целесообразно использовать однородную 5-балловую шкалу органолептической оценки разных показателей качества и применять коэффициенты весомости. К составлению характеристик показателей качества (по 5-балловой шкале) предъявляют следующие требования:

Относительно оцениваемого признака продукт обладает отчетливо положительными свойствами; общее впечатление полностью гармоничное. Дефекты или недостатки не обнаружены — 5;

Продукт имеет незаметные дефекты или недостатки, доставляет почти полное удовольствие — 4;

Положительные характеристики продукта ухудшены; продукт имеет заметные дефекты или недостатки; оценка удовольствия соответствует приемлемому уровню — 3;

Продукт имеет недостатки и дефекты, следовательно, он не отвечает требованиям стандарта. Оценка удовольствия пониженная, но продукт может быть продан при определенных условиях (например, при пропорциональном снижении стоимости) — 2;

Продукт имеет значительные дефекты и недостатки, поэтому непригоден для употребления. Однако он может быть предназначен для повторной переработки — 1;

Продукт имеет дефекты, которые указывают на его порчу. Следовательно, в любом виде продукт непригоден для употребления в пищу — 0.

Требования к качеству продукта, которое должно получить 5 баллов, описывается как «отличное» в соответствии с международными стандартами. Если для какого-либо продукта или уровня шкалы трудно дать словесное описание, то в виде исключения можно опустить описательную характеристику и предложить дегустатору выставить оценочные баллы на основе собственного опыта. В отдельных случаях в шкалу разрешается не включать 0 баллов.

Подготовка и обработка, анализ и представление данных

Практические примеры и советы, методология и обсуждение

Оценка и предпочтение объектов

Обсуждается построение показателей, основанных на балльных оценках нескольких объектов. Для более адекватной оценки каждого из них учитываются оценки всех объектов, причем предлагается вводить параметры оценивания, индивидуальные для каждого респондента.
Вводится понятие «стандартного» профиля респондента. Показано влияние различных методик расчета на итоговые показатели.

  Нотариус спб на удельной

1. Балльные оценки

Психологические тесты, как правило, не предполагают взаимодействие респондентов во время опроса. Поэтому любой групповой показатель имеет смысл только тогда, когда он имеет смысл и для единственного респондента. Это и позволяет нам рассматривать группу как некоего «обобщенного» респондента и приписывать ему некие «средние» показатели. Но тогда можно сказать, что:

    тщательный анализ оценок одного респондента является основой для получения как индивидуальных, так и групповых показателей

Рассмотрим такой вариант первичных данных (назовем их b-оценками):

  • имеются оценки n объектов;
  • они находятся в диапазоне от bmin до bmax;
  • большее значение bi соответствует большей «предпочтительности» объекта Оi.

Примерами могут служить любые балльные шкалы (самоотношения, …), шкала социальной дистанции Богардуса и многие другие. Основной недостаток таких оценок – наличие неконтролируемого сдвига из-за:

  • выставления социально-ориентированных оценок;
  • индивидуальной склонности респондента к выставлению оценок того или иного рода.

    из полученных балльных оценок как «внешнего» выражения отношения респондента вывести его «внутренние», истинные предпочтения

Строго говоря, баллы — это только ранжирование. Отметим, что реальные основания для именно такого предпочтения объектов выявить весьма трудно, поскольку и сам респондент не всегда может их сформулировать.

Баллы позволяют установить порядок предпочтений для данного респондента и проранжировать объекты. Ранжирование оценок одного объекта различными респондентами обычно дает мало толку, поскольку при большом числе респондентов появляется слишком много совпадающих рангов.
Обоснованными здесь являются только статистики номинальной и порядковой шкал. Причем уже простейшая статистика — распределение частот оценок — позволяет многое сказать об «участниках»: объектах и респондентах.

2. Интервальная шкала

Ранговый характер b-оценок позволяет довольно много узнать как о респонденте, так и о группе в целом. Но чтобы пойти дальше и извлечь из b-оценок более детальную информацию, необходимо всё же сделать предположения о характере самой процедуры оценивания. Т.е., надо постулировать тип шкалы, по которой получены оценки. Мы будем полагать, как часто делается, что шкала b-оценок равноинтервальна. Т.е., для респондента различие двух объектов с оценками b и b+1 не зависит от величины b.

Это очень сильное предположение, и его обоснованность требует специальных исследований. Тем не менее, будем надеяться, что некоторые отклонения от равенства интервалов между соседними делениями шкалы не очень скажутся при описании интересующих нас характеристик респондента (или всей группы респондентов). Это означает к тому же, что не следует слишком уж доверчиво относиться к критериям согласия при сравнении различных оценок.

3. Индивидуальная шкала оценок

Первым шагом к стандартизации показателей является нормировка шкалы на интервал [-1; 1]. Однако, это никак не решает поставленных задач.

Оценивая объекты, респондент сравнивает их только между собой — именно такая задача ставится перед ним. Но тут проявляется его индивидуальная склонность завышать (занижать) все оценки или же давать крайние оценки. И это вполне понятно. Например, не всякий человек склонен обнародовать оценку типа «не хочу видеть в своей стране людей такой-то национальности», он скорее предпочтет более «мягкую» формулировку. Или признать, что ценность «Мир во всем мире» для него не так уж и важна. Чаще всего такое уклонение от «правдивого» ответа обусловлено уж слишком лобовым характером самого вопроса. Отметим этот факт:

    Склонность респондента в использованию только части диапазона оценок может изменить показатели для группы в целом

Использование своего диапазона оценок есть проявление индивидуальности респондента. Такой персональный, индивидуальный диапазон оценок определяется максимальным и минимальным значениями выставленных оценок. Он всегда находится внутри предлагаемого шкалой [bmin; bmax] (рис. 1, индивидуальный диапазон выделен красным).

Рис. 1. Индивидуальный диапазон оценок.

    Значимость таких параметров и их влияние на характеристики респондентов и группы в целом можно проиллюстрировать прямыми данными. Автор провел соответствующие исследования на материале, предоставленном И.И. Кауненко (2004–2008 гг.). Из 856 респондентов, отвечавших на вопросы теста «Социальная дистанция», 263 (30,7%) использовали значения R, меньшие 6 (размах предлагаемой шкалы). При этом 187 (21,8%) не использовали ответ «Предпочел бы не видеть их в моей стране» (максимальное значение шкалы, равное 7), а 100 (11,7%) не использовали ответ «Принятие как близких родственников посредством брака» (минимальное, 1).
    Отмечу, что 14 (1,6%) респондентов вообще дали одну и ту же оценку для всех объектов, т.е., по сути дела, отказались от выполнения теста. Тем не менее, исследователи настаивали на включении этих респондентов в выборку. Хотя это и приводит к систематическому сдвигу средних по группе…

Распределения индивидуальных величин — bmax (k) , bmin (k) , , и R (k) =2·М (k) — по выборке могут дать существенную информацию о группе и послужить хорошей основой для сравнения групп между собой. Проблема — в умении исследователя содержательно интерпретировать эти различия…

    Например, в том же исследовании сравнение по этим параметрам трех возрастных групп (подростки – молодежь – взрослые) выявило значимые отличия между взрослыми и подростками с молодежью, которые между собой отличались незначимо. Наблюдалась четкая тенденция к снижению числа негативных оценок с возрастом и снижение размаха оценок.

Поскольку такие показатели характеризуют именно группу как «оценивающего субъекта» безотносительно к выделению того или иного объекта, то при обычной методике расчета они остаются вне внимания исследователя, хотя и представляют несомненный интерес. Кстати, при использовании теста социальной дистанции разумно преобразовать оценки таким образом, чтобы большее значение показателя соответствовало и более позитивной оценке объекта, как это интуитивно полагается.

Сформулируем — для каждого респондента:

  • «внешнее» отношение к объектам оценки выражается как в значениях оценок, так и в индивидуальных параметрах оценивания;
  • «внутреннее» отношение выражается в структуре оценок, которая характеризует относительное расположение объектов в сознании респондента.

4. Профиль респондента

Совокупность оценок одного респондента наглядно представляется его «профилем». Три таких профиля для 7-балльной шкалы изображены на рис. 2.

Рис. 2. Профили трех респондентов.

В можно было бы назвать настроенным «позитивно», С — «негативно», а А — «нейтрально». Но при всем этом интуитивно ясно, что все трое относятся к объектам, в общем-то, одинаково. Профили В и С отличаются сдвигом, профиль А — растяжением. Такое различие оценок обусловлено именно индивидуальным стилем высказывания.

Сформулируем максимальные требования к стандартному профилю:

  1. Значения показателей должны находиться в диапазоне [-1; 1].
  2. Объекты с b-оценками, равными bmax (k) и bmin (k) , должны иметь значения показателя, равные +1 и -1 соответственно.
  3. Среднее значение всех показателей должно равняться нулю («центрированность» показателя).

К сожалению, 2 и 3 требования противоречат друг другу — в общем случае добиться их одновременного выполнения нельзя. Поэтому придется выбирать:

  1. 1 + 2: крайних значений не менее 2-х, но среднее значение не равно 0;
  2. 1 + 3: центрированность, но крайнее значение м.б. и только одно.

Конечно, при специальном подборе оценок можно выполнить все 3 условия, но нам-то нужен произвольный случай. Выбор довольно труден — оба варианта имеют свои преимущества.

В первом варианте облегчается задача выделения «крайних» объектов, поскольку такие объекты характеризуются значениями ±1. Но трудно ожидать, что остальные объекты расположатся настолько удачно, чтобы среднее значение равнялось нулю. Среднее значение показателей как раз и характеризует общий настрой в оценке. Поскольку оно чаще всего будет невелико по абсолютной величине, то речь идет скорее о знаке этого отношения. Следовательно, такая система показателей отражает отношение респондента к объектам.

Второй вариант соответствует интуитивному представлению о профиле как о такой структуре отношений респондента к объектам, при которой он находится «в равновесии между объектами», в некоем «центре тяжести» этой группы объектов. Такая система показателей отражает предпочтения респондента по отношению к объектам. Тогда естественно полагать, что, скорее всего, только один из них находится дальше всех от «центра».

Впрочем, что мешает использовать оба варианта?

5. Отношение респондента к объекту оценки

Для 1-го варианта нормируем индивидуальные b–оценки по формуле:

Критерии и шкалы. 100-балльная 30-система критериев оценки академической грамотности текста

Пришло время поговорить о цифрах, т.е. о конкретике оценочных шкал. Развитие развитием, но когда учишься что-то делать, всегда интересно знать, какой оценки может быть удостоен твой груд. Чтобы оценка была понятной, полезной и объективной, необходимы четко прописанные и строго соблюдаемые критерии, учитывающие все характеристики, аспекты и измерения текста. Сведенные в единую логическую систему, такие критерии позволяют «измерить» эти характеристики и увидеть именно те недостатки, над которыми следует работать.

  Выдача передача материальных ценностей

Однако сами по себе цифры не делают оценку детальной и развернутой. Если в уже использованной нами в задании 10 оценке использовать не среднее значение, а сумму, то можно выставить суммарную оценку не по 10-балльной, а но 30-балльной шкале. Однако три разные оценки по трем разным измерениям говорят автору о его умениях гораздо больше, чем одна, не так ли?

Шкалы и их градация зависят от учебного заведения. В большинстве случаев это все та же пятибалльная шкала из трех оценок: «отлично», «хорошо» и «удовлетворительно», которые ничего конкретного вам не скажут. Они сродни тестам (прошел — не прошел) или соревнованиям (кто лучший?). Возникают вопросы: «А каковы мои шансы пройти в следующий раз? А что значит “лучший”? Возможно, за час он написал текст лучше меня, но за неделю мой текст оказался бы намного лучше, чем у него. И что мы оцениваем — память или умение работать с источниками?»

В ряде вузов используются 10-балльная и 100-балльная шкалы. Однако при отсутствии согласованных и четко описанных критериев эти шкалы мало чем отличаются от пятибалльной шкалы: как, например, преподаватель может обосновать различие между оценками 79 и 81, если первая «хорошо» (71—80), а вторая — «отлично» (81—100)? Если они представляют собой среднее арифметическое между несколькими работами, оцененными по этой шкале, то можно ли оспорить эти несколько оценок и «выиграть» пару баллов из ста, кардинально изменив «хорошо» на «отлично»?

К сожалению, многие преподаватели дисциплин не только у нас, но и в западных университетах ставят оценки, руководствуясь своими собственными, личными принципами. Как отмечает Джои Бин, автор одного из самых авторитетных американских учебников по методике преподавания письма, преподаватели одной дисциплины на одной кафедре с изумлением обнаруживают достаточно сильные расхождения между оценками, которые они ставят за одни и те же письменные работы студентов.

Вывести эти личные принципы из тени можно только коллегиально, установив, согласовав и описав систему критериев. Примеров таких шкал достаточно много, но все они так или иначе описывают примерно одни и те же характеристики, поскольку качество письма предусматривает соблюдение объективно существующих и необходимых требований. Более того, сами критерии упорядочиваются логически (в чем мы убедимся, работая над заданием 11), и оценка текста происходит обычно в той же логике, что и работа над ним.

Такой список критериев не только делает оценку понятной, прозрачной и объективной, но и помогает работать над текстом. Его полезно держать под рукой, когда пишешь, и спрашивать себя время от времени: «Достаточно ли четко выразил я свою позицию? Достаточно ли мне знаний, чтобы обосновать се? Достаточно ли последовательно мое доказательство? Все ли аспекты проблемы я учел? Насколько привлекательно я презентовал свой продукт читателю? Учел ли я, кто мой читатель, и что он вынесет из моего текста?»

Вывод: четко сформулированная шкала критериев полезна не только для оценки, но и для самооценки, и если в первом случае критерии помогают оценить текст как продукт, то во втором они помогают скорректировать процесс письма.

Для того чтобы получить шкалу, критерии нужно вынести в самостоятельный список и каждому придать значение в один или несколько баллов, причем можно придать разное значение разным критериям по степени важности и получить, таким образом, достаточно объективную оценочную шкалу. Чем подробнее и точнее будет шкала, тем объективнее будет оценка. Следует помнить, что «максималистский» подход возможен только на финальном этапе курса письма, когда все виды ошибок уже проработаны в той или иной мере, и хотелось бы знать, с чем покидаешь процесс обучения, хотелось бы отшлифовать некоторые детали или улучшить уже имеющийся текст.

Для такой максимальной проверки я разработала 100-балльную систему критериев оценки академической грамотности текста на основе Гриновой ЗО-модели. Эта система была рассчитана на учебное, небольшое по объему эссе (1,5—3 страницы печатного текста), т.е. от пятиабзацного эссе до несколько более сложного текста, однако она вполне пригодна для оценки академических текстов большего объема.

ЗЭ-система критериев оценки академической грамотности текста имеет следующий вид.

Академическая грамотность текста (100-балльная шкала)

Операциональная составляющая (40 баллов)

Структура текста (30 баллов).

  • 1. Введение должно содержать:
    • — предложение, привлекающее внимание читателя (интрига);
    • — указание на проблему, ограничивающее фокус текста;
    • — четко сформулированный основной тезис (то, что будет доказываться);
    • — аспекты, которые будут рассматриваться в тексте (покрытие предметной области).
  • 2. Основная часть. Каждый абзац должен содержать:
    • — заглавное предложение, включающее тему и контрольную мысль;
    • — фактическую поддержку контрольной мысли;
    • — заключительное предложение (ведущее к следующему абзацу).
  • 3. Заключение должно содержать:
    • — краткое перечисление выводов основной части;
    • — основной вывод в соответствии с тезисом;
    • — рекомендации и/или оценку и/или констатирующий вывод.
  • 1. Синтаксис:
    • — четко выстроенные (легко воспринимаемые) предложения с главными блоками;
    • — отсутствие слияний, цепей и фрагментов;
    • — логическая и синтаксическая связность.
  • 2. Грамматика (падежные, лексические и орфографические ошибки).

Культурная составляющая (30 баллов)

  • 1. Содержание:
    • — понимание предмета;
    • — отбор необходимого и достаточного фактического материала, правильное использование источников;
    • — покрытие предметной области, использование фоновых и специальных знаний.
  • 2. Адресация:
    • — понимание того, к кому обращен текст;
    • — уважение к читателю;
    • — умение предусмотреть иную позицию (точку зрения), иной подход к рассмотрению проблемы, предвидеть возможные возражения.
  • 3. Стиль:
    • — ясное, последовательное, связное выражение мыслей; краткость;
    • — отсутствие эмоционально насыщенных утверждений, свойственных публицистике;
    • — отсутствие разговорных оборотов, присущих неформальному общению.

Критическая составляющая (30 баллов)

  • 1. Собственная позиция должна быть:
    • — четко выражена в тезисе,
    • — последовательно доказана в основной части;
    • — сформулирована в заключительном выводе (отношение к проблеме, ее оценка и/или пути решения).
  • 2. Логика и аргументация: целенаправленное доказательство собственной позиции на основе:
    • — логики;
    • — убедительных аргументов;
    • — адекватного использования информации.
  • 3. Объективность:
    • — нейтральность;
    • — отсутствие предвзятости, бездоказательных и безапелляционных заявлений;
    • — отсутствие «общих мест», банальностей и прописных истин.

Выше уже отмечалось, что в системе критериев мы будем исходить ив равенства трех измерений грамотности. Как видим, операциональная составляющая имеет даже несколько больший вес (40 баллов против 30 на каждое из двух других измерений). Обсудив шкалу с Биллом Грином, мы пришли к выводу, что для данного курса такое распределение критериев оправдано, несмотря на то что критическое измерение остается нашей важнейшей целью. Поскольку ЗО-система критериев разрабатывалась в процессе проведения курса академического письма для студентов 1 и опиралась на результаты ряда экспериментов со взрослыми специалистами, то можно с уверенностью сказать, что она прошла испытание практикой.

Важно, что благодаря такой детализации критериев каждый студент точно знал, за что он получает тот или иной балл. Можно было обсудить или оспорить некоторые баллы внутри оценки и прийти к пониманию того, почему за эту работу выставлена оценка 79, а не 81. Кроме того, система помогала студентам отслеживать качество своего текста в процессе работы, т.е. служила как бы «строительными лесами» или каркасом, не позволяющим конструкции текста «накрениться» в какую-либо сторону. На самом деле, избежать ошибки гораздо легче, чем потом исправлять ее. Вспомним о линейном письме: рвать сплошную нить повествования и менять местами такие «рваные» фрагменты гораздо сложнее, чем изначально выстроить текст правильно.

Опрос, проведенный спустя год, когда студенты завершили работу над бакалаврскими диссертациями, показал, что самоконтроль оказался эффективен за пределами нашего краткого курса. «Оценка оценки» оказалась, таким образом, вполне позитивной, а развитие «по спирали» проявило себя в реальной жизни.

Будем надеяться, что ЗО-модель академической грамотности текста поможет нам отследить комплексное развитие сложных умений и навыков

1 Первая апробация системы прошла на третьем курсе бакалавриата факультета государственного управления Российской академии народного хозяйства и государственной службы при Президенте РФ в 2012—2013 гг.

письма и в этой книге, и за ее пределами как в минимальном, гак и максимальном формате.