Если сенсорная панель хорошо обучена и подготовлена, ее участники могут действовать с инструментальной точностью и выявлять количественные и качественные различия в восприятии  продуктов, представленных в конкретном тестируемом наборе. Очень часто причиной плохой работы панели выступает недостаточная согласованность между оценщиками. Такое может произойти, например, если участники панели не договорились о точном значении и смысловой нагрузке семантических маркеров, выбранных для описания воспринимаемого сенсорного различия.

Если мы рассматриваем сенсорный лексикон в качестве инструмента для ранжирования сенсорных различий между продуктами, то работа на основе плохо понимаемых терминов похожа на попытку сыграть на ненастроенном музыкальном инструменте! В таких случаях опытная панель, т.е. совокупность панелистов, должна согласовать конкретные характеристики восприятия «проблемных» атрибутов, чтобы достичь стандартного восприятия на основе консенсуса.

Даже когда есть четкое понимание всех атрибутов, все равно возможны недостаточно хорошее разграничение и воспроизводимость на индивидуальном и групповом уровне – ведь участникам панели надо оценить один и тот же атрибут по целому набору тестируемых продуктов. Мониторинг панели и система обратной связи на индивидуальном и групповом уровнях могут способствовать повышению уверенности у членов группы, а также повышению согласованности и непротиворечивости их оценок.

Было бы правильным проводить анализ эффективности панели при каждом сборе данных, поскольку плохо работающая панель – это ненужная трата времени и денег. Можно использовать некоторые простые тесты, чтобы быстро оценить согласованность результатов панели, а также наличие или отсутствие согласованности между отдельными членами панели. Мониторинг эффективности панели может успешно применяться в процессе обучения для выявления:

- неэффективных панелистов

- атрибутов, не показывающих различия

- областей лексики, недостаточно хорошо понимаемых или плохо согласованных между участниками обследуемой панели.

Диагностика этих проблем еще на раннем этапе подготовки панели позволяет лидеру панели (panel leader – участник панели, которому отведена руководящая роль в организации панели и внутригрупповой коммуникации – R&T) получать обратную связь по вопросам эффективности работы и сосредоточиться на выявленных проблемах. Важно быть последовательным в подходе к измерению эффективности работы панели – так чтобы результаты проверок в разные периоды времени были бы взаимно сопоставимы. Это облегчает выявление признаков высокой или низкой эффективности работы.

Наиболее важные аспекты эффективности работы панели – это повторяемость и воспроизводимость данных, а также дискриминация (установление различий). В том, что касается повторяемости, мы проверяем, ставит ли панелист ту же самую оценку атрибуту данного продукта при каждом тестировании этого продукта. Под воспроизводимостью мы понимаем непротиворечивость оценок по всей панели. Воспроизводимость – это показатель того, что все члены панели обнаруживают одни и те же сенсорные различия в набор продуктов и согласны в отношении их оценки. Третий показатель эффективности работы панели - дискриминация. По сути, это способность панели выявить различия между образцами на основе оцениваемых сенсорных атрибутов.

В дополнение к проверке способности панели проводить оценку, также важно проверить полноту сенсорного лексикона, используемого при описании набора продуктов. Чтобы гарантировать полное описание набора продуктов, руководитель проекта должен убедиться, что в лексиконе представлены все атрибуты конкретного продукта, которые могут быть восприняты панелистами.

Есть целый ряд неплохих методов, которые могут быть использованы для выявления признаков низкой эффективности, как на уровне отдельного оценщика, так и по всей панели. По возможности следует составлять графики данных для выявления выбросов (резко выделяющихся значений), колебаний и расхождения в наборе данных.

В простейшем случае строится график профиля, куда входят все оценки участника панели по серии образцов – строится простой двумерный график для каждого атрибута, по которому можно тут же увидеть разногласия между членами панели. С помощью одномерного статистического анализа (например, двустороннего анализа ANOVA, где оценщик и продукт выступают в качестве независимых параметров) можно избежать ложных результатов, которые могут привести к ошибке первого типа (интерпретация ложных положительных результатов).

Построение значения «р» для оценщиков по дисперсионному анализу продуктов по отношению к среднеквадратической погрешности на индивидуальном уровне также является эффективным способом визуализации различий между отдельными экспертами. График «р» по отношению к среднеквадратической погрешности» - это быстрый и эффективный способ визуализировать различия между продуктами, выявленную отдельными членами панели, по отношению к средней погрешности их оценок. Он позволяет проводить оценку экспертов на индивидуальном уровне.

Одномерные расчеты также позволяют проверить корреляцию между оценщиками и измерить степень согласованности экспертных оценок по конкретным атрибутам и продуктам. Описательные сенсорные данные, собранные по ряду атрибутов, продуктов и людей являются многомерными и, следовательно, сложно визуализируемыми.

Многомерная статистика позволяет провести быструю диагностику работы панели путем сравнения оценок панели по всем атрибутам и продуктам. Можно использовать такие методы, как анализ главных компонент (Principal Component Analysis - PCA) и «обобщенный прокрустовый анализ» (Generalised Procrustes Analysis - GPA). Это позволит быстро выявить тех оценщиков, чьи данные не совпадают с общим мнением панели, те продукты, что отличаются сильнее всего, и те атрибуты, которые были плохо поняты. Построение корреляции оценок эксперта в PCA – это быстрый и удобный способ измерения степени согласованности данного эксперта. Для этого мы используем программу PanelCheck, она позволяет нам быстро оценить эффективность с помощью простых для интерпретации графиков, таких как Tucker 1, который дает быструю оценку степени согласованности оценщика и дискриминации. Эта программа была разработана компанией Matforsk (норвежский участник European Sensory Network). Программу можно скачать бесплатно с сайта http://www.matforsk.no/web/sampro.nsf/webTemaPE/PanelCheck!OpenDocument PanelCheck - это очень удобный и эффективный инструмент, который сочетает в себе все эти методы и существенно упрощает мониторинг панели.

Вероятно, было бы неправильным называть их "плохими панелистами", уж скорее, "дезориентированными". Целевая подготовка с учетом проблемных областей обычно позволяет исправить любые проблемы. У всех нас бывают неудачные дни, поэтому удаление оценщика из проекта из-за плохих результатов может оказаться слишком сильной мерой. Во всяком случае, это будет неэффективным способом сбора данных – ведь вы уже заплатили за данные, поэтому стоит попытаться их использовать.

Оценщиков необходимо изначально правильно рекрутировать и отсеивать по чувствительности их восприятия, чтобы гарантировать, что отобранные участники панели обладают хорошей способностью восприятия и высоко мотивированы к участию в работе панели. Если оценщик регулярно показывает низкую эффективность, то лучше всего лично говорить с этим человеком, чтобы понять - достаточно ли он мотивирован для полноценного участия в работе, и нет ли каких-то других причин, лежащих за пределами самой панели. Острота сенсорного восприятия иногда может оказываться под влиянием внешних факторов, таких как хирургические операции или прием лекарств. Поэтому очень важно, чтобы члены подготовленной панели информировали лидера панели обо всех соответствующих изменениях в своем самочувствии, которые могут повлиять на их способность выступать в качестве эксперта сенсорной панели.

Обученный участник панели будет хорошо и эффективно исполнять свою роль при условии, что он постоянно будет мотивирован на работу. Если вы заняты стандартными бизнес-процессами или долгосрочными проектами, легко забыть, как это влияет на моральное состояние участников панели. Процесс обучения и оценки продуктов питания и напитков часто становится монотонной, повторяющейся рутиной. Эти изменения отражаются на моральном состоянии не сразу, но результат всегда один и тот же: низкая производительность панели. Предоставление четкой и честной обратной связи по высокой и низкой эффективности работы – вот удачный подход, который может быть использован для уменьшения риска, связанного со снижением мотивации панели. Правильно выстроенная обратная связь способна мотивировать оценщиков и дать им понять, что их результаты являются важными и полезными. По возможности следует представлять панели результаты исследований, в которых она участвовала, чтобы показать ее участникам ценность их вклада в общую работу и подчеркнуть их важность для успеха всего проекта.