Методы измерения аттитюдов: АТТИТЮДА ИЗМЕРЕНИЕ — это… Что такое АТТИТЮДА ИЗМЕРЕНИЕ?

АТТИТЮДА ИЗМЕРЕНИЕ — это… Что такое АТТИТЮДА ИЗМЕРЕНИЕ?



АТТИТЮДА ИЗМЕРЕНИЕ

(англ. attitude measurement) — процедура и результат численной оценки уровня выраженности того или иного аттитюда. А. и. покоится на допущении того, что аттитюды как состояния сознания м. б. объективизированы и охарактеризованы с помощью к.-л. численной меры. А. и. представляет собой особую методологическую проблему, решаемую посредством процедур непрямого шкалирования, являющихся традиционной «палочкой-выручалочкой» при необходимости представления субъективных, качественных данных в количественном виде. В общем виде шкала для А. и. (син. шкала установки) включает определенным образом упорядоченное множество суждений, отражающих континуум возможных вариаций установки (или определенного ее компонента, напр., когнитивного или эмоционального).

Процесс А. и. подразделяется на 2 основных этапа — подготовительный и собственно измерительный. Конечная цель 1-го этапа: конструирование измерительной шкалы. Этот этап, в свою очередь, подразделяется на 2 фазы: 1) создание эмпирической системы описания аттитюдов (их проявлений) и фиксация типа отношений между ними; 2) анализ полученных данных, упорядочивание их и построение числовой системы, соответствующей одному из видов шкал (номинальной, порядковой, интервальной или пропорциональной). Обычно используется большое множество высказываний, которые предлагаются группе экспертов для оценивания; в итоговую шкалу отбирают сравнительно небольшое число суждений из тех, что получили достаточно согласованные оценки. Эти суждения образуют пункты шкалы, а соответствующие им оценки используются как численная мера измеряемого аттитюда. Полученная шкала будет измерительным инструментом только в том случае, если большинство (в идеале — все) опрашиваемые будут одинаковым образом интерпретировать каждый ее пункт, что налагает особые требования к используемым языковым средствам и ограничивает применение неадаптированных опросников.

На 2-м этапе разработанную т.

о. шкалу (оформленную чаще в виде опросника) предъявляют лицам, чьи аттитюды собираются измерить, и на основании их выборов делают выводы об уровне выраженности аттитюда. Были предложены несколько вариантов шкал для А. и., известных как шкала Терстоуна, шкала Лайкерта, шкала Гутмана.
Для А. и. могут использоваться и др. методы: семантический дифференциал Ч. Осгуда, различные шкалы самоотчета («нравится — не нравится», «приветствую — протестую», «хорошо — плохо»), методы контент-анализа письменных сочинений и устных высказываний (см. Метод фокус-групп), метод перечислений, шкала социальной дистанции Е. Богардуса и даже регистрация физиологических показателей. Заметим, что проблема несовпадения аттитюдов (одного и того же человека по отношению к одному и тому же объекту), измеренных разными методами, весьма остра и далека от разрешения.

А. и. дает возможность: 1) сравнивать индивидов по степени выраженности их отношения к тому или иному социальному объекту, 2) оценивать динамику аттитюдов и их устойчивость; 3) оценивать группы по распределениям показателей аттитюдов.

Большой психологический словарь. — М.: Прайм-ЕВРОЗНАК.
Под ред. Б.Г. Мещерякова, акад. В.П. Зинченко.
2003.

• АТТИТЮДА ИЗМЕНЕНИЕ
• АТТИТЮДОВ ПРИВИВКА

Смотреть что такое «АТТИТЮДА ИЗМЕРЕНИЕ» в других словарях:

• Измерение аттитюдов (attitude measurement) — Во мн. областях конструирования психол. тестов (напр. тестировании личности, способностей или интеллекта) преследуется цель создания единственного, валидизированного на разнообразных выборках теста, к рый бы нашел широкое применение в данной… …   Психологическая энциклопедия

• ШКАЛА ГУТМАНА — (англ. Guttman scaling) один из 3 основных типов шкал измерения аттиюда; название по имени разработчика Н. Гутмана. Син.: шкалограмма Гутмана, метод кумулятивного шкалирования. Основное допущение состоит в том, что аттитюд представляет собой… …   Большая психологическая энциклопедия

• ШКАЛА ЛАЙКЕРТА — (англ. Likert scale) один из 3 основных типов шкал для измерения аттитюдов, предложенный в 1932 Ренсисом Лайкертом (Ликертом). Термин «Ш. Л.» относится как к шкалам, которые были сконструированы самим Лайкертом, так и ко всем шкалам такого типа.… …   Большая психологическая энциклопедия

• ШКАЛА ТЕРСТОУНА — (англ. Thurstone type scales) одна из 3 основных шкал, традиционно используемых для измерения аттитюдов. Названа по имени Луиса Леона Терстоуна (1887 1953), который в соавторстве с Е. Чейвом разработал 1 й измерительный инструмент для аттитюдов… …   Большая психологическая энциклопедия

• измерения в психологии —      (измерения в психологии) процедуры определения количественной выраженности психологических феноменов. В них применяются разнообразные шкалы, содержащие некое множество позиций, поставленных в некое соответствие с психологическими элементами …   Большая психологическая энциклопедия

• шкалирование — одна из разновидностей измерительных методов, применяемых в психологии. Существуют две традиции использования термина «Ш.» в психологии. В обиходном смысле под Ш. понимают такой метод вынесения субъективных оценок, когда испытуемому (информанту,… …   Большая психологическая энциклопедия

• ШКАЛА СОЦИАЛЬНОЙ ДИСТАНЦИИ — (англ. Social Distance Scale) порядковая шкала, с помощью которой можно оценить уровень выраженности социальной установки в отношении представителей различных рас и национальностей. Фактически, аттитюд оценивается на основе уровня толерантности,… …   Большая психологическая энциклопедия

• Теория аттитюдов (attitude theory) — Позитивные и негативные аттитюды свойственны людям всех возрастов и любых культур. Эта вездесущность аттитюдов на протяжении многих лет привлекала к себе внимание теоретиков в области соц. наук. С момента своего возникновения в начале этого… …   Психологическая энциклопедия

• Шкалирование по Терстоуну (Thurstoune scaling) — Метод Ш. Т., тж известный как метод субъективно равных интервалов (method of equal appearing intervals), процедура, разработанная Тёрстоуном для конструирования инструментов количественного измерения аттитюдов. На первом шаге процедуры собирается …   Психологическая энциклопедия

• Кэттелл, Рэймонд Бернард — Рэймонд Бернард Кэттелл Raymond Bernard Cattell Дата рождения …   Википедия

Психологическая энциклопедия — измерение аттитюдов

(attitude measurement)

Во мн. областях конструирования психол. тестов (напр. тестировании личности, способностей или интеллекта) преследуется цель создания единственного, валидизированного на разнообразных выборках теста, к-рый бы нашел широкое применение в данной области. В области И. а., однако, сложилась иная традиция. Несмотря на наличие неск. компендиумов валидизированных шкал аттитюдов, исследователи предпочитают разрабатывать собственные шкалы для каждого нового исследовательского проекта. Одна из причин такого подхода состоит в том, что существует почти необозримое количество аттитюдов, и интерес к тем или иным из них, по-видимому, изменяется с каждым годом. Вторая причина связана с тем, что аттитюд представляет собой настолько устойчивую («робастную») характеристику человека, что различные меры одного и того же аттитюда даже когда соотв. шкалы разрабатываются разными исследователями обычно очень высоко коррелируют между собой.

Теоретические соображения

При разработке или выборе средств И. а. необходимо точно определить: а) объект аттитюда; б) концептуальные атрибуты конструкта аттитюда, релевантные целям исслед., и в) область реакций.

Можно измерять аттитюды по отношению к любому объекту из огромного множества вариантов поведения, идей, понятий или сущностей. Аттитюд может быть очень специфическим и конкретным (аттитюды по отношению к конкретному человеку или фильму), может относиться к соц. категории (ирландцы или азартные игроки) или быть чрезвычайно широким и абстрактным (война или консерватизм).

Перед тем как разрабатывать или выбирать меру аттитюда, необходимо определиться с тем, что подразумевается под данным понятием. Большинство авторитетных исследователей в данной области рассматривают аттитюд в качестве гипотетического конструкта, наиболее характерным атрибутом к-рого является его оценочный характер.

Аттитюды обладают и др. атрибутами, к-рые может пожелать измерить исследователь. Релевантные аттитюду убеждения, напр., могут варьировать по их широте, постоянству или диапазону. Аттитюды могут тж различаться степенью связи с осн. ценностями и личными потребностями человека. Эта связь может приводить к различиям в уровне эго-вовлеченности.

Как гипотетический конструкт, аттитюд не доступен непосредственному наблюдению. Его существование обнаруживается через его влияние на наблюдаемые реакции человека. Исследователи аттитюдов в ходе относительно долгой истории их изучения установили три категории таких реакций. Аффективные реакции относятся к чувствам и физиолог. реакциям на объект аттитюда. Когнитивные реакции включают информ., убеждения и выводы, сделанные в отношении объекта. Конативные (волевые) реакции относятся к инициируемым действиям или намерениям их инициировать в отношении объекта аттитюда.

Практические соображения

Степень структурированности инструмента измерения диктуется целями исслед. Напр., при использовании минимально структурированной, открытой формы опроса, предполагающей свободные ответы, человека можно спросить: «Что вы думаете об X?» В противоположность этому, в макс. структурированной шкале человеку предлагается сделать выбор из нек-рого множества альтернатив. Если исслед. носит пилотажный характер, чаще предпочитается открытая форма. Она предоставляет больше информ. о мыслях и представлениях субъекта, зачастую идентифицируя проблемы, неучтенные исследователем. Кроме того, неструктурированная форма предоставляет респонденту большую свободу самовыражения, позволяя достигать лучшего взаимопонимания с исследователем. С др. стороны, структурированные формы гораздо легче обрабатывать, они уменьшают вероятность ошибок при кодировании данных, более четко фокусируют реакции на интересующих вопросах и могут реализовываться в больших группах людей. Т. о., когда исследователь располагает ясными представлениями об интересующих его чувствах, убеждениях и действиях, закрытая форма, в целом, более предпочтительна.

В большинстве исслед. с использованием шкал аттитюдов предполагается, что человек осознает свой аттитюд, а тж готов подробно и точно ответить на все связанные с ним вопросы. Для мн. изучаемых проблем и условий проведения исслед. такое допущение является обоснованным и оправданным.

При скрытых процедурах (unobtrusive techniques) люди не осознают, что за ними ведется наблюдение. Напр., расстояние между двумя сидящими людьми может служить показателем их отношения друг к другу, стиль одежды и прически политического консерватизма, а ношение берета отражать публичную демонстрацию художественных притязаний.

При использовании косвенных процедур (indirect techniques) люди обычно отдают себе отчет в том, что их оценивают. Однако, они не должны сознавать, что предметом, интересующим исследователя, является их аттитюд, а, напротив, считать, что оценивающего интересует к.-л. др. аспект их поведения, напр. способность к логическому мышлению, уровень моральных суждений или перцептивные способности. Напр., аттитюды могут косвенно измеряться путем подсчета допущенных ошибок в тестах на. фактические знания или логическое мышление. Этот подход основывается на предположении, что когда люди ошибаются, они воспринимают те выводы, с к-рыми они согласны, как осн. на фактах или на строгих умозаключениях, и прямо противоположным образом относятся к тем выводам, с к-рыми они не согласны. В случае измерения расовых и этнических аттитюдов респондентов могут попросить высказать суждения о личностных чертах, мотивах или интеллекте целевой группы. Это обычно осуществляется под видом оценки способности респондента к точным суждениям о характере других людей.

Наконец, нужно учитывать время и ресурсы, к-рыми исследователь располагает при конструировании шкалы, проведении обследования и обработке результатов. Если существуют временные ограничения, рекомендуется использовать методики структурированного самоотчета с небольшим количеством пунктов. Такие методики требуют меньше времени как для проведения, так и для обработки. Наиболее структурированные шкалы могут тж применяться в больших группах, тогда как косвенные, скрытые, или физиолог. измерения, как правило, не могут. Кроме того, методики самоотчета зачастую обходятся дешевле и не требуют для своего проведения сложных стимульных материалов, иногда необходимых для др. методов.

Считается, что скрытые и косвенные процедуры измерения менее чувствительны к попыткам респондентов скрыть аттитюд или сообщать только социально желательные мнения, чем прямые методики самоотчета. Причиной может быть то, что люди либо не сознают, что их проверяют, либо их внимание фокусируется на др. оцениваемых характеристиках (напр. способностях). Несмотря на то, что такого рода обман может позволять исследователю получать более точную информ. об интересующих аттитюдах, следует помнить, что это делается без информированного согласия респондента. В таких случаях надлежит учитывать нрава личности на сохранение тайны. При любом использовании результатов должна сохраняться анонимность.

Измерение ненаблюдаемого

Определение аттитюда как гипотетического (и следовательно ненаблюдаемого) конструкта, по-видимому, прямо противоречит тому взгляду, что аттитюд может измеряться на основе наблюдаемых реакций. Для разрешения этой проблемы используются две стратегии. Применяется единичная мера (single measure) аттитюда (напр. самооценка по одному пункту), однако наряду с этим осуществляется обширное фоновое исслед. с целью получения информ. о потенциальных систематических ошибках такой меры и обстоятельствах, при к-рых она приводит к искажениям. Исследователь либо учитывает эти обстоятельства при последующем использовании шкалы, либо вводит дополнительный контроль переменных, чтобы минимизировать или устранить их влияние на систематическую ошибку шкалы. Стратегия множественных операционализаций (multiple operationism strategy) подразумевает измерение аттитюда двумя или более операционально различающимися способами. Напр., для аффективной, когнитивной и конативной категорий аттитюдинальных реакций могут быть сконструированы отдельные средства измерения. Полученные с их помощью отдельные показатели затем могут быть объединены в одну общую меру аттитюда. Такая стратегия предполагает, что систематическая ошибка в любом отдельно взятом показателе будет компенсироваться противоположными смещениями в др. показателях.

См. также Аттитюды, Теория аттитюдов, Шкалирование

Д. Дэвис, Т. Остром

Измерение аттитюда | Мир Психологии

ИЗМЕРЕНИЕ АТТИТЮДА

Измерение аттитюда — (англ. attitude measurement) — процедура и результат численной оценки уровня выраженности того или иного аттитюда. Аттитюда измерение покоится на допущении того, что аттитюды как состояния сознания м. б. объективизированы и охарактеризованы с помощью к.-л. численной меры. Аттитюда измерение представляет собой особую методологическую проблему, решаемую посредством процедур непрямого шкалирования, являющихся традиционной «палочкой-выручалочкой» при необходимости представления субъективных, качественных данных в количественном виде. В общем виде шкала для А. и. (син. шкала установки) включает определенным образом упорядоченное множество суждений, отражающих континуум возможных вариаций установки (или определенного ее компонента, напр., когнитивного или эмоционального). Процесс измерение аттитюда подразделяется на 2 основных этапа — подготовительный и собственно измерительный. Конечная цель 1-го этапа: конструирование измерительной шкалы. Этот этап, в свою очередь, подразделяется на 2 фазы:

1. создание эмпирической системы описания аттитюдов (их проявлений) и фиксация типа отношений между ними;
2. анализ полученных данных, упорядочивание их и построение числовой системы, соответствующей одному из видов шкал (номинальной, порядковой, интервальной или пропорциональной). 

Обычно используется большое множество высказываний, которые предлагаются группе экспертов для оценивания; в итоговую шкалу отбирают сравнительно небольшое число суждений из тех, что получили достаточно согласованные оценки. Эти суждения образуют пункты шкалы, а соответствующие им оценки используются как численная мера измеряемого аттитюда. Полученная шкала будет измерительным инструментом только в том случае, если большинство (в идеале — все) опрашиваемые будут одинаковым образом интерпретировать каждый ее пункт, что налагает особые требования к используемым языковым средствам и ограничивает применение неадаптированных опросников.

На 2-м этапе разработанную т.о. шкалу (оформленную чаще в виде опросника) предъявляют лицам, чьи аттитюды собираются измерить, и на основании их выборов делают выводы об уровне выраженности аттитюда. Были предложены несколько вариантов шкал для А. и., известных как шкала Терстоуна, шкала Лайкерта, шкала Гутмана.

Для А. и. могут использоваться и др. методы: семантический дифференциал Ч. Осгуда, различные шкалы самоотчета («нравится — не нравится», «приветствую — протестую», «хорошо — плохо»), методы контент-анализа письменных сочинений и устных высказываний (см. Метод фокус-групп), метод перечислений, шкала социальной дистанции Е. Богардуса и даже регистрация физиологических показателей. Заметим, что проблема несовпадения аттитюдов (одного и того же человека по отношению к одному и тому же объекту), измеренных разными методами, весьма остра и далека от разрешения.

Измерение аттитюда дает возможность:

1. сравнивать индивидов по степени выраженности их отношения к тому или иному социальному объекту,
2. оценивать динамику аттитюдов и их устойчивость;
3. оценивать группы по распределениям показателей аттитюдов.

А. и. используются для диагностики личности, а также находят широкое применение в социальной психологии, социологии, психологии рекламы и т.п. областях. См. также Измерения в психологии, Метод семантического дифференциала. (И.А. Мещерякова)

Психологический словарь. А.В. Петровского М.Г. Ярошевского

нет значения и толкования слова

Словарь психиатрических терминов. В.М. Блейхер, И.В. Крук

нет значения и толкования слова

Неврология. Полный толковый словарь. Никифоров А.С.

нет значения и толкования слова

Оксфордский толковый словарь по психологии

нет значения и толкования слова

предметная область термина

назад в раздел : словарь терминов  /  глоссарий  /  таблица

Измерение аттитюдов (attitude measurement) — Психологическая энциклопедия

Во мн. областях конструирования психол. тестов (напр. тестировании личности, способностей или интеллекта) преследуется цель создания единственного, валидизированного на разнообразных выборках теста, к-рый бы нашел широкое применение в данной области. В области И. а., однако, сложилась иная традиция. Несмотря на наличие неск. компендиумов валидизированных шкал аттитюдов, исследователи предпочитают разрабатывать собственные шкалы для каждого нового исследовательского проекта. Одна из причин такого подхода состоит в том, что существует почти необозримое количество аттитюдов, и интерес к тем или иным из них, по-видимому, изменяется с каждым годом. Вторая причина связана с тем, что аттитюд представляет собой настолько устойчивую («робастную») характеристику человека, что различные меры одного и того же аттитюда — даже когда соотв. шкалы разрабатываются разными исследователями — обычно очень высоко коррелируют между собой.

Теоретические соображения

При разработке или выборе средств И. а. необходимо точно определить: а) объект аттитюда; б) концептуальные атрибуты конструкта аттитюда, релевантные целям исслед., и в) область реакций.

Можно измерять аттитюды по отношению к любому объекту из огромного множества вариантов поведения, идей, понятий или сущностей. Аттитюд может быть очень специфическим и конкретным (аттитюды по отношению к конкретному человеку или фильму), может относиться к соц. категории (ирландцы или азартные игроки) или быть чрезвычайно широким и абстрактным (война или консерватизм).

Перед тем как разрабатывать или выбирать меру аттитюда, необходимо определиться с тем, что подразумевается под данным понятием. Большинство авторитетных исследователей в данной области рассматривают аттитюд в качестве гипотетического конструкта, наиболее характерным атрибутом к-рого является его оценочный характер.

Аттитюды обладают и др. атрибутами, к-рые может пожелать измерить исследователь. Релевантные аттитюду убеждения, напр., могут варьировать по их широте, постоянству или диапазону. Аттитюды могут тж различаться степенью связи с осн. ценностями и личными потребностями человека. Эта связь может приводить к различиям в уровне эго-вовлеченности.

Как гипотетический конструкт, аттитюд не доступен непосредственному наблюдению. Его существование обнаруживается через его влияние на наблюдаемые реакции человека. Исследователи аттитюдов в ходе относительно долгой истории их изучения установили три категории таких реакций. Аффективные реакции относятся к чувствам и физиолог. реакциям на объект аттитюда. Когнитивные реакции включают информ., убеждения и выводы, сделанные в отношении объекта. Конативные (волевые) реакции относятся к инициируемым действиям — или намерениям их инициировать — в отношении объекта аттитюда.

Практические соображения

Степень структурированности инструмента измерения диктуется целями исслед. Напр., при использовании минимально структурированной, открытой формы опроса, предполагающей свободные ответы, человека можно спросить: «Что вы думаете об X?» В противоположность этому, в макс. структурированной шкале человеку предлагается сделать выбор из нек-рого множества альтернатив. Если исслед. носит пилотажный характер, чаще предпочитается открытая форма. Она предоставляет больше информ. о мыслях и представлениях субъекта, зачастую идентифицируя проблемы, неучтенные исследователем. Кроме того, неструктурированная форма предоставляет респонденту большую свободу самовыражения, позволяя достигать лучшего взаимопонимания с исследователем. С др. стороны, структурированные формы гораздо легче обрабатывать, они уменьшают вероятность ошибок при кодировании данных, более четко фокусируют реакции на интересующих вопросах и могут реализовываться в больших группах людей. Т. о., когда исследователь располагает ясными представлениями об интересующих его чувствах, убеждениях и действиях, закрытая форма, в целом, более предпочтительна.

В большинстве исслед. с использованием шкал аттитюдов предполагается, что человек осознает свой аттитюд, а тж готов подробно и точно ответить на все связанные с ним вопросы. Для мн. изучаемых проблем и условий проведения исслед. такое допущение является обоснованным и оправданным.

При скрытых процедурах (unobtrusive techniques) люди не осознают, что за ними ведется наблюдение. Напр., расстояние между двумя сидящими людьми может служить показателем их отношения друг к другу, стиль одежды и прически — политического консерватизма, а ношение берета отражать публичную демонстрацию художественных притязаний.

При использовании косвенных процедур (indirect techniques) люди обычно отдают себе отчет в том, что их оценивают. Однако, они не должны сознавать, что предметом, интересующим исследователя, является их аттитюд, а, напротив, считать, что оценивающего интересует к.-л. др. аспект их поведения, напр. способность к логическому мышлению, уровень моральных суждений или перцептивные способности. Напр., аттитюды могут косвенно измеряться путем подсчета допущенных ошибок в тестах на. фактические знания или логическое мышление. Этот подход основывается на предположении, что когда люди ошибаются, они воспринимают те выводы, с к-рыми они согласны, как осн. на фактах или на строгих умозаключениях, и прямо противоположным образом относятся к тем выводам, с к-рыми они не согласны. В случае измерения расовых и этнических аттитюдов респондентов могут попросить высказать суждения о личностных чертах, мотивах или интеллекте целевой группы. Это обычно осуществляется под видом оценки способности респондента к точным суждениям о характере других людей.

Наконец, нужно учитывать время и ресурсы, к-рыми исследователь располагает при конструировании шкалы, проведении обследования и обработке результатов. Если существуют временные ограничения, рекомендуется использовать методики структурированного самоотчета с небольшим количеством пунктов. Такие методики требуют меньше времени как для проведения, так и для обработки. Наиболее структурированные шкалы могут тж применяться в больших группах, тогда как косвенные, скрытые, или физиолог. измерения, как правило, не могут. Кроме того, методики самоотчета зачастую обходятся дешевле и не требуют для своего проведения сложных стимульных материалов, иногда необходимых для др. методов.

Считается, что скрытые и косвенные процедуры измерения менее чувствительны к попыткам респондентов скрыть аттитюд или сообщать только социально желательные мнения, чем прямые методики самоотчета. Причиной может быть то, что люди либо не сознают, что их проверяют, либо их внимание фокусируется на др. оцениваемых характеристиках (напр. способностях). Несмотря на то, что такого рода обман может позволять исследователю получать более точную информ. об интересующих аттитюдах, следует помнить, что это делается без информированного согласия респондента. В таких случаях надлежит учитывать нрава личности на сохранение тайны. При любом использовании результатов должна сохраняться анонимность.

Измерение ненаблюдаемого

Определение аттитюда как гипотетического (и следовательно ненаблюдаемого) конструкта, по-видимому, прямо противоречит тому взгляду, что аттитюд может измеряться на основе наблюдаемых реакций. Для разрешения этой проблемы используются две стратегии. Применяется единичная мера (single measure) аттитюда (напр. самооценка по одному пункту), однако наряду с этим осуществляется обширное фоновое исслед. с целью получения информ. о потенциальных систематических ошибках такой меры и обстоятельствах, при к-рых она приводит к искажениям. Исследователь либо учитывает эти обстоятельства при последующем использовании шкалы, либо вводит дополнительный контроль переменных, чтобы минимизировать или устранить их влияние на систематическую ошибку шкалы. Стратегия множественных операционализаций (multiple operationism strategy) подразумевает измерение аттитюда двумя или более операционально различающимися способами. Напр., для аффективной, когнитивной и конативной категорий аттитюдинальных реакций могут быть сконструированы отдельные средства измерения. Полученные с их помощью отдельные показатели затем могут быть объединены в одну общую меру аттитюда. Такая стратегия предполагает, что систематическая ошибка в любом отдельно взятом показателе будет компенсироваться противоположными смещениями в др. показателях.

См. также Аттитюды, Теория аттитюдов, Шкалирование

Д. Дэвис, Т. Остром

Источник:
Психологическая энциклопедия
на Gufo.me

Измерение аттитюдов (attitude measurement) — это… Что такое Измерение аттитюдов (attitude measurement)?

Во мн. областях конструирования психол. тестов (напр. тестировании личности, способностей или интеллекта) преследуется цель создания единственного, валидизированного на разнообразных выборках теста, к-рый бы нашел широкое применение в данной области. В области И. а., однако, сложилась иная традиция. Несмотря на наличие неск. компендиумов валидизированных шкал аттитюдов, исследователи предпочитают разрабатывать собственные шкалы для каждого нового исследовательского проекта. Одна из причин такого подхода состоит в том, что существует почти необозримое количество аттитюдов, и интерес к тем или иным из них, по-видимому, изменяется с каждым годом. Вторая причина связана с тем, что аттитюд представляет собой настолько устойчивую («робастную») характеристику человека, что различные меры одного и того же аттитюда — даже когда соотв. шкалы разрабатываются разными исследователями — обычно очень высоко коррелируют между собой.

Теоретические соображения

При разработке или выборе средств И. а. необходимо точно определить: а) объект аттитюда; б) концептуальные атрибуты конструкта аттитюда, релевантные целям исслед., и в) область реакций.

Можно измерять аттитюды по отношению к любому объекту из огромного множества вариантов поведения, идей, понятий или сущностей. Аттитюд может быть очень специфическим и конкретным (аттитюды по отношению к конкретному человеку или фильму), может относиться к соц. категории (ирландцы или азартные игроки) или быть чрезвычайно широким и абстрактным (война или консерватизм).

Перед тем как разрабатывать или выбирать меру аттитюда, необходимо определиться с тем, что подразумевается под данным понятием. Большинство авторитетных исследователей в данной области рассматривают аттитюд в качестве гипотетического конструкта, наиболее характерным атрибутом к-рого является его оценочный характер.

Аттитюды обладают и др. атрибутами, к-рые может пожелать измерить исследователь. Релевантные аттитюду убеждения, напр., могут варьировать по их широте, постоянству или диапазону. Аттитюды могут тж различаться степенью связи с осн.

ценностями и личными потребностями человека. Эта связь может приводить к различиям в уровне эго-вовлеченности.

Как гипотетический конструкт, аттитюд не доступен непосредственному наблюдению. Его существование обнаруживается через его влияние на наблюдаемые реакции человека. Исследователи аттитюдов в ходе относительно долгой истории их изучения установили три категории таких реакций. Аффективные реакции относятся к чувствам и физиолог. реакциям на объект аттитюда. Когнитивные реакции включают информ., убеждения и выводы, сделанные в отношении объекта. Конативные (волевые) реакции относятся к инициируемым действиям — или намерениям их инициировать — в отношении объекта аттитюда.

Практические соображения

Степень структурированности инструмента измерения диктуется целями исслед. Напр., при использовании минимально структурированной, открытой формы опроса, предполагающей свободные ответы, человека можно спросить: «Что вы думаете об X?» В противоположность этому, в макс. структурированной шкале человеку предлагается сделать выбор из нек-рого множества альтернатив. Если исслед. носит пилотажный характер, чаще предпочитается открытая форма. Она предоставляет больше информ. о мыслях и представлениях субъекта, зачастую идентифицируя проблемы, неучтенные исследователем. Кроме того, неструктурированная форма предоставляет респонденту большую свободу самовыражения, позволяя достигать лучшего взаимопонимания с исследователем. С др. стороны, структурированные формы гораздо легче обрабатывать, они уменьшают вероятность ошибок при кодировании данных, более четко фокусируют реакции на интересующих вопросах и могут реализовываться в больших группах людей. Т. о., когда исследователь располагает ясными представлениями об интересующих его чувствах, убеждениях и действиях, закрытая форма, в целом, более предпочтительна.

В большинстве исслед. с использованием шкал аттитюдов предполагается, что человек осознает свой аттитюд, а тж готов подробно и точно ответить на все связанные с ним вопросы. Для мн. изучаемых проблем и условий проведения исслед. такое допущение является обоснованным и оправданным.

При скрытых процедурах (unobtrusive techniques) люди не осознают, что за ними ведется наблюдение. Напр., расстояние между двумя сидящими людьми может служить показателем их отношения друг к другу, стиль одежды и прически — политического консерватизма, а ношение берета отражать публичную демонстрацию художественных притязаний.

При использовании косвенных процедур (indirect techniques) люди обычно отдают себе отчет в том, что их оценивают. Однако, они не должны сознавать, что предметом, интересующим исследователя, является их аттитюд, а, напротив, считать, что оценивающего интересует к.-л. др. аспект их поведения, напр. способность к логическому мышлению, уровень моральных суждений или перцептивные способности. Напр., аттитюды могут косвенно измеряться путем подсчета допущенных ошибок в тестах на. фактические знания или логическое мышление. Этот подход основывается на предположении, что когда люди ошибаются, они воспринимают те выводы, с к-рыми они согласны, как осн. на фактах или на строгих умозаключениях, и прямо противоположным образом относятся к тем выводам, с к-рыми они не согласны. В случае измерения расовых и этнических аттитюдов респондентов могут попросить высказать суждения о личностных чертах, мотивах или интеллекте целевой группы. Это обычно осуществляется под видом оценки способности респондента к точным суждениям о характере других людей.

Наконец, нужно учитывать время и ресурсы, к-рыми исследователь располагает при конструировании шкалы, проведении обследования и обработке результатов. Если существуют временные ограничения, рекомендуется использовать методики структурированного самоотчета с небольшим количеством пунктов. Такие методики требуют меньше времени как для проведения, так и для обработки. Наиболее структурированные шкалы могут тж применяться в больших группах, тогда как косвенные, скрытые, или физиолог. измерения, как правило, не могут. Кроме того, методики самоотчета зачастую обходятся дешевле и не требуют для своего проведения сложных стимульных материалов, иногда необходимых для др. методов.

Считается, что скрытые и косвенные процедуры измерения менее чувствительны к попыткам респондентов скрыть аттитюд или сообщать только социально желательные мнения, чем прямые методики самоотчета. Причиной может быть то, что люди либо не сознают, что их проверяют, либо их внимание фокусируется на др. оцениваемых характеристиках (напр. способностях). Несмотря на то, что такого рода обман может позволять исследователю получать более точную информ. об интересующих аттитюдах, следует помнить, что это делается без информированного согласия респондента. В таких случаях надлежит учитывать нрава личности на сохранение тайны. При любом использовании результатов должна сохраняться анонимность.

Измерение ненаблюдаемого

Определение аттитюда как гипотетического (и следовательно ненаблюдаемого) конструкта, по-видимому, прямо противоречит тому взгляду, что аттитюд может измеряться на основе наблюдаемых реакций. Для разрешения этой проблемы используются две стратегии. Применяется единичная мера (single measure) аттитюда (напр. самооценка по одному пункту), однако наряду с этим осуществляется обширное фоновое исслед. с целью получения информ. о потенциальных систематических ошибках такой меры и обстоятельствах, при к-рых она приводит к искажениям. Исследователь либо учитывает эти обстоятельства при последующем использовании шкалы, либо вводит дополнительный контроль переменных, чтобы минимизировать или устранить их влияние на систематическую ошибку шкалы. Стратегия множественных операционализаций (multiple operationism strategy) подразумевает измерение аттитюда двумя или более операционально различающимися способами. Напр., для аффективной, когнитивной и конативной категорий аттитюдинальных реакций могут быть сконструированы отдельные средства измерения. Полученные с их помощью отдельные показатели затем могут быть объединены в одну общую меру аттитюда. Такая стратегия предполагает, что систематическая ошибка в любом отдельно взятом показателе будет компенсироваться противоположными смещениями в др. показателях.

См. также Аттитюды, Теория аттитюдов, Шкалирование

Д. Дэвис, Т. Остром

.

АТТИТЮДА ИЗМЕРЕНИЕ

(англ. Attitude Measurement) — процедура и результат численной оценки уровня выраженности того или иного Аттитюда. А. и. покоится на допущении того, что аттитюды как состояния сознания м. б. объективизированы и охарактеризованы с помощью к.-л. численной меры. А. и. представляет собой особую методологическую проблему, решаемую посредством процедур непрямого шкалирования, являющихся традиционной «палочкой-выручалочкой» при необходимости представления субъективных, качественных данных в количественном виде. В общем виде шкала для А. и. (син. шкала установки) включает определенным образом упорядоченное множество суждений, отражающих континуум возможных вариаций установки (или определенного ее компонента, напр., когнитивного или эмоционального).

Процесс А. и. подразделяется на 2 основных этапа — подготовительный и собственно измерительный. Конечная цель 1-го этапа: конструирование измерительной шкалы. Этот этап, в свою очередь, подразделяется на 2 фазы: 1) создание эмпирической системы описания аттитюдов (их проявлений) и фиксация типа отношений между ними; 2) анализ полученных данных, упорядочивание их и построение числовой системы, соответствующей одному из видов шкал (номинальной, порядковой, интервальной или пропорциональной). Обычно используется большое множество высказываний, которые предлагаются Группе Экспертов для оценивания; в итоговую шкалу отбирают сравнительно небольшое число суждений из тех, что получили достаточно согласованные оценки. Эти суждения образуют пункты шкалы, а соответствующие им оценки используются как численная мера измеряемого аттитюда. Полученная шкала будет измерительным инструментом только в том случае, если большинство (в идеале — все) опрашиваемые будут одинаковым образом интерпретировать каждый ее пункт, что налагает особые требования к используемым языковым средствам и ограничивает применение неадаптированных опросников.

На2-м этапе разработанную т. о. шкалу (оформленную чаще в виде опросника) предъявляют лицам, чьи аттитюды собираются измерить, и на основании их выборов делают выводы об уровне выраженности аттитюда. Были предложены несколько вариантов шкал для А. и., известных как Шкала Терстоуна, шкала Лайкерта, шкала Гутмана.

Для А. и. могут использоваться и др. методы: семантический дифференциал Ч. Осгуда, различные шкалы самоотчета («нравится — не нравится», «приветствую — протестую», «хорошо — плохо»), методы Контент-анализа Письменных сочинений и устных высказываний (см. Метод фокус-групп), метод перечислений, Шкала социальной дистанции Е. Богардуса и даже регистрация физиологических показателей. Заметим, что проблема несовпадения аттитюдов (одного и того же человека по отношению к одному и тому же объекту), измеренных разными методами, весьма остра и далека от разрешения.

А. и. дает возможность: 1) сравнивать индивидов по степени выраженности их отношения к тому или иному социальному объекту, 2) оценивать динамику аттитюдов и их устойчивость; 3) оценивать группы по распределениям показателей аттитюдов.

А. и. используются для диагностики личности, а также находят широкое применение в социальной психологии, социологии, психологии рекламы и т. п. областях. См. также Измерения в психологии, Метод семантического дифференциала. (И. А. Мещерякова.)

Аттитюда измерение

АТТИТЮДА ИЗМЕРЕНИЕ (англ. attitude measurement) — процедура и результат численной оценки уровня выраженности того или иного аттитюда. А. и. покоится на допущении того, что аттитюды как состояния сознания м. б. объективизированы и охарактеризованы с помощью к.-л. численной меры. А. и. представляет собой особую методологическую проблему, решаемую посредством процедур непрямого шкалирования, являющихся традиционной «палочкой-выручалочкой» при необходимости представления субъективных, качественных данных в количественном виде. В общем виде шкала для А. и. (син. шкала установки) включает определенным образом упорядоченное множество суждений, отражающих континуум возможных вариаций установки (или определенного ее компонента, напр., когнитивного или эмоционального).
Процесс А. и. подразделяется на 2 основных этапа — подготовительный и собственно измерительный. Конечная цель 1-го этапа: конструирование измерительной шкалы. Этот этап, в свою очередь, подразделяется на 2 фазы: 1) создание эмпирической системы описания аттитюдов (их проявлений) и фиксация типа отношений между ними; 2) анализ полученных данных, упорядочивание их и построение числовой системы, соответствующей одному из видов шкал (номинальной, порядковой, интервальной или пропорциональной). Обычно используется большое множество высказываний, которые предлагаются группе экспертов для оценивания; в итоговую шкалу отбирают сравнительно небольшое число суждений из тех, что получили достаточно согласованные оценки. Эти суждения образуют пункты шкалы, а соответствующие им оценки используются как численная мера измеряемого аттитюда. Полученная шкала будет измерительным инструментом только в том случае, если большинство (в идеале — все) опрашиваемые будут одинаковым образом интерпретировать каждый ее пункт, что налагает особые требования к используемым языковым средствам и ограничивает применение неадаптированных опросников.
На 2-м этапе разработанную т. о. шкалу (оформленную чаще в виде опросника) предъявляют лицам, чьи аттитюды собираются измерить, и на основании их выборов делают выводы об уровне выраженности аттитюда. Были предложены несколько вариантов шкал для А. и., известных как шкала Терстоуна, шкала Лайкерта, шкала Гутмана.
Для А. и. могут использоваться и др. методы: семантический дифференциал Ч. Осгуда, различные шкалы самоотчета («нравится — не нравится», «приветствую — протестую», «хорошо — плохо»), методы контент-анализа письменных сочинений и устных высказываний (см. Метод фокус-групп), метод перечислений, шкала социальной дистанции Е. Богардуса и даже регистрация физиологических показателей. Заметим, что проблема несовпадения аттитюдов (одного и того же человека по отношению к одному и тому же объекту), измеренных разными методами, весьма остра и далека от разрешения.
А. и. дает возможность: 1) сравнивать индивидов по степени выраженности их отношения к тому или иному социальному объекту, 2) оценивать динамику аттитюдов и их устойчивость; 3) оценивать группы по распределениям показателей аттитюдов.
А. и. используются для диагностики личности, а также находят широкое применение в социальной психологии, социологии, психологии рекламы и т. п. областях. См. также Измерения в психологии, Метод семантического дифференциала. (И. А. Мещерякова.)

Почему следует измерять отношение к UX

Наблюдение за тем, как люди взаимодействуют с интерфейсом, многое расскажет о том, что работает, а что нужно улучшить.

И хотя наблюдение за поведением важно для понимания пользовательского опыта, этого недостаточно.

Тот факт, что продукт выполняет то, что должен, имеет правильную цену и надежен, не означает, что он обеспечивает удобство для пользователей.

Пользователи могут подумать, что опыт слишком сложен или труден.Например, многие программные продукты B2B, такие как приложения для составления отчетов о расходах, отвечают потребностям организации и являются надежными, но содержат много шагов и запутанного жаргона, что делает их довольно неприятными.

Хороший UX означает понимание и оценку действий И отношения.

Речь идет о функции, но также и о чувствах. Отношение не только описывает, что люди чувствуют при использовании интерфейса или взаимодействии с продуктом, но также может быть объяснением того, ПОЧЕМУ люди будут или не будут использовать продукт или приложение в будущем.

Если вы хотите понять и спрогнозировать поведение пользователей, вам необходимо понять отношения. Но что такое отношение?

Три части отношения

Отношение — это склонность положительно или отрицательно реагировать на человека, продукт, организацию или опыт. У людей есть положительные и отрицательные чувства и идеи о компаниях, веб-сайтах и ​​опыте.

Но, подобно концепциям UX и юзабилити, отношение можно рассматривать как многомерную конструкцию со связанными компонентами.На протяжении десятилетий исследователи социальных наук моделировали и измеряли отношения. Хотя ведутся споры о том, как лучше всего разложить отношение, одной из влиятельных моделей является трехсторонняя модель отношения, также называемая моделью ABC. Согласно этой модели установка состоит из трех частей: когнитивной, аффективной и конативной. Это также называется аффектом, поведением и познанием (отсюда ABC).

Мы можем проиллюстрировать эту концепцию на трех вещах, с которыми люди знакомы и, вероятно, имеют положительное или отрицательное отношение к: змеям и двум брендам (Apple и Facebook).

Когнитивный : Убеждения людей о бренде, интерфейсе или опыте.

• Змеи контролируют популяцию грызунов.
• Apple производит инновационные продукты.
• Продукция Apple очень дорогая.
• Facebook связывает меня с друзьями и семьей.
• Facebook представляет рекламу на основе моего профиля.

Аффективный : Чувства по отношению к бренду, продукту, интерфейсу или опыту.

• Находясь рядом со змеями, я чувствую напряжение.
• Продукты Apple делают мир лучше.
• Apple хочет выжать из меня как можно больше денег.
• Facebook заставляет меня чувствовать себя ближе к моей семье.
• Facebook несправедливо использует мои данные.

Conative (Behavior) : что люди намерены делать . Иногда это называется поведением; Я думаю, это путает это с реальным поведением, но это помогает с аббревиатурой ABC.

• Подберу змею.
• Я порекомендую маме купить новый iPhone.
• Я не собираюсь покупать еще один MacBook.
• Сегодня вечером я выложу фотографии нашего отпуска в Facebook.
• Я собираюсь бойкотировать Facebook в этом месяце.

В рамках этой трехсторонней модели отношения можно рассматривать как убеждения, чувства и намерения (см. Рисунок 1). Каждый из этих аспектов отношения обычно коррелирует с другими.Положительное мнение об опыте или продукте обычно сопровождается положительным отношением и благоприятными намерениями. Но корреляция не всегда высока, поэтому может быть полезно разделить их и понять, как каждый из этих компонентов может приводить к разному поведению.

Например, люди могут полагать, что продукты Apple дорогие (отрицательное мнение), думать, что Apple заботится о них (положительное чувство), и намереваются покупать и рекомендовать их продукты (положительное намерение).

Измерение отношения

Мы не можем напрямую наблюдать отношения.Вместо этого мы должны делать выводы из того, что мы можем измерить. Хотя есть способы измерить невербальное поведение (например, частоту сердечных сокращений в присутствии змей), обычно намного проще (и зачастую столь же эффективно) использовать показатели, о которых сообщают сами. Наиболее распространенным методом являются рейтинговые шкалы на основе стандартизированных анкет. Для удобства пользователя это могут быть элементы в SUS, SUPR-Q, UMUX-Lite, Net Promoter Score и списках прилагательных (например, в Microsoft Desirability Toolkit). Вот способы подумать об измерении каждого аспекта отношения.

Когнитивный : оцените убеждения пользователей с помощью утверждений «согласен и не согласен» (например, 5-балльной шкалы Лайкерта).

Продукция Apple дорогая.

iTunes прост в использовании. (Часть SUS и UMUX-Lite)

На веб-сайте Facebook легко перемещаться. (Часть SUPR-Q)

В целом процесс покупки на Facebook Marketplace был очень простым — очень сложным. (Часть SEQ)

Аффективный : используйте шкалы прилагательных и шкалы согласен / не согласен для оценки аффекта (SUPR-Q, SUS, удовлетворенность, набор инструментов желательности).

Информация на Facebook заслуживает доверия. (SUPR-Q)

Что из следующего лучше всего описывает Apple? (Набор инструментов желательности)

• Творческий
• Передовые технологии
• Дорого
• Элит
• Вдохновляющий
• Инновационный

Вы заметите значительное совпадение между использованием шкал для когнитивных и аффективных компонентов отношения, что усиливает их коррелированный характер.

Conative : Спросите о намерениях на будущее.

Насколько вероятно, что вы порекомендуете Apple другу или коллеге? (NPS)

Я, скорее всего, в будущем зайду на сайт Facebook. (SUPR-Q)

На рисунке 1 показано, как думать об этих аспектах отношения и как их измерять.

Рис. 1: Три компонента отношения и способы их измерения.

Использование отношения для прогнозирования поведения

Разложение отношения на эти три части помогает описать пользовательский опыт, но также может предсказать поведение.В своем предыдущем анализе мы обнаружили, что отношение к опыту пользователей веб-сайта (учитывающее как убеждения, так и чувства) предсказывает будущее покупательское поведение. Есть свидетельства того, что высокое удовлетворение ведет к более высокому уровню лояльности, покупательского намерения и, в конечном итоге, к покупке.

Мы также обнаружили, что и убеждения, и чувства (SUS) предсказывают намерения (NPS) (отсюда стрелки, соединяющие эти подкомпоненты на рисунке 1). Net Promoter Score (намерение поведения) предсказал рост индустрии программного обеспечения и коррелировал с будущим ростом в 11 из 14 отраслей.

Если вы хотите изменить поведение, вам необходимо понять и измерить отношение. Если пользователи находят опыт трудным и / или продукт дорогим или лишенным функций (когнитивный), это в конечном итоге приведет к негативным ощущениям (аффект) и уменьшению намерения использовать и рекомендовать (конативное), и в конечном итоге люди перестанут покупать или использовать (поведение ). Мы рассмотрим эту связь в следующей статье.

Фактическое изменение поведения может занять время и зависит от таких факторов, как наличие лучших альтернатив и стоимость переключения.Но история программного обеспечения Quark может служить хорошим примером того, как познание, влияние и намерение в сочетании с новой конкуренцией привели к изменению поведения — и к падению когда-то доминирующего продукта и компании.

Резюме и выводы

В этой статье мы рассмотрели роль отношения к пользовательскому опыту:

UX — это и действия, и отношения. Чтобы понять пользовательский опыт, вам необходимо учитывать как действия, так и отношения. Нельзя сказать, что пользовательский опыт восхитителен или ужасен, только по наблюдению.Вам нужно понимать, как люди думают и чувствуют.

Отношение состоит из трех частей. Влиятельная модель отношения разбивает ее на три части: когнитивную, аффективную и конативную. Это также называется моделью ABC (аффективной, поведенческой и когнитивной) и означает, что отношение состоит из того, во что люди верят (когнитивно), того, как люди себя чувствуют (аффективно), и того, что они собираются делать (конативные / поведенческие).

Измерьте отношение, чтобы понять UX. Вы можете использовать стандартные стандартизированные анкеты, такие как SUS, UMUX-Lite и SUPR-Q, для измерения когнитивных и аффективных компонентов отношения.Спросите о будущих намерениях, вероятности покупки, использования и рекомендации (Net Promoter Score), чтобы оценить конструктивный / поведенческий компонент отношения.

Отношение может объяснить и предсказать поведение. Понимание того, что люди думают и чувствуют, может помочь объяснить, почему люди действуют, и спрогнозировать их поведение в будущем (например, покупательское поведение), дальнейшее использование и рост продуктов в различных отраслях.

.

% PDF-1.4
%
94 0 объект
>
endobj

xref
94 96
0000000016 00000 н.
0000002922 00000 н.
0000003130 00000 н.
0000003461 00000 н.
0000004089 00000 н.
0000004202 00000 н.
0000005998 00000 н.
0000007150 00000 н.
0000007789 00000 н.
0000008551 00000 п.
0000009046 00000 н.
0000009201 00000 н.
0000011012 00000 п.
0000012827 00000 н.
0000014650 00000 п.
0000014708 00000 п.
0000023176 00000 п.
0000024092 00000 п.
0000025191 00000 п.
0000026440 00000 п.
0000027294 00000 п.
0000028042 00000 п.
0000029119 00000 п.
0000029280 00000 п.
0000029359 00000 н.
0000038904 00000 п.
0000039906 00000 н.
0000040844 00000 п.
0000041343 00000 п.
0000055795 00000 п.
0000066389 00000 п.
0000077240 00000 п.
0000088881 00000 п.
0000088953 00000 п.
0000089156 00000 п.
0000089204 00000 п.
0000089311 00000 п.
0000089414 00000 п.
0000089462 00000 п.
0000089624 00000 н.
0000089672 00000 п.
0000089779 00000 п.
0000089884 00000 п.
0000090014 00000 п.
0000090062 00000 н.
0000090205 00000 н.
0000090253 00000 п.
0000090370 00000 п.
0000090478 00000 п.
0000090630 00000 н.
0000090678 00000 п.
0000090788 00000 п.
0000090893 00000 п.
0000091043 00000 п.
0000091091 00000 п.
0000091190 00000 н.
0000091361 00000 п.
0000091408 00000 п.
0000091543 00000 п.
0000091666 00000 п.
0000091820 00000 н.
0000091867 00000 п.
0000092002 00000 п.
0000092116 00000 п.
0000092268 00000 п.
0000092315 00000 п.
0000092428 00000 п.
0000092550 00000 п.
0000092597 00000 п.
0000092644 00000 п.
0000092691 00000 п.
0000092738 00000 п.
0000092785 00000 п.
0000092906 00000 п.
0000092953 00000 п.
0000093079 00000 п.
0000093126 00000 п.
0000093250 00000 п.
0000093297 00000 п.
0000093436 00000 п.
0000093483 00000 п.
0000093614 00000 п.
0000093661 00000 п.
0000093708 00000 п.
0000093756 00000 п.
0000093804 00000 п.
0000093923 00000 п.
0000093971 00000 п.
0000094019 00000 п.
0000094067 00000 п.
0000094115 00000 п.
0000094163 00000 п.
0000094286 00000 п.
0000094334 00000 п.
0000094382 00000 п.
0000002216 00000 н.
трейлер
] / Назад 292191 >>
startxref
0
%% EOF

189 0 объект
> поток
hb«b«`c`bd @

.