Дифференциальная психометрика
Термин «дифференциальная психометрика» обозначает науку о дифференциально-психологических измерениях. Дифференциальная пси- хометрика отличается от общей психометрики. Общая психометрика имеет дело с задачами измерения психологиче- ских характеристик стимула, в частности, моделирует общепсихологиче- ские функциональные зависимости между свойствами стимулов и свой- ствами субъективных реакций. В психофизике речь идет об установлении соответствий между физическими характеристиками стимулов и субъек- тивными характеристиками ощущений (сенсорная психофизика), в соци- ально-психологических измерениях устанавливается соответствие между рядами социальных объектов» (например, разные виды рекламируемых товаров) и определенными психическими реакциями (например, на конти- нууме от «очень нравится» до «очень не нравится» и т.п.). В дифференциальной психометрике числовые значения (ранги, кате- гориальные шкальные значения) приписываются не стимулам, а индиви- дам. Дифференциальная психометрика имеет дело с индивидуальными различиями между людьми в качественном и количественном составе пси- хических свойств, какими являются способности, мотивы, поведенческие черты, установки, оценки и самооценки, некоторые когнитивные функции (память, внимание и т.п.) и т.п. По отношению к психодиагностике и дифференциальной психологии психометрика выступает в качестве технолого-методической дисциплины: она обосновывает требования, которым должны удовлетворять измери- тельные психодиагностические методы, обосновывает процедуры их раз- работки и применения. Психометрика разрабатывает математические мо- дели для методов психологического измерения. Она определяет формаль- ные требования для экспериментальной проверки психометрических свойств (валидности, надежности и др.) разнообразных методов психоло- гических, в том числе психодиагностических, измерений. Современные методы психодиагностики условно можно разде- лить на две категории: 1) стандартизированные, измерительные методы. Это объективные тесты и стандартизированные самоотчеты – опросники. 2) Экспертные, или методы понимания (так называемые «клинические» методы). Это про- ективные и диалоговые методы. В основе первой категории методов лежит соблюдение достаточно строгих и сформулированных в явной форме правил. Эти методы обеспе- чивают диагноз (и на его основе прогноз) лишь с вероятной точностью, этот диагноз оказывается более надежным по отношению к группе испы- туемых, чем по отношению к отдельным испытуемым. Экспертные методы в большей степени основаны на профессиональ- ном опыте, психологической интуиции самого психодиагноста. Эти мето- ды оказываются незаменимыми везде, где не разработаны (или неизвест- ны) стандартизированные процедуры. Они часто оказываются более эф- фективными по отношению к психическим явлениям, плохо поддающимся объективации (субъективные переживания, личностные смыслы, глубин- ные слои опыта), по отношению к чрезвычайно изменчивым явлениям, для которых трудно создать фиксированную операциональную модель (дина- мика идей, состояний, настроений, многоплановых отношений в группе). Если их применяет эксперт высокой квалификации, они оказываются бо- лее надежным средством в случае индивидуальной диагностики. Достоинства измерительных методов – объективный характер проце- дур, возможность перепроверки – обеспечивается не автоматически, а бла- годаря выполнению психометрических требований – требований репрезен- тативности, надежности, валидности (включая достоверность). Если эти требования не выполнены, то использование тестов ничуть не менее про- извольная процедура, чем стихийное «вчувствование» эксперта в испы- туемого. Знание психометрики дает психологу необходимую критичность в понимании ограниченности методик, в понимании тех допущений, кото- рые сделаны при разработке той или иной оценочной шкалы, теста, опрос- ника, системы заданий и т.п. Специфика психодиагностической процедуры заключается в том, что человек активен в процессе заполнения теста и может применять такую тактику, которую психодиагност при разработке методики вовсе не преду- сматривал. Диапазон «срабатывания» теста довольно узок и фактически сводится к той популяции, на которой происходила эмпирика-статистическая разра- ботка теста, обеспечивающего его надежность, валидность, репрезентатив- ность тестовых норм. Для корректного применения теста на новой популяции или в новых целях (от целей зависит установка испытуемых в ситуации тестирования) психолог должен провести серию предварительных психометрических экспериментов, направленных на перепроверку надежности, валидности и репрезентативности теста в новых условиях. Перенесение теста с одной популяции на другую без проверки как минимум однородности распределения тестовых баллов (устойчивости тестовых норм) может приводить к серьезным диагностическим ошибкам или к непроизводительным затратам на бесполезную психодиагностику. К немалым ошибкам может приводить попытка прогноза по результатам тес- та, не проверенного на прогностическую валидность, – в этом случае пси- холог должен ограничиться лишь текущим диагнозом. Строгое следование требованиям психометрики особенно необходимо при переносе тестов, разработанных за рубежом. В условиях недостаточ- ной разработанности отечественных методик многие психологи склонны рассматривать в качестве готовых зарубежные методики, тогда как реаль- ные языковые и социокультурные различия бывают столь сильны, что полная эмпирическая адаптация зарубежной методики по своему объему не уступает разработке оригинальной методики. Для того чтобы убедиться, в пригодности того или иного зарубежного теста, психолог должен уметь повторить процедуру, с помощью которой конструировался и обосновы- вался этот тест его авторами. Прежде чем психодиагностические методики могут быть использова- ны для практических целей, они должны пройти проверку по ряду фор- мальных критериев, доказывающих их высокое качество и эффективность. Эти требования в психодиагностике складывались годами в процессе рабо- ты над тестами и над их совершенствованием. В результате появилась воз- можность оградить психологию от всевозможных безграмотных подделок, претендующих на то, чтобы называться диагностическими методиками. К числу основных критериев оценки психодиагностических методик относят надежность, валидность и репрезентативность.
Надежность Характеристика методики, отражающая точность психодиагностиче- ских измерений и устойчивость результатов теста к действию посторонних случайных факторов. Надежность говорит о воспроизводимости результа- тов теста при повторных исследованиях на одних и тех же испытуемых. Таким образом, можно сказать, что надежность методики позволяет судить о том, насколько внушают доверие полученные результаты. Результаты психологического исследования обычно подвержены влиянию большого количества неучитываемых факторов (эмоциональное состояние и утомление, если они не входят в круг исследуемых характери- стик; физические факторы: освещенность, температура и другие особенно- сти помещения, где проводится исследование; уровень мотивированности испытуемых на обследование; влияние личности экспериментатора). Лю- бое изменение ситуации исследования усиливает влияние одних и ослаб- ляет воздействие других факторов на результат теста. Общий разброс (дисперсия) результатов тестового обследования можно, таким образом, представить как результат влияния двух групп причин: изменчивости, присущей самому измеряемому свойству, и факто- ров нестабильности измерительной процедуры. В самом широком смысле надежность теста – это характеристика то- го, в какой степени выявленные у испытуемых различия по тестовым ре- зультатам являются отражением действительных различий в измеряемых свойствах и в какой мере они могут быть приписаны случайным ошибкам. В более узком смысле, связанном с непосредственными методами оп- ределения характеристик надежности, под этой группой показателей по- нимают степень согласованности результатов теста, получаемых при пер- вичном и повторном его применении, по отношению к тем же испытуемым в различные моменты времени, с использованием разных (но сопостави- мых по характеру) наборов тестовых заданий или при других измерениях условий обследования. Распределение оценок испытуемых при выполнении теста, измеряю- щего одно качество, в идеальном случае совпадает с нормальным распре- делением, и дисперсия при этом будет «истинной» (т.е. отражающей ва- риативность только измеряемого признака). Каждый испытуемый занимает определенное место по оценкам теста, и теоретически это место для каж- дого члена выборки постоянно. В рассматриваемом случае повторное вы- полнение теста теми же лицами должно давать распределение мест на шкале оценок, идентичное первому. Тогда методика как измерительный инструмент точна и максимально надежна. (Нормальное распределение – вид теоретического распределения пе- ременных. Наблюдается при измерении признака (переменной) под влия- нием множества относительно независимых факторов. Крайние значения в нем встречаются достаточно редко; значения, близкие к средней величине – достаточно часто). Если отойти от идеального случая, то реальные оценки и ранговые места испытуемых при повторном обследовании изменяются, и их распре- деление в той или иной степени отличается от исходного. При этом дис- персия нового распределения выше исходного на величину дисперсии ошибки измерения. (Ошибка измерения – это статистический показатель, характеризующий степень точности отдельных измерений). Надежность теста тесно связана с ошибкой измерения, которая указывает на вероятные пределы колебаний измеряемой величины под воздействием случайных постоянных факторов. На практике в большинстве применяемых методик редко удается по- лучить значение коэффициентов надежности превышающие 0,7-0,8. Мето- дика признается надежной, когда полученный коэффициент не ниже +0,75 – +0,85. Лучшие по надежности тесты дают коэффициенты порядка +0,90 и более. (Коэффициент корреляции – нормированный количественный по- казатель, изменяющийся в пределах от -1,00 до +1,00 и оценивающий силу и направление связи между двумя переменными. Отсутствие связи выра- жается величинами, близкими к нулю.) На практике используют три основных метода оценки надежности тес- тов: повторное тестирование, параллельное тестирование и расщепление. 1. Повторное тестирование или Ретестовая надежность – характеристи- ка надежности психодиагностической методики путем повторного обследо- вания испытуемых с помощью одного и того же теста, через временной ин- тервал. Надежность в этом случае вычисляется по соответствию результатов первого и второго обследований или по сохранению ранговых мест испы- туемых в выборке при ретесте. Коэффициент надежности соответствует ко- эффициенту корреляции между результатами таких обследований. 2. Параллельное тестирование или Надежность параллельных форм – характеристика надежности с помощью взаимозаменяемых форм теста. При этом одни и те же испытуемые в выборке определения надежно- сти обследуются вначале с использованием основного набора заданий, а затем с применением аналогичных дополнительных. Коэффициент надеж- ности может быть определен и другим способом, а именно: испытуемые делятся на примерно равные группы, затем одной из них предлагается форма А теста, другой форма Б. Через определенное время (обычно не бо- лее недели) проводится повторное тестирование, но в обратном порядке. Такая процедура обследования лишена значительной части недостат- ков способа по типу надежности ретестовой. Недостатки ретестовой на- дежности: формирование навыка работы у испытуемого, запоминание от- дельных решений. Надежность параллельных форм: этих недостатков нет; возможно только усвоение принципа решения, – сокращение временного интервала, но – подходит не для всех тестовых заданий. Основным показателем здесь является коэффициент корреляции меж- ду результатами первичного и повторного обследований, который оцени- вает как временную стабильность теста (собственно надежность) так и степень соответствия результатов обеих форм теста. 3. Расщепление или Надежность частей теста – характеристики на- дежности путем анализа устойчивости результатов отдельных совокупно- стей тестовых задач или единичных пунктов (заданий) теста. Выполнение испытуемым заданий двух равноценных частей теста. Например: четные и нечетные (если задания в тесте ранжированы по сте- пени субъективной трудности). Внутренняя согласованность (консистентность) – вид надежности тес- та – гомогенность набора пунктов теста, т.е. степень, в которой конкрет- ные пункты оценивают один и тот же конструкт, насколько они измеряют одну и ту же переменную. Одни из видов оценки внутренней согласован- ности является надежность, определяемая расщеплением.
Валидность Главная проблема теории тестов заключается в том, как по изме- ренным результатам определить истинные результаты. Для характеристики способности теста измерять действительный уро- вень психического свойства или качества используют понятие валидности (англ. valid – действительный, пригодный, имеющий силу). Валидность теста показывает в какой мере он измеряет то качество, для оценки которого он предназначен. Соответствие теста измеряемому психи- ческому свойству. Если высокая надежность теста говорит о том, что тест действительно «что-то» измеряет, то высокая валидность указывает на то, что тест измеряет именно то, что мы хотим. Инвалидные, т.е. не обладаю- щие валидностью, тесты не пригодны для практического использования. Валидность меньше или равна Надежности. Валидность не может превышать надежность теста. Валидность является комплексной характеристикой, включающая, с одной стороны, сведения о том, пригодная ли методика для измерения того, для чего она была создана, а, с другой стороны, какова ее действен- ность, эффективность. В современной психометрии разработаны десятки разнообразных теоретических и экспериментальных методов проверки ва- лидности тестов. Проверка валидности методики называется валидизацией - психометрическое исследование, направленное на определение валидности теста или другого измерительного инструмента. Кроссвалидизация – про- цедура дополнительной проверки валидности теста или результатов иссле- дования посредством применения теста на новой выборке или проведения исследования с другими группами испытуемых, а также с применением других методов регистрации зависимых переменных. Основным элементом практически всех этих методов является так называемый «критерий». Критерий валидности – это независимый от тес- та, внешний по отношению к тесту источник информации об измеряемом психическом свойстве. Мы не можем судить о валидности теста до тех пор, пока не сравним его результаты с источником истинной (или хотя бы заведомо валидной) информации об измеряемом свойстве – с критерием. В качестве критерия валидности, используемых при валидизации тес- та, на практике обычно используют: объективные социально- демографические и биографические данные (стаж, образование, профес- сия, прием и увольнение с работы); показатели успеваемости, чаще всего являющиеся критериальной мерой тестов способностей к обучению, дос- тижений в отдельных дисциплинах, тестов интеллекта; производственные показатели эффективности выполнения отдельных видов профессиональ- ной деятельности, имеющие наибольшее значение при валидизации мето- дик, используемых в профотборе и профориентации; результаты реальной деятельности (рисование, моделирование, музыка, составление рассказа и т.д.) при испытании тестов общих и специальных способностей, личност- ных тестов; врачебный диагноз или другие заключения специалистов; контрольные испытания знаний и умений; данные других методик и тес- тов, валидность которых считается установленной. Виды валидности Критериальная валидность – это комплекс характеристик, вклю- чающий текущую и прогностическую валидность методики и отражающий соответствие диагноза и прогноза определенному кругу критериев изме- ряемой способности. Текущая валидность отражает способность теста различать испытуе- мых по изучаемому признаку, являющегося объектом исследования в дан- ной методике. В качестве таких признаков могут выступать уровни общих способностей, уровни притязаний, вербальный интеллект, тревожность и т.д. Анализ текущей валидности имеет отношение к установлению соот- ветствия показателей теста к реальному состоянию психологических осо- бенностей испытуемого в данный момент обследования. Сведения, характеризующие степень обоснованности и статистиче- ской надежности развития исследуемой психологической особенности в будущем, составляет прогностическую валидность методики. Заключение об этом типе валидности может быть получено, например, путем сравне- ния тестовых оценок в одной и той же группе испытуемых спустя опреде- ленное время. Основой прогностической валидности является определение того, насколько важен исследуемый признак с точки зрения деятельности испытуемого в будущем с учетом закономерно изменяющихся обстоя- тельств, перехода на другой уровень развития. Идея критериальной валидности заключается в определении способ- ности теста служить индикатором или предсказателем строго определен- ной психической особенности или формы поведения человека. Для изме- рения этого свойства теста вычисляется коэффициент корреляции тестово- го результата с внешним критерием. Конкурентная валидность – разновидность критериальной валидно- сти, оценивающей, насколько точно результаты измерения некоторой пе- ременной, полученные с помощью данного теста, соответствуют общепри- нятому показателю этой переменной, измеряющемуся практически одно- временно с применением данного теста в некоей нормативной выборке. Например, конкурентная валидность нового теста интеллекта оценивается посредством сравнения с другими авторитетными тестами; конкурентная валидность сокращенного личностного опросника оценивается посредст- вом сравнения с результатами, полученными с помощью полной формы данного опросника. С критериальной связана эмпирическая валидность – совокупность характеристик валидности теста, полученных сравнительно статистиче- ским способом оценивания. Проводится корреляционный или регрессион- ный анализ связи двух рядов значений – оценок теста и показателей по внешнему параметру изучаемого свойства (или результатов другого теста, валидность которого известна). Корреляционный анализ позволяет вы- явить степень сходства между экспериментальными показателями. Регрес- сионный анализ позволяет осуществить прогнозирование динамики разви- тия какого-либо фактора или признака. Итак, критериальная валидность оценивает индивидуальную диагно- стичность и прогностичность теста. Содержательная валидность (логическая) характеризует степень репрезентативности (показательности) содержания заданий теста измеряе- мой области психических свойств. Содержательная валидность означает, что тест является валидным по мнению специалистов. Задания теста оце- ниваются экспертами по принципу их близости к реальным требованиям. Эксперты выносят суждение о том, охватывает ли тест репрезентативную выборку конкретных навыков и знаний исследуемой области обучения. Широкое использование экспертных оценок сближает содержатель- ную валидность с процедурой определения критериальной и эмпирической валидности. Однако существенным различием между содержательной и критериальной валидностью является то, что экспертные оценки при ана- лизе содержания являются критерием самого теста, в то время как при критериальной валидизации они относятся к испытуемым из выборки стандартизации. В эмпирической валидности используются статистиче- ские методы, в содержательной – качественная процедура получения ин- формации описательными методами. Конструктная валидность (концептуальная) – способность ре- зультатов теста репрезентировать исследуемое качество. Степень обосно- ванности теории, положенной в основу создания данного теста. Она устанавливается путем доказательства правильности теоретиче- ских концепций, положенных в основу теста. Обращение к концептуаль- ной валидности необходимо в тех случаях, когда результаты тестовых из- мерений используются не просто для предсказания поведения, а как основа выводов о том, в какой степени испытуемые обладают некоторой опреде- ленной психологической характеристикой. Причем измеряемая психологи- ческая характеристика не может быть отождествлена с какой-либо наблю- даемой особенностью поведения, а представляет собой теоретическую концепцию. Примерами таких концепций являются интеллект, черты лич- ности, мотивы, установки и т.д. Конструктивная валидность требует по- степенного накопления информации об изменчивости оценок. Фиксируют- ся и анализируются данные, проливающие свет на отдельные черты и при- роду изучаемого явления, а также условия, воздействующие на его разви- тие и проявление. Важнейшим аспектом концептуальной валидности является внутрен- няя согласованность, отражающая то, насколько определенные пункты (т.е. задания, вопросы), составляющие материал теста, подчинены основ- ному направлению теста как целого, ориентированы на изучение одного и того же явления. Одним из компонентов концептуальной валидности явля- ется валидность по возрастной дифференциации. Она связана с возрастной динамикой исследуемого качества. Особое место в процедуре определения конструктивной валидности занимает факторный анализ, позволяющий строго статистически проана- лизировать структуру связей показателей исследуемого теста с другими известными и латентными (скрытыми) факторами, выявить общие и спе- цифические для группы сопоставляемых тестов факторы, степень их пред- ставленности в результатах, т.е. определить факторный состав и фактор- ные нагрузки результата теста (факторная валидность). Факторный анализ – комплекс аналитических методов, позволяющий выявить скрытые признаки, а также причины их возникновения и внутрен- ние закономерности их взаимосвязи. Позволяет найти совокупность фак- торов, наиболее значимых для данных конкретных экспериментальных ус- ловий, а также внутренние закономерности их взаимосвязи. Важное значение имеют данные не только о высокой корреляции теста с некоторыми другими переменными, с которыми он теоретически должен коррелировать. Существенно также, чтобы тест не был тесно связан с теми параметрами, с которыми он не должен коррелировать. В соответст- вии с этим различают конвергентную и дискриминативную валидность. Конвергентная валидность есть степень статистической зависимости (скоррелированности) данного теста с другими тестами (факторами, пере- менными), с которыми он, согласно теоретическим представлениям, дол- жен быть связан. Отсутствие значимой корреляции с факторами, неизме- ряемыми тестом обеспечивает дискриминативную валидность. Дискрими- нативная валидность есть степень статистической независимости данного теста от других тестов (факторов, переменных), с которыми он, согласно теоретическим представлениям, не должен быть связан. Так, с точки зре- ния теории Г. Айзенка тест Дж. Тейлор МАS обладает дискриминативной валидностью по отношению к фактору «экстраверсия-интроверсия» и оп- ределенной конвергентной валидностью по отношению к фактору «нейро- тизма». Очевидная валидность – представление о тесте, сфере его при- менения, результативности и прогностической ценности, которая возника- ет у испытуемого или другого лица, не располагающего специальными сведениями о характере использования и целях методики. Она выступает в качестве фактора, побуждающего испытуемых к обследованию, способст- вует более серьезному и ответственному отношению к работе по выполне- нию заданий теста и к заключениям, которое формируют психологи. Инкрементная валидность – практическая ценность методики при проведении отбора. Для вычисления количественного показателя – коэффициента валидности – сопоставляются результаты, полученные при применении диагностической методики, с данными, полученными по внешнему крите- рию у тех же лиц, используются разные виды линейной корреляции (по Спирмену, по Пирсону). Сколько испытуемых необходимо для расчета ва- лидности? Практика показала, что их не должно быть меньше 50, однако лучше всего более 200. Какая должна быть величина коэффициента валид- ности, чтобы она считалась приемлимой? Достаточно того, чтобы коэффи- циент валидности был статистически значим, низким признается коэффи- циент валидности порядка 0,20 – 0,30 , средним – 0,30,- 0,50 и высоким – свыше 0,60. Особой разновидностью валидности является достоверность. Речь идет о сознательных или бессознательных искажениях, которые вносит в тестовые результаты сам испытуемый, руководясь в ходе теста особой мотивацией, отличающийся от той, которая присуща ему в реаль- ном поведении. Способность теста защищать информацию от мотивацион- ных искажений и есть достоверность теста. Особо остро проблема достоверности стоит в опросниках, которые до- пускают больше свободы в выборе испытуемым любого варианта ответа. Типичный прием обеспечения достоверности – это наличие в опрос- никах шкал лжи. Эти шкалы основываются главным образом на феномене социальной желательности – стремлении испытуемых давать в ходе тести- рования социально одобряемую информацию. Шкала лжи состоит из во- просов, касающихся незначительных проступков, которые совершаются большинством людей. Если испытуемый набрал по шкале лжи балл выше критического, то его протокол объявляется недостоверным и ему предла- гается либо выполнить данный тест еще раз более откровенно, либо вы- полнить другой тест. Многие более специфичные «ловушки», направленные на измерение достоверности, часто входят как компонент в структуру конкретного теста, а иногда даже не подлежат разглашению как элемент «ноу-хау» (информа- ционного изобретения) и профессиональной тайны, разделяемой разработ- чиками только с лицензированными пользователями методики, подписав- шими особое лицензионное соглашение при приобретении теста. Более тонкий вариант – введение шкал «коррекции» (например, в ММРI): получение определенного балла по этим шкалам вызывает внесе- ние поправок к баллу по другим шкалам, скореллированным со шкалой коррекции. Достоверность тестирования тесно связана со степенью доверитель- ности общения, которую смог психолог установить с данным испытуемым. Здесь различают две диагностические ситуации консультативную (ситуа- цию клиента) и аттестационную (ситуацию экспертизы). В первом случае испытуемый участвует в тестировании на добро- вольной основе и сам заинтересован получить рекомендации по результа- там тестирования (как, например, в профессиональной консультации). Во втором случае тестирование проводится по инициативе других лю- дей, которые больше заинтересованы в результатах, чем сам испытуемый. На достоверность влияют еще два психологических фактора в тех си- туациях, когда испытуемый дает самоотчет (личностные опросники). 1. Фактор знания. У испытуемого может быть более или менее четкое представление о следующем: свойственны ли ему в действительности или нет тестируемые поведенческие проявления (с некоторыми ситуациями испытуемый вообще мог не встречаться); что за личностное свойство скрывается у психолога за тем или иным конкретным поведением, описан- ным в суждении; как это свойство соотносится с общепринятыми мораль- ными нормами и признаками социального успеха. 2. Факторы «индивидуальной тактики». Здесь подразумевается дейст- вие «Я-концепции» («Я» для себя) и «Я-образа» («Я» для других) на ситуа- тивную тактику испытуемого в момент тестирования. Выполняя опросник, испытуемый всегда находиться в невольном диа- логе с самим собой и в своих ответах на вопросы раскрывает себя не только для других, но и для самого себя. Испытуемый стремиться подтвердить «Я- концепцию» или фальсифицировать определенный «Я-образ» с заданными свойствами. Как правило, в ситуациях высокого социального риска «Я- образ» полностью доминирует: например, преступник на экспертизе стре- миться прежде всего предстать больным или неприспособленным к жизни, хотя в действительности ему было бы приятно думать о себе как о вполне адаптированном здоровом человеке. Точно также склонны подчеркивать свои трудности и проблемы клиенты, обратившиеся за помощью к психоло- гу-психотерапевту (чтобы вызвать к себе его повышенное внимание). В менее регламентированных ситуациях, наоборот, может доминиро- вать мотивация самопознания: в этом случае испытуемый невольно стре- мится с помощью теста подтвердить свои гипотезы о самом себе.
Популярное: Почему человек чувствует себя несчастным?: Для начала определим, что такое несчастье. Несчастьем мы будем считать психологическое состояние... Модели организации как закрытой, открытой, частично открытой системы: Закрытая система имеет жесткие фиксированные границы, ее действия относительно независимы... Организация как механизм и форма жизни коллектива: Организация не сможет достичь поставленных целей без соответствующей внутренней... Как выбрать специалиста по управлению гостиницей: Понятно, что управление гостиницей невозможно без специальных знаний. Соответственно, важна квалификация... ©2015-2024 megaobuchalka.ru Все материалы представленные на сайте исключительно с целью ознакомления читателями и не преследуют коммерческих целей или нарушение авторских прав. (1815)
|
Почему 1285321 студент выбрали МегаОбучалку... Система поиска информации Мобильная версия сайта Удобная навигация Нет шокирующей рекламы |