Мегаобучалка Главная | О нас | Обратная связь


На основе технологии инженерии знаний



2015-11-11 995 Обсуждений (0)
На основе технологии инженерии знаний 0.00 из 5.00 0 оценок




Подход к конструированию психодиагностических методик на ос­нове технологии инженерии знаний зародился в русле медицинской психодиагностики. И это не случайность.

Медицинская психодиагностика является одним из основных на­правлений профессиональной деятельности медицинских психологов (нарядуспсихологическимконсультированием, психологической кор­рекцией, психотерапией). Термин «медицинская психологическая ди­агностика» применим к широкому кругу диагностических ситуаций, в психологической литературе обозначаемых как «ситуации клиента», «ситуации пациента», «ситуации экспертизы», а также к массовым скрининговым, психопрофилактическим исследованиям, к экспресс-диагностике экстремальных состояний.

Конкретные задачи психологической диагностики в клинике опре­деляются индивидуализированно для каждого больного с учетом це­лей исследования (поставленных, как правило, врачом-клиницистом), актуального психического состояния больного, его возраста, интеллек­туального (образовательного) статуса и других характеристик. В каче­стве задач психодиагностики может выступать исследование когнитив­ной, эмоционально-аффективной и других сфер личности с целью получения данных для дифференциальной диагностики, квалифика­ции уровня и структуры интеллектуального, эмоционального, волево­го дефекта в ходе различных видов экспертизы (судебной, военной, тру­довой), оценки результатов и определения прогноза биологического и психотерапевтического лечения, тактики и основных «мишеней» пси-хокоррекционной и социотерапевтической работы.

Выявленные с помощью конкретных методов психодиагностики качественные и количественные показатели восприятия, внимания, памяти, мышления, эмоциональности, воли, характера, мотивации, интересов, установок и др. рассматриваются и представляются в пси-


____________________Компьютерная психодиагностика___________________

хологическом заключении в контексте целостной личности испытуе­мого, его социального функционирования и адаптации.

Отличительными особенностями клинического подхода к психоди­агностике являются [Шмелев, 2002]:

□ ситуативность - повышенное внимание к текущим обстоятель­ствам и конкретной ситуации в жизнедеятельности испытуемо­го (клиента, пациента);

□ многоаспектность - использование многообразных источников информации об испытуемом с акцентом на биографическую ин­формацию, индивидуальную динамикуи историю психического развития;

□ идеографичность- повышенное внимание к уникальным, свой­ственным только данному человеку характеристикам и особен­ностям, для которых по определению просто нет готовых шаб­лонных схем фиксации, подсчета, интерпретации;

□ индивидуализация - не формализованный и не стандартизиро­ванный, а приспособленный к особенностям данного испытуе­мого способ получения и анализа эмпирической информации;

□ интерактивность - активное взаимодействие психолога и испы­туемого в форме индивидуализированной беседы, нестандарти-зованных клинических проб и т. п.;

□ «интуитивность» - доминирующая нагрузка при получении ин­формации и ее интерпретации не на стандартизированные про­цедуры и стандартные рекомендации по анализу данных, но на профессиональную, экспертную интуицию исследователя.

Различению измерительного и клинического подходов к психоди­агностике соответствует в работах Г. Олпорта различение номотетичес-кого и идеографического описаний. С точки зрения Г. Олпорта, идео­графическое описание должно оперировать гораздо более богатым лексиконом индивидуальных характерологических особенностей че­ловека - лексиконом личностных черт, то есть научный язык идеогра­фического описания должен приближаться к литературному языку.

Как отмечает А. Г. Шмелев (2002), в своем предельном выражении клинический подход означает отказ от работы с какой-либо заданной матрицей данных - с каким-либо заданным набором столбцов-пара­метров: вектора, описывающие разных людей, должны различаться и по составу, и по длине. А раз так, то к подобным данным невозможно применить и стандартизованные алгоритмы технологии анализа дан­ных, то есть закрывается возможность поиска процедур интеграции простых показателей в более сложные - в факторы.


Глава 3. Конструирование компьютерных психодиагностических методик

На практике это означает, что в области медицинской психодиаг­ностики, несмотря на многолетние и многочисленные исследования больных, осуществляемые клиническими психологами и врачами как в практических, так и научных целях, отсутствуют достаточные стати­стические данные даже для наиболее употребляемых психологических тестов (MMР1,16РР Кеттелла, «Тест рисуночных ассоциаций» Розен-цвейга, шкалы памяти и интеллекта Векслера и др.). Такого рода дан­ные для отдельных нозологических групп и других категорий больных обычно приводятся в ограниченном виде лишь в научных публикаци­ях [Вассерман, Дюк, Иовлев, Червинская, 1997]. Затем они рассеива­ются и практически теряются.

С точки зрения измерительного (традиционного психометрическо­го) подхода такая ситуация кажется даже парадоксальной. Ведь исполь­зуя американские нормы при работе, например, с методикой ММР1, психолог диагностирует качество «мужественности-женственности» путем сравнения испытуемого с морскими пехотинцами или амери­канскими стюардессами середины 50-х годов. Разрешение этого пара­докса возможно только в рамках клинического подхода к психодиаг­ностике. Методика MMР1 - одна из наиболее распространенных методик в клинике - безусловно, «работает», как и многие другие, но только лишь в руках знающего и опытного психолога-практика.

Традиционная работа психолога в клинике - это проведение психодиагностического исследования испытуемых. Это сложный, структурированный и развернутый во времени, познавательный интер­активный процесс, в ходе которого психолог-диагност должен сфор­мулировать психологическое заключение, релевантное поставленной задаче исследования и запросам пользователя (врача, педагога, юрис­та, психолога и т. д.)1.

В практике психодиагностического исследования интерпретация результатов тестирования и написание психодиагностического заклю­чения - это творческий процесс, осуществляемый психологом после рутинной обработки полученных данных. Причем чем больше опыта обследования испытуемых имеет психолог, тем более точным, конк­ретным и адекватным получается «портрет» личности. Проведенные нами эксперименты для создания автоматизированных заключений показали, что опытный психолог в процессе интерпретации опирает­ся, как правило, на некоторое визуальное представление результатов тестирования (например, на «профиль» в методиках MMPI, \УА13,

1 Технология проведения такого исследования, этапы подробно описаны в моно­графии [Червинская, Щелкова, 2002].


____________________Компьютерная психодиагностика____________________

«циркограмму типов поведения» в методике Т. Лири и т. д.). «Профиль личности» позволяетнагляднопредставить степень выраженности (вы­сота профиля, его снижение или повышение относительно средне-нор­мативного уровня) и соотношение (конфигурация профиля) различных индивидуальных особенностей (стоящих за показателями шкал мето­дики) в структуре личности и психического состояния испытуемого.

Таким образом, результаты тестирования испытуемого восприни­маются психологом как некоторый целостный образ, гештальт, как «картинка», которой надо дать вербальное описание [CЬетпзкауа, \Уа88егтап Е., 2000]. Аналогичная задача - интерпретация электроэн­цефалограмм врачом - известна и в медицине [Вассерман Е. Л. с со-авт., 1996]. Очевидно, что для качественного решения такой задачи необходим определенный опыт профессионала-специалиста.

Как отмечалось выше, использование технологии инженерии зна­ний в медицинской психодиагностике предполагает разработку авто­матизированного психодиагностического заключения путем модели­рования рассуждений психолога при интерпретации результатов тестирования и «переноса» знаний и опыта психолога в некоторые структуры, воспринимаемые компьютером. Говоря иными словами, компьютер надо «научить» решать задачу вербального описания геш-тальта, полученного в результате тестирования испытуемого.

Основными предпосылками или условиями использования техно­логии инженерии знаний для создания компьютерных психодиагнос­тических заключений является наличие определенного контингента испытуемых, в частности в области медицинской психологии - кли­ники (больных различных нозологических групп), психологов, приоб­ретающих опыт интерпретации результатов тестирования в процессе психологического обследования больных и готовых передать накоп­ленный опыт компьютерным системам, а также специалистов в облас­ти инженерии знаний и компьютерных наук. Именно такие условия, сложившиеся в лаборатории клинической психологии Психоневроло­гического института им. В. М. Бехтерера в конце 80-х годов, позволи­ли начать междисциплинарные исследования, породившие новый под­ход к психодиагностике, более клинический, чем психометрический, и более идеографический, чем номотетический, - конструирование компьютерных психодиагностических методик на основе технологии инженерии знаний.


^Глава 3. Конструирование компьютерных психодиагностических методик

ТЕХНОЛОГИЯ ИНЖЕНЕРИИ ЗНАНИЙ 3.2.1. Основные понятия и определения

Инженерия знаний (кпоуу1ес18е епё1пееппё) представляет собой меж­дисциплинарную область исследований, имеющую отношение, с од­ной стороны, к такому направлению информатики, как искусствен­ный интеллект, а с другой - к когнитивным наукам, объединяющим исследования психологов, философов, лингвистов, нейрофизиологов для изучения познавательных процессов человека с точки зрения це­лостного, структурно-информационного подхода. Зародившаяся в рус­ле искусственного интеллекта, современной парадигмой которого яв­ляется концепция «знаний», инженерия знаний исследует вопросы извлечения, структурирования, представления, формирования, обра­ботки и приобретения знаний с целью построения интеллектуальных систем в различных предметных областях. Как теоретическая дисцип­лина инженерия знаний опирается на исследования и эксперименты в области когнитивной психологии, психологии профессионального опыта, как практическая - разрабатывает конкретные методы по­строения моделей предметной области с целью формирования базы знаний интеллектуальных систем.

Технология инженерии знаний появилась в результате исследова­ний в области искусственного интеллекта и создания первых практи­ческих и ярких результатов этого направления - экспертных систем.

Искусственный интеллект1 (агНЯсиЦ ЫеИщепсе) - это направление исследований в области информатики, основной целью которого яв­ляется создание интеллектуальных систем, выполняющих те же функ­ции или решающих те же задачи, что и человек в процессе творческой деятельности. В качестве примеров таких задач можно привести зада­чи понимания и синтеза текстов на естественном языке, понимания и синтеза речи, анализа и построения изображений, перевода с одного естественногоязыканадругой, принятия решений в условиях изменя­ющегося окружения и т. д.

Интеллектуальные системы - это системы, использующие реали­зованное в них интеллектуальное поведение для решения проблем или

1 Следует отметить несколько неудачный русский перевод английского термина «аПШсШ шЮШвепсе». Дело в том, что слово «т1еШ8епсе» означает «умение рассуждать разумно», а для слова «интеллект» есть свое значение - «1п1е11еси. Отсюда вытекает некоторая обоснованная лишь неудачным переводом двусмысленность термина «ис­кусственный интеллект» как направления по созданию искусственного разума. В анг­лоязычном термине такая двусмысленность отсутствует.


Компьютерная психодиагностика

задач в различных предметных областях [Воозе, 1986]. Создание ин­теллектуальных систем является активно развивающимся направлени­ем, имеющим большой практический выход. По некоторым источни­кам, годовой доход от продаж программных и аппаратных средств искусственного интеллекта в 1989 году в США составил 870 млн дол­ларов, а в 1990 г. - 1,1 млрд долларов [Попов, 1992]. В дальнейшем почти 30-процентный прирост дохода сменился плавным наращива­нием темпов [Поспелов, 1992; Хорошевский, 1989; Попов и др., 1995; Гаврилова, 1996].

Практическим примером достижений в области искусственного интеллекта могут служить экспертные систем, ориентированные на тиражирование опыта высококвалифицированных специалистов в об­ластях, где качество принятия решений традиционно зависит от уров­ня экспертизы (например, медицина, психология, юриспруденция, геология, экономика, военное дело).

Экспертные системы (ЭС) представляют собой интеллектуальные программы, способные делать выводы на основании знаний в конк­ретной предметной области и обеспечивающие решение специфичес­ких задач на профессиональном уровне. В настоящее время в мире на­считывается несколько тысяч промышленных экспертных систем [Гаврилова, 1996]. В качестве примеров можно привести системы ме­дицинской диагностики АКАМIS, ЫЕУКЕХ, анализа электроэнцефа­лограмм, системы поиска неисправностей в электронных приборах Ими В1аёпо5г1с5, системы в области финансирования, системы по про­гнозу военных действий АЫАЬУЗТ, ВАТТЬЕ и др. Только в США еже­годный доход от продаж инструментальных средств разработки ЭС составлял в начале 1990-х годов 300-400 млн долларов, а от примене­ния ЭС - 80-90 млн долларов. Опрос пользователей, проведенный журналом «1п1еШ8еМТесппо1о81е5» (США) еще в 1987 году, показал, что примерно 25% пользователей применяют ЭС, 25% собираются приоб­рести ЭС в ближайшие 2-3 года, а 50% предпочитают провести иссле­дование эффективности их использования.

В понятие «экспертные системы» входят несколько тысяч самых разнооб­разных программных комплексов, которые можно классифицировать по раз­личным критериям [Хейес-Рот, Уотермен, Ленат, 1987; Гаврилова, Червинс-кая, 1992]. Приведем лишь одну из классификаций, критерием которой является тип решаемой задачи. С этой точки зрения выделяют системы ин­терпретации данных, диагностики, мониторинга, проектирования, прогно­зирования, планирования и обучения.

Интерпретация данных. Под интерпретацией понимается процесс состав­ления смыслового описания по входным данным, результаты которого долж­ны быть согласованными и корректными. В качестве примеров можно при-


^Глава 3. Конструирование компьютерных психодиагностических методик

вести систему обнаружения и идентификации различных типов океанских судов - S1АP [Левин, Дранг, Эдельсон, 1990] и системы в области психодиаг­ностики, осуществляющие интерпретацию результатов тестирования испы­туемых: по MMР1 - [Иовлев, Червинская, Щелкова, 1990], по опроснику интерперсональных отношений Т. Лири - ТИЛИ, по опроснику «Уровень Субъективного Контроля» - УСК, по шкале тревожности - СЛТ [Червин­ская, Щелкова, 2002].

Диагностика. Под диагностикой понимается процесс обнаружения неис­правности в некоторой системе. Неисправность понимается как отклонение от нормы. Такая трактовка позволяет с единых теоретических позиций рас­сматривать и неисправность оборудования в технических системах, и заболе­вания живых организмов, и всевозможные природные аномалии. В качестве примеров можно привести систему диагностики и терапии различных форм артериальной гипертонии - МОДИС и систему диагностики ошибок в аппа­ратуре и математическом обеспечении ЭВМ - CШВ [Гаврилова, 1996].

Мониторинг. Под мониторингом понимается наблюдение за изменяющим­ся состоянием объекта и сравнение его показателей с установленными или желаемыми. В качестве примеров можно привести систему помощи диспет­черам атомного реактора - КЕАCТСЖ и систему контроля аварийных датчи­ков на химическом заводе - РАLCОЫ.

Проектирование. Проектирование состоит в подготовке спецификаций на создание «объектов» с заранее определенными свойствами. Под специфика­цией понимается весь набор необходимых документов - чертеж, пояснитель­ная записка и т. д. В качестве примера можно привести систему ХСОN (или R1), осуществляющую проектирование конфигураций ЭВМ УАХ - 11/780 и систему синтеза электрических цепей ЗУН.

Прогнозирование. Прогнозирующие системы определяют вероятные след­ствия из заданных ситуаций. Примерами могут служить система предсказа­ния погоды М1ЛАМ) и система оценки будущего урожая Р1АЫТ.

Планирование. Под планированием понимается определение последо­вательности действий, приводящихкжелаемомусостояниюобъекта. В качестве примера можно привести систему планирования эксперимента MOЬСЕЫ.

Обучение. Системы обучения диагностируют ошибки при изучении какой-либо дисциплины и подсказывают правильные решения. Примерами могут служить система обучения языку «Паскаль» [Джонсон, Солоуэй, 1987], сис­тема обучения основам микроэкономики CопТех1-Ех1егп-Есопош1сз [Жила, Червинская, 1995] и система обучения интерпретации результатов психоло­гического тестирования с помощью MMР1 «Экзаменатор-ММРЬ на базе ин­струментальной среды CoпТех1-Ех1егп [Червинская, Щелкова, 2002].

В ранних исследованиях в области искусственного интеллекта до­минировала вера в то, что законы логических рассуждений в сочета­нии с мощными вычислительными машинами позволят работать на уровне специалиста-профессионала и даже превзойти человеческие возможности. Однако по мере накопления опыта стало ясно, что стро­го ограниченные возможности универсальных стратегий являются слишком слабыми для решения большинства сложных задач. В резуль­тате многие исследователи, ощутив ограниченность универсальных


Компьютерная психодиагностика

стратегий, начали работать над узко очерченными прикладными за­дачами.

В 1977 году на Международной объединенной конференции по ис­кусственному интеллекту Э. Фейгенбаум высказал основополагающие соображения, смысл которых состоит в следующем. Большие возмож­ности интеллектуальной системы определяются теми знаниями, кото­рыми она располагает, а не конкретными формализмами и схемами вывода, которые она использует. Знания эксперта являются решающи­ми для высококвалифицированной деятельности, тогда как представ­ление знаний и схемы логического вывода служат механизмами, по­зволяющими их использовать [Хейес-Рот, Уотермен, Ленат, 1987].

В начале 1980-х годов среди разработчиков компьютерных систем появилось понятие «уровень знаний» (kпо*1ес!ёе 1еуе1), введенное А. Ньюэллом [Ые*еll,1982]. Он предложил в процессе создания ин­теллектуальных систем выделять кроме уровня выполнения (или решения задачи) еще и уровень знаний, отражающий модель поведе­ния человека при решении им специфических задач. Смысл выделе­ния уровня знаний станет более понятным, если проанализировать отличие традиционных компьютерных систем от систем, основанных на знаниях.

Традиционный взгляд на компьютерную программу предполагает, что она состоит из алгоритма и данных. Алгоритм представляет собой систематическую процедуру (последовательность шагов), которая мо­жет быть применена для решения некоторой задачи. Он гарантирует правильное завершение вычислений и при повторных применениях будет давать те же результаты. Так, например, вычисление ежемесяч­ных платежей за купленный в кредит автомобиль и есть тот самый ал­горитм, или правильно определенная процедура. Для реализации та­кого алгоритма нужны некоторые входные данные: величина кредита, число месяцев, на которые он предоставлен, процентная ставка. На основе этих данных процедура (алгоритм) может вычислить размер месячного платежа. Одни и те же входные данные всегда приводят к одному и тому же результату.

Кратко традиционный взгляд на компьютерную программу можно записать так:

|ПРОГРАММА = АЛГОРИТМ + ДАННЫЕ-

Эта точка зрения не учитывает, что алгоритм, в свою очередь, со­держит определенные общие положения (или представления), кото­рые можно назвать знаниями, и способ управления этими представле­ниями, который можно назвать механизмом вывода.


Глава 3. Конструирование компьютерных психодиагностических методик

Так, например, в случае расчета заработной платы рабочими зна­ниями являются правила начисления налогов, устанавливаемые правительством или законодательством, правила начисления возна­граждений или сверхурочных и т. д. Под механизмом вывода можно по­нимать определение порядка, в котором предыдущие операции (или правила) должны быть выполнены. Данные представляют собой ин­формацию о конкретном рабочем, его заработной плате и других на­числениях.

С этой точки зрения взгляд на компьютерную программу уже иной. Кратко его можно представить как

ПРОГРАММА = ЗНАНИЯ + МЕХАНИЗМ ВЫВОДА + ДАННЫЕ

Этот взгляд отражает новую парадигму программирования систем, основанных на знании, и предполагает явное выделение уровня зна­ний вместо прежнего неявного, перемешанного с алгоритмом.

Главным отличием интеллектуальных систем от других программ­ных средств является существование так называемых базы знаний и механизма вывода.

Под базой знаний понимается совокупность знаний, относящихся к некоторой предметной области и формально (на специальном языке) представленных таким образом, чтобы на их основе с помощью меха­низма вывода можно было осуществлять рассуждения относительно решаемой задачи.

Таким образом, с середины 1970-х годов и вплоть до настоящего времени центральной парадигмой искусственного интеллекта стано­вится концепция знаний, а системы, разрабатываемые в рамках искус­ственного интеллекта, стали называться системами, основанными на знаниях.

По определению J. Н. Воозе (1986), системы, основанные на знаниях (кпоМес1ёе-Ьа8ес15у51ет),-этосистемы,которыерешаютпроблемыили задачи, используя представленные в явном символьном виде знания, хранящиеся отдельно от механизма вывода. Зншшялш принято называть формализованнуювсоответствиисопределенными структурными пра­вилами и хранимую в ЭВМ информацию, которая автономно использу­ется при решении задач по таким алгоритмам, как механизм вывода. Интеллектуальные технологии сегодня - это обработка знаний.

На первый взгляд суть концепции знаний очень проста. Так как специалист в той или иной предметной области (врач, психолог, педа­гог, юрист и т. д.) решает свои профессиональные повседневные зада­чи, используя знания и накопленный опыт, то для создания интеллек­туальных систем необходимо лишь перенести эти знания и опыт в


Компьютерная психодиагностика

компьютер. Тем не менее разработчики интеллектуальных систем, ре­шая практические вопросы такого «переноса», столкнулись с огром­ным количеством проблем, начиная с определения понятий «знания» и «опыт» и заканчивая вопросами представления знаний и опыта с по­мощью некоторых формальных структур, воспринимаемых компью­тером. Исследования этих вопросов положили начало самостоятель­ному научному направлению под названием «инженерия знаний». Само понятие«инженериязнаний»быловведеноЭ. Фейгенбаумомв 1980 го­ду [РещепЪашп, 1980].

Инженерия знаний представляет собой направление исследований, изучающее проблемы извлечения, структурирования, представления, формирования, обработки и приобретения знаний, с целью построения интеллектуальных систем. Специалиста предметной области, чьи зна­ния и опыт «извлекаются», называют экспертом, а специалиста, кото­рый занимается извлечением и структурированием знаний, - инже­нером по знаниям. Структурирование знаний иначе еще называют концептуальным анализом знаний.

В инженерии знаний существуют две основные, принципиально различные парадигмы построения интеллектуальных систем, отража­ющие два фундаментальных направления исследований в психологии XX века: бихевиоризм и когнитивизм.

Традиционная парадигма, исторически появившаяся раньше и из­вестная под названием «перенос компетентности» (ехрегизе 1гапзГег), предполагает применение инженером по знаниям специально разра­ботанных методов или техник инженерии знаний для того, чтобы пе­ренести знания экспертов-специалистов в той или иной предметной области в интеллектуальную систему [Воозе, 1986; Ьисозе, Кгетег, 1996].

Эта парадигма полностью соответствует концепции бихевиоризма, девизом которого является представление о поведении как объектив­но наблюдаемой системе реакций организма на внешние и внутрен­ние стимулы, а психологической формулой - «стимул-реакция» (S-R). В инженерии знаний это означает создание такой интеллектуальной системы, которая реализовывала бы рациональное поведение с точки зрения внешнего наблюдателя. Сам наблюдатель мог бы рассматри­вать подобную систему «черного ящика», действующий так, как будто он обладает определенными знаниями о мире и использует эти знания рациональным способом для достижения своих целей. Практическим выходом исследований в рамках этой парадигмы являются экспертные системы первого поколения.

Вторая парадигма, возникшая в результате создания экспертных систем второго поколения [ОауШ, Кгтпе, Зиптопз, 1993] и известная


Глава 3. Конструирование компьютерных психодиагностических методик

под названием «моделирование знаний» (то<1еШпё кпо*1ес1ёе) [Роге!, Вгаскпа^, А<1агш-\УеЪЪег, А^пе*, 1997], предполагает, что «эксперты со­здают (конструируют) знания из их собственного опыта», а потому построение интеллектуальных систем, в частности «процесс приобре­тения знаний должен рассматриваться как конструктивная активность моделирования, а не случай «информационного переноса»» [цит. по: Вепош,1997.С577].

В рамках этой парадигмы делается упор на то, что инженер по зна­ниям совместно с экспертом должны построить модель предметной области (знаний и способов решения проблем экспертом) и положить ее в основу интеллектуальной системы.

Очевидно, что корни второй парадигмы уходят к когнитивизму, ос­новной принцип которого, являющийся фундаментом научного на­правления - когнитивной психологии, говорит о том, что поведение человека основывается не на стимуле, а на образе стимула. Смена па­радигм в инженерии знаний соответствует в психологии переходу от бихевиоризма к когнитивизму или замене психологической формулы «стимул-реакция» (S-R) на другую: «стимул-образ-реакция» (S-0-R).



2015-11-11 995 Обсуждений (0)
На основе технологии инженерии знаний 0.00 из 5.00 0 оценок









Обсуждение в статье: На основе технологии инженерии знаний

Обсуждений еще не было, будьте первым... ↓↓↓

Отправить сообщение

Популярное:
Модели организации как закрытой, открытой, частично открытой системы: Закрытая система имеет жесткие фиксированные границы, ее действия относительно независимы...
Организация как механизм и форма жизни коллектива: Организация не сможет достичь поставленных целей без соответствующей внутренней...
Как вы ведете себя при стрессе?: Вы можете самостоятельно управлять стрессом! Каждый из нас имеет право и возможность уменьшить его воздействие на нас...



©2015-2024 megaobuchalka.ru Все материалы представленные на сайте исключительно с целью ознакомления читателями и не преследуют коммерческих целей или нарушение авторских прав. (995)

Почему 1285321 студент выбрали МегаОбучалку...

Система поиска информации

Мобильная версия сайта

Удобная навигация

Нет шокирующей рекламы



(0.014 сек.)