Методы оценки эффективности исследовательских работ и формирование отчета о проведении исследования системы управления

Определение эффективности проведения исследований СУ предполагает использование определенных методов. Предварительно рассмотрим основные термины и определения в этой области. В первую очередь, следует отметить, что результативность проведенных исследований может определяться соответствующим уровнем их качества.

Уровень качества исследований

СУ — относительная совокупная характеристика исследовательских работ, связанных с изучением управляющей подсистемы социально-экономической системы организации (предприятия) и сопоставлением достигнутой результативности, методов, средств и ресурсов исследования с установленными требованиями или другими принятыми параметрами и показателями сравниваемых объектов. Данный уровень может определяться, например, на основе соответствия выполненного исследования требованиям ТЗ на проведение исследовательских работ или сложившемуся мировому научно-техническому или другому уровню.

Предварительно остановимся на некоторых определениях терминов и понятий по эффективности (табл. 51).

Для того, чтобы оценить уровень качества исследований СУ, следует избрать необходимую номенклатуру показателей, которая в общем случае должна отвечать определенным требованиям:

• — характеризовать соответствие результатов исследований их назначению и целям проведения;
• — определять значимость и достоверность научных и практических результатов исследования;
• — предоставлять возможность контролировать и оценивать эффективность результатов проведенных исследований;
• — характеризовать научно-технический уровень проведенных исследований.

Таблица 51. Основные термины по эффективности исследования систем управления

Номенклатура показателей, определяющих уровень качества исследований, должна отражать:

• — целевую направленность исследований (разработка новых методов управления, исследования, технологических процессов управления, НТД, НМД, стандартов, повышение качества и конкурентоспособности продукции и услуг, улучшение функциональных взаимосвязей и т. п.);
• — достижение целей исследований (достижение всех запланированных целей, достижение основных запланированных целей, достижение не всех запланированных целей исследования);
• — новизну результатов исследований (создание новых моделей СУ, методов расчета численности персонала, моделей управленческих процессов, новых технологических процессов; составление новых алгоритмов, программ управления и т. п.), определяемую на основе патентоспособности, способности лицензирования, новых принципиальных изменений, а также существенно дополняющих, систематизирующих и обобщающих теорию и практику системного управления или только уточняющих существующие направления совершенствования СУ;
• — научно-технический уровень исследований (использование прогрессивных оригинальных методов и методик исследования, соответствие мировому или отечественному уровню исследований СУ);
• — предполагаемый масштаб реализации (внедрения) результатов исследований (на международном, национальном, отраслевом уровнях или уровне организации, подразделения);
• — сроки выполнения исследований (выполнение досрочно, в установленные сроки, с нарушением установленных сроков);
• — объемы реализации (внедрения) результатов исследований (полностью или частично);
• — качество оформления проведенных исследований (в соответствии с требованиями или с нарушениями требований стандартов);
• — измеряемость абсолютными, относительными и удельными величинами (например, прибыль, рентабельность товара и производства, удельная цена товара);
• — все аспекты СУ (функциональные, целевые, обеспечивающие, ресурсные и др.);
• — эффективность реализации (внедрения) результатов исследований.

При выборе последней группы показателей крайне важно руководствоваться принципами определения эффективности исследований СУ.

Оценка может осуществляться дифференциальным, комплексным либо смешанным методами, которые в литературе достаточно широко освещены. Базовую численную величину показателя, в зависимости от цели оценки, следует принимать равной 1. Можно все показатели распределить по группам и для каждой группы рассчитать коэффициенты весомости.

Следует отметить, что при наличии любой критической оценки по любому показателю (т.е. при невыполнении требования по тому или иному нормативному ограничению на показатель или группу показателей) дальнейшее рассмотрение вопросов оценки уровня качества исследования становится бессмысленным, нецелесообразным.

Непереоценимое значение для достижения больших научных и практических эффектов исследований имеют принципы, которыми следует руководствоваться при проведении исследовательских работ (целенаправленность, целеустремленность, объективность, системный подход, научность и др.). Вместе с тем при выборе показателей крайне важно предварительно знать принципы, которыми следует руководствоваться при определении эффективности исследований СУ.

СУ по своему предназначению направлены на обеспечение высокой эффективности, достижение целей и решение конкретных задач организации. По вопросам определения и оценки эффективности, как исследования системного управления, так и производства, известны различные методические подходы. При этом все они на первом этапе учитывали в основном только экономические последствия управленческих решений и их результатов. На таком подходе базировались практически все традиционные методики (их условно можно отнести к первому поколению).

Однако начиная примерно с 1950—1960;х гг. ученые и практики пришли к выводу о необходимости учета, помимо экономического эффекта, сначала социальных, а затем и экологических последствий. На устранение их воздействий в расчетах стали учитывать дополнительные затраты. При невозможности полностью ликвидировать последствия в расчеты закладывали затраты на их компенсацию. Именно этот подход суммирования всех затрат и компенсаций на социальные и экологические последствия был положен в модернизированные методики определения эффективности (второго поколения).

Попытки выразить различные виды экономической, социальной и экологической эффективности в универсальных единицах измерения (в данном случае в стоимостных) обусловили бесперспективность такого подхода. Это связано с игнорированием качественной противоречивости и неравнозначной приоритетности рассматриваемых сторон эффективности.

При определении эффективности системного исследования управления следует учитывать в первую очередь общечеловеческие требования, направленные на обеспечение необходимой безопасности каждого потребителя, всего общества, их экологического благополучия и научно-технического развития человечества. Данные стороны результатов системного управления должны стать приоритетными по сравнению с экономической эффективностью. Вместе с тем в условиях рыночных отношений при невозможности обеспечить преимущества перед конкурентами в части экономического эффекта (при бесспорном выполнении требований по безопасности, экологичности, социальной и научно-технической направленности) следует принимать более рациональные решения по управлению.

Таким образом, определение эффективности исследований системного управления должно основываться на принципах и подходах, учитывающих приоритетные общечеловеческие ценности и адаптированных к условиям рыночных отношений. Обеспечение высокой эффективности исследований СУ может быть достигнуто только при соблюдении основных принципов проведения исследовательских работ, которые были раскрыты ранее. При этом непосредственно определение эффективности необходимо проводить также по соответствующим правилам, принципам. Среди основных принципов определения эффективности исследования СУ необходимо отметить следующие:

• — принцип приоритетности социальных и экологических эффектов;
• — принцип комплексного подхода;
• — принцип обеспечения минимального воздействия неполноты и недостоверности имеющейся информации;
• — принцип сопоставимости результатов (означающих необходимость обеспечения сравнимости достигаемых социальных, экологических, научно-технических и экономических эффектов);
• — принцип обязательного учета и анализа затрат на проведение и реализацию результатов исследования.

Помимо указанных правил определения эффективности следует учитывать ряд других принципов, а именно:

• — учет фактора времени. Это обусловливает обязательность учета изменения эффектов с течением времени, стоимости разновременных результатов и затрат с предпочтением получения более быстрых результатов и поздних затрат, влияния на них инфляции и возможности использования в расчетах нескольких валют;
• — учет эффектов, получаемых только от проведенных исследований, т. е. прошлые или настоящие, но не связанные с ними результаты и затраты, не должны учитываться;
• — многоэтапность определения эффективности исследования, что означает необходимость расчета (с различной глубиной) на каждой стадии разработки, внедрения и реализации различных мер;
• — количественный учет влияния неопределенностей и рисков при проведении исследования.

Каждый из эффектов может носить реальный или потенциальный характер. Реальными, как правило, являются чисто экономические виды эффектов. Остальные же виды эффектов несут в себе только потенциальный экономический эффект. Например, разработанное изобретение как новшество высшего уровня может дать экономический эффект либо после его продажи или предоставления лицензии на изготовление, либо после его производства и соответствующей реализации. Или, например, повышение степени удовлетворения физиологических потребностей управленческих работников (в части питания, комфортности рабочего места и т. п.) может сократить потери рабочего времени по болезням, повысит производительность труда, качество воспроизводства трудовых ресурсов и т. д., что не посчитаешь сразу в форме экономического эффекта. Снижение выбросов вредных компонентов в атмосферу, почву, воду сохраняет экосистему, увеличивает продолжительность жизни человека и т. д. Этот эффект невозможно сразу перевести в прибыль.

Приведенные примеры позволяют сделать следующий вывод: экономический эффект разработки, внедрения у себя (преобразования новации или новшества в инновацию) или продажи новшеств может быть потенциальным или фактическим (реальным, коммерческим), а научно-технический, социальный и экологический эффекты могут иметь форму только потенциального экономического эффекта.

Вместе с тем, если принимать в расчет только конечные результаты внедрения или продажи новшеств, то любой результат исследования можно оценить в стоимостном выражении. Критериями конечной оценки здесь являются время получения фактического экономического эффекта и степень неопределенности его получения (или уровень риска вложения инвестиций в новшества и новации).

Виды и источники эффектов применительно к прикладным исследованиям СУ могут быть разнообразными, среди них можно выделить: социальные, экологические, научно-технические и экономические.

Источниками социальных эффектов по результатам прикладного исследования могут быть:

• — повышение качества принятия управленческих решений и их реализации;
• — повышение оперативности управленческого аппарата;
• — повышение квалификации управленческого и производственного персонала;
• — повышение безопасности продукции и услуг;
• — улучшение условий и организации труда (влияние на изменение условий труда работников может быть оценено отдельными санитарно-гигиеническим и психофизиологическим показателями);
• — повышение безопасности труда;
• — повышение степени безопасности работников;
• — прирост дохода работников;
• — сокращение рабочего времени персонала;
• — повышение степени удовлетворения физиологических потребностей работников (например, в повышении надежности обеспечения теплом, электроэнергией, продуктами питания и т. п.);
• — повышение степени удовлетворения социальных и духовных потребностей;
• — увеличение продолжительности жизни работников и членов их семей;
• — изменение количества рабочих мест;
• — улучшение жилищных и культурно-бытовых условий работников, включая улучшение условий и возможностей отдыха;
• — улучшение структуры управленческого и производственного персонала (может оцениваться показателями изменения численности работников с тяжелым физическим и вредным для здоровья трудом, требующим высшего или среднего специального образования, подлежащих обучению, переподготовке, повышению квалификации);
• — экономия свободного времени работников вне предприятия и потребителей.

Следует отметить, что в экономической оценке социальных результатов учитывается только их самостоятельная значимость. Затраты, которые необходимы для достижения социальных эффектов или обусловленные социальными последствиями реализации результатов исследования (например, затраты на предоставление бесплатного или льготного жилья, повышение затрат на выплату пособий по временной нетрудоспособности или по безработице), учитываются в расчетах эффективности в общем порядке. Возможные доходы от реализации этих мер (например, часть стоимости жилья, возмещаемого работником или другой организацией; выручка предприятий бытового обслуживания и т. п.) учитываются в расчетах экономических эффектов.

Источниками экологических эффектов за счет улучшения функционирования СУ могут быть:

• — уменьшение загрязнения окружающей среды (снижение выбросов в атмосферу, почву, воду вредных компонентов);
• — повышение экологического уровня выпускаемой продукции и оказываемых услуг;
• — уменьшение штрафов за нарушение экологических требований;
• — снижение отходов производства;
• — повышение эргономичности производства;
• — улучшение эргономичности (уровень шума, вибрации и т. п.) выпускаемых товаров.

Научно-техническими эффектами по результатам исследования СУ могут быть:

• — количество зарегистрированных авторских свидетельств;
• — увеличение удельного веса новых информационных технологий;
• — увеличение удельного веса новых прогрессивных технологических процессов;
• — повышение коэффициента автоматизации производства;
• — повышение организационного уровня производства и труда;
• — рост количества публикаций (индекса цитирования);
• — повышение конкурентоспособности организации и ее товаров на рынках промышленно развитых стран.

Экономическими эффектами могут быть:

• — прибыль от лицензионной деятельности;
• — прибыль от внедрения изобретений, патентов, ноу-хау;
• — прирост объема продаж;
• — сокращение срока окупаемости инвестиций;
• — сокращение сроков капитального строительства;
• — улучшение использования ресурсов: рост производительности труда;
• — повышение фондоотдачи;
• — ускорение оборачиваемости оборотных средств;
• — снижение затрат на управление;
• — снижение производственных затрат на исправление дефектов изготавливаемой продукции (аналогично и в сфере разработки и проектирования);
• — уменьшение потерь от окончательного брака готовой продукции;
• — снижение стоимости контроля продукции;
• — снижение трудоемкости производственных процессов;
• — предотвращение поступления в производственный процесс недоброкачественного сырья и материалов;
• — уменьшение затрат на устранение дефектов по рекламациям (претензиям) потребителей;
• — уменьшение суммы штрафов за поставку недоброкачественной продукции и выплат по рекламациям;
• — уменьшение расходов на гарантийное обслуживание и ремонт;
• — уменьшение ущерба за нарушение контрактов;
• — повышение прибыли за счет улучшения ассортимента изготовленной продукции;
• — повышение прибыли за счет продажи потребителям продукции повышенного качества (при неизменности себестоимости).

Кроме этого могут быть получены другие положительные результаты за счет мероприятий по улучшению системного управления:

• — увеличение объемов продаж более полно соответствующей требованиям потребителей изготовленной продукции и предоставляемых услуг;
• — снижение себестоимости продукции и услуг;
• — более точное выполнение поставок продукции в срок;
• — сокращение сроков разработки и постановки новой продукции на производство;
• — увеличение объемов производства продукции и услуг, соответствующих требованиям потребителей.

По оценкам западных экспертов, все средства, направленные на улучшение функционирования СУ, позволяют получить эффект в соотношении (по разным оценкам) примерно 1 к 3,5—20,0. В связи с этим и с учетом вышеизложенных принципов затраты на обеспечение прикладных исследований системного управления следует рассматривать как инвестиции, что во многом позволяет использовать те же показатели для расчета, что и при оценке эффективности инвестиционных проектов.

Сущность, содержание и порядок работ по оценке эффективности исследований СУ могут быть аналогичны, например, основным положениям «Методических рекомендаций по оценке эффективности инвестиционных проектов и их отбору для финансирования». В соответствии с этими рекомендациями эффективность исследования СУ может оцениваться на основе:

• — общественной эффективности;
• — коммерческой эффективности.

Основные показатели общественной эффективности должны показывать социальные, экологические, экономические, научно-технические и иные последствия проведения исследований СУ для общества в целом, в том числе как непосредственные результаты и затраты на исследовательские работы в рамках предприятия, так и внешние: затраты и результаты в объединениях предприятий, холдингах, отраслях, финансово-промышленных группах, смежных секторах экономики, регионах, национальном хозяйстве страны и мирового сообщества в целом.

Показатели коммерческой эффективности учитывают финансовые последствия исследований применительно:

• — к предприятию;
• — структурам более высокого уровня по отношению к предприятию — городу, району, региону и национальному хозяйству, отрасли—для отдельных отраслей национального хозяйства, финансово-промышленных групп, объединений предприятий и холдинговых структур;
• — бюджету (государства и другим бюджетам всех уровней).

Для расчетов эффективности прикладных исследований СУ можно использовать методы:

• — чистого дохода;
• — чистого дисконтированного дохода;
• — внутренней нормы доходности;
• — потребностей в дополнительном финансировании (другие названия — ПФ, стоимость проекта, капитал риска);
• — индексов доходности затрат и инвестиций;
• — точки безубыточности;
• — срока окупаемости;
• — параметров, характеризующих финансовое состояние предприятия.

Для крупномасштабных исследований СУ инновационной сферы (существенно затрагивающих интересы города, региона или всей России) следует оценивать общественную и коммерческую виды эффективности. Такие оценки можно проводить в соответствии с существующими рекомендациями и инструкциями.

По окончании проведения исследования СУ в соответствии с ТЗ, планом или программой работ предусматривается оформление отчета. Он должен удовлетворять определенным требованиям. Для большинства случаев могут быть использованы те правила оформления, которые приведены в соответствующем действующем стандарте (ГОСТ Р 7.32—2001).

Отчет об исследовании СУ является документом, содержащим исчерпывающие систематизированные сведения о выполненной работе. Он может быть о работе в целом, промежуточным (об отдельном этапе) и заключительным. Отчет составляется исполнителями работы, рассматривается и утверждается в установленном порядке. В отчетах, для которых предусмотрена государственная регистрация, ответственный исполнитель заполняет информационную карту определенного образца.

Очень важно в отчете правильно сформулировать цель исследования СУ. В общем случае следует обращать внимание на правильную расстановку слов в предложениях, не искажая смысл сказанного. Иначе это может привести к совершенно другому восприятию и пониманию содержания. Вместе с тем при подготовке отчета необходимо помнить, что он должен носить аргументированный и содержательный характер. Поэтому следует по возможности избегать неопределенных формулировок.

Структурно в отчет должны включаться:

• — титульный лист;
• — список исполнителей;
• — реферат;
• — содержание (оглавление);
• — перечень условных обозначений, символов, единиц и терминов;
• — введение;
• — основная часть;
• — заключение;
• — список использованных источников;
• — приложения.

В зависимости от специфики работ и конкретного содержания отчета некоторые структурные части в нем могут отсутствовать. Однако это не должно снижать ценность отчета.