医疗管理
医院科研项目综合评价指标运用的实践与效果分析
陈梁华 张新凤 金从凯 杨伟红 刘宇平
广州医科大学附属第一医院科研管理科,广东广州 510120
[摘要]目的探讨医院科研项目综合水平提高的规律趋势,为今后实施科研项目管理提供重要依据。方法以三甲医院广州医科大学附属第一医院科研项目为统计对象,收集2014年1月~2016年12月各项评价指标的相关数据,分阶段对不同项目的研究环境指标、基地水平指标、人才团队指标、项目质量指标评分等进行统计分析。结果立项第1年(研究初期)、当年结题(研究末期)的研究基础最扎实评分分值接近,而在立项第2年(研究中期)的分值最高;研究找到突破点比研究基础最扎实的评分结果均值较高,差异有统计学意义(P<0.05)。结论项目的中后期扶持发展很重要;找到突破点的项目往往比研究基础好的项目综合得分高,说明寻找突破点,解决难题是科学发展的重点。
[关键词]医院科研项目;指标;项目评价;研究基础
科技水平的发展离不开科学研究,而科研给社会带来的意义必须引起足够的重视,因此催生了科研效果评价。医院的科研项目评价是依据一定的标准,应用合理、科学的方法对医学科学研究领域各类项目的不同侧面进行价值判断的过程[1-5]。 早在20世纪60年代,美国、英国、德国、日本、芬兰、瑞典等国家就开始对政府支持的科研活动的各个方面进行评价,如投入、产出、成果和影响力等内容,现在对科研活动的评价已成为了一个常规化的工作,其中美国已将其作为一项制度性的经常工作内容,并于1993年通过国会颁布了《政府绩效与结果法案(GPRA)》,以立法形式确定绩效评价制度,建立起对科学活动的评价体制[6]。美国国家科学基金会(NSF)从资助结果、内部管理和投资过程3个方面构建项目绩效评价指标。
我国对科研评价的工作起步比较晚,随着科技活动工作的开展,愈来愈多的好项目、好成果甚至好苗头需要去被发现、扶持和成长,近年来关于评价工作的开展也取得一定的进展,个人层面的有李筱林设计的高校科技项目绩效评价体系,包括3个层次。一级为经济性、效率性和有效性指标;二级为投入、过程、产出和效果指标;三级为具体的个性化指标;吴晓波从科技基础、科技外部投入、科技产出、科技环境等方面构建高校科技竞争力指标体系。国家层面的有国家科技攻关计划的评价、国家“863”计划的十年评价、中国科学院“八五”重大项目评价等。但截至到目前为止,还未建立一套得到科学界普遍认可的评价指标体系,也未形成一套严格执行的科研评价制度[7-13]
本研究拟借助SPSS统计分析软件,采用计数资料统计方法,数据来源基于一家三甲医院——广州医科大学附属第一医院近3年数据,比较其不同阶段医学研究项目的研究环境指标得分、基地水平得分、人才团队指标得分、项目质量指标得分,从而为了解医院科研项目的发展规律提供借鉴思路。
1 资料与方法
1.1 一般资料
以广州医科大学附属第一医院的科研项目执行情况为统计对象。统计时间从2014年1月~2016年12月立项的科研项目,项目范围涵盖院级项目、校级项目、市级项目、省级项目以及国家级别项目,系统已经提交的有效数据例数总共为870例,根据项目的研究基础从强到弱依次分成5个等级,各等级的项目类型、资助金额等差异无统计学意义(P>0.05),具有可比性。
1.2 研究方法
项目负责人进入医院科研管理系统页面,选择相应项目的“新增进展汇报表”,依次完成并提交进展汇报表到数据库,系统存储过程自动根据提交内容进行计算得分。系统管理员对提交上来的数据进行分析。
1.3 观察指标
结合医院科研项目的研究规律及特点,本研究运用DELPHI专家咨询法经过多轮精细筛选指标的种类:编制专家咨询问卷,然后选择专家进行咨询,并根据专家反馈意见进行修改,经3次修改后得到内容一致性较高的指标体系,最终分成了研究环境(E)、基地水平(B)、人才团队(T)、项目质量(P)四大类,形成了一套评价指标体系及方法,并通过实验加以佐证,实验结果表明该指标体系经得起考验[14-15]。对E、B、T、P指标进行分类,并设计了两级权重比例,应用SQL SERVER 2010存储调查数据结果,并通过Transact SQL语言将不同指标统计结果输出复制到SPSS中进行二次加工分析,部分指标的分类如表1所示。
表1 指标分类(部分)

1.4 统计学处理
数据采用SPSS 16.0软件进行统计分析,计量资料采用t检验,以P<0.05为差异有统计学意义。
2 结果
2.1 研究基础最扎实评分结果
立项第1年(研究初期)、当年结题(研究末期)的研究基础最扎实评分分值接近,而在立项第2年(研究中期)的分值最高(表2),说明项目的中后期扶持的重要性。
表2 研究基础最扎实评分结果(分,

2.2 研究找到突破点与研究基础最扎实评分结果的比较
研究找到突破点比研究基础最扎实的评分结果均值较高,差异有统计学意义(P<0.05)(表3),说明找到突破点的项目往往比研究基础好的综合分数高,寻找突破点,解决难题是科研的关键。
表3 研究找到突破点与研究基础最扎实评分结果的比较(分,

3 讨论
建立医院科研项目综合指标的原则应具备以下原则[16]。科学性原则:指标体系要能客观地反映分析对象本身的性质、特点、内在关系和运动过程;目的性原则:指标体系的设计要从全局上考虑指标之间的相互联系及其实现的结果;系统性原则:指标体系应尽可能从各个角度反映分析对象的全貌;敏感性原则:指标体系中的各个指标应能比较敏感地反映分析对象的变化;现实性原则:指标体系的设计要有利于资料的取得,有利于实际操作,否则就不可能将分析对象的数量特征现实地反映出来。
早在2015年就有学者指出项目评价工作的三大要点[17]:①构建全国共建共享的社会科学网络管理平台;②颁布全国统一的科研立项与成果验收评价规则与指标体系;③基于网络平台按照评价规则来规范评价行为,规范科研行为。经研究发现,在不同的科研项目评价制度下,即使是同一个科研项目也会表现出不同的科研绩效。从某种意义上讲,科研绩效是因科研项目评价制度而异的。本研究结果表明,研究基础程度越好的项目综合评分值越高,而研究基础好的项目在不同时期又会呈现不同的变化,在初、末期的分值接近,而在研究中期的分值最高,说明研究热情可能最高涨,因此今后不仅要重视好的项目的立项工作,而且应加强项目的中后期扶持,引导项目的持续发展。经过进一步的研究对比发现,找到突破点的项目往往比研究基础好的综合得分高,说明寻找突破点,解决难题是科学发展的重点,科研的目的就是在不断探索,攻克一个又一个难题。
综上所述,对医院科研项目实施综合指标评价具有现实的意义,可以促进项目成熟度的提高,引导项目健康发展,达到提高科研产出的目的。科研基础体现了项目承担者的条件水平,间接影响了项目的完成质量,但科研的最终目的不仅是有好的基础就能促进其达标,而更多的在于承担者探索解决科学问题的能力,找到了突破点,就等于找到解题的正确思路,从而引导科研成果的产生,本研究依据大量的实际数据统计分析,最终发现影响科研发展规律的若干因素,说明运用系统化的分析方法对研究科研发展规律具有重要意义,值得推广。本研究仅将广州医科大学附属第一医院作为数据的来源进行研究,如何完善指标体系和评价方法并将其扩展应用于呼吸疾病国家重点实验室项目的综合评价,是后续的研究重点。
[参考文献]
[1]刘作义,陈晓田.科学研究评价的性质、作用、方法及程序[J].科研管理,2002,23(2):33-39.
[2]田人合,张志强,郑军卫.杰青基金地球科学项目资助效果及对策分析[J].情报杂志,2016,35(6):121-129.
[3]马建霞,张志强,刘静,等.1997-2013年NSFC国家杰出青年科学基金项目的论文产出与影响力分析[J].中国科学基金,2015,(2):108-115.
[4]国家自然科学基金委员会.国家杰出青年科学基金在线[EB/ OL].http://www.nsfc.gov.cn/public/portal01tab3131,2015-10-18.
[5]张志强,熊永兰,安培浚.科技发达国家国立科研机构过去二十年改革发展观察[J].中国科学院院刊,2015,30(4):517-526.
[6]龚旭,夏文莉,美国联邦政府开展的基础研究绩效评估及其启示[J].科研管理,2003,24(2):1-8.
[7]高阵雨,陈钟,刘权,等.国家杰出青年科学基金20周年回顾与展望[J].中国科学基金,2014,(3):175-178.
[8]张树良,张志强,王雪梅.国际科研评价体系现存问题及发展新趋势分析[J].科学学研究,2015,33(8):1127-1133.
[9]陈海龙,张辉,戚安邦.基于利益相关方满意程度的创新项目全面集成评估模型与评估方法[J].管理学报,2016,13(3):432-439.
[10]徐光,白明莹,田也壮,等.基于网络层次分析法的技术创新项目评估体系研究[J].科学管理研究,2015,33(3):40-43.
[11]科技部.国家科研计划科研课题评估评审暂行办法[EB/ OL].http://www.most.gov.cn/2t2l/Ktz/20020ut20020619_80 43.htm.
[12]易芳.高校科研项目质量管理有效性评价体系构建思路[J].文学教育(中),2014,(4):70.
[13]虞文.我国社会科学科研项目的评价[J].西南民族大学学报(人文社会科学版),2015,(4):235-240.
[14]杨伟红,陈梁华,夏鑫华,等.在研项目汇报、测评和结题结果分析——以一大型医院为例[J].广东科技,2015,24(22):59-60.
[15]刘宇平,马金香.医院相关因素对高水平科研成果产出的影响分析[J].中国医院管理,2010,30(9):51-52.
[16]马健.科研项目评价制度的缺陷及其完善[J].自然辩证法研究,2010,26(10):120-124.
[17]张玉臣,王兆欢.公共科研项目的基本追求及绩效评价研究——基于科研项目绩效后评估实例[J].科技进步与对策,2014,31(13):119-123.
Practice and effect analysis of application of comprehensive evaluation index in hospital scientific research projects
CHEN Liang-hua ZHANG Xin-feng JIN Cong-kaiYANG Wei-hong LIU Yu-ping
Department of Scientific Research,the First Affiliated Hospital of Guangzhou Medical University in Guangdong Province,Guangzhou 510120,China
[Abstract]ObjectiveTo explore the law and trend of the increased comprehensive level of hospital scientific research projects so as to provide important basis for the implementation of scientific research project management in the future.MethodsScientific research projects of the First Hospital Affiliated Hospital of Guangzhou Medical University(top three hospitals)were taken as the statistical object,and the evaluation index of the related data from January 2014 to December 2016 was collected.Then,the research environment index,the base level index,the talent team index and the project quality index score of different projects in different stages were statistically analyzed.ResultsThe most solid score of research base between the first year(at the beginning of the study)for project and current problems(at the end of the study)was close,and the score was the highest in the second year for project;the score of research to find a breakthrough point was higher than that of the most solid score of research base,and the difference was statistically significant(P<0.05).ConclusionSupport and development of the project in the middle and late stage is very important; the score of research project finding the breakthrough point is higher than that of project with good research base,and it indicates that finding the breakthrough point and solving problems are the focus of scientific development.
[Key words]Hospital scientific research project;Index;Project evaluation;Research foundation
[中图分类号]R197.3
[文献标识码]A
[文章编号]1674-4721(2017)01(b)-0162-03
(收稿日期:2016-10-21 本文编辑:许俊琴)
[基金项目]广东省医学科学技术研究基金项目(C2015034);广东省省级科技计划项目(2016A030303065)
通讯作者