您现在的位置:

评价方法


一、评价过程

首先,从科技社团的定义内涵出发,结合世界一流科技社团案例分析和结构-过程-结果(SPO)理论模型,初步形成世界一流科技社团评价内容框架。

其次,梳理已有评价指标,召开研讨会邀请专家进行打分,运用AHP层次分析法确定各指标权重,确定评价指标体系。

再次,根据评价指标体系收集相关数据,进行数据清洗及转换,经过数据整合测算,形成评价结果。

 

二、指标体系设计

(1)设计原则

a) 科学性原则。科技社团评价体系设计应在借鉴相关理论研究和专家智慧基础上,充分体现科技社团的实际发展规律,契合社团的性质和特点。

b) 系统性原则。根据系统理论,评价体系的设计应注重整体性与全面性,一方面要考虑科技社团从内在特质到外显表现,从基础差异到发展趋势的整体特点,另一方面选取指标时做到穷尽且互斥,考虑各要素之间的内在联系性。

c) 引导性原则。评价指标体系应体现科技社团的价值导向和关键特点,通过评价的实施,其结果应该能够引导科技社团改进自身存在的问题以提升综合能力。

d) 可行性原则。评价体系应简洁且具有可操作性,数据来源稳定、公开且可获得,评价结果具有实际意义。

e) 可比性原则。指标体系应尽量包含科技社团的共同属性与活动,不因个性化差异导致评价结果的偏差。尽量采用客观公开的数据,在评价中减少代入主观意志的可能。

(2)评价内容

“世界一流科技社团评价指标体系”主要从组织力、凝聚力、影响力三个层次对科技社团进行评价。

组织力(Organizing Power):指设计组织结构和配置组织资源的能力,是组织自我生长的内在力量,是保持竞争优势和持续发展的动力源泉。以内在治理体现社团的组织领导能力和制度保障,以基础保障反映科技社团现阶段已拥有的人力、资金和信息等方面的资源水平。

凝聚力(Integrating Power):指科技社团通过特定的结构和活动方式,使成员与组织之间达到相互吸引、相互关联以及对共同目标认同的能力,是作为组织核心的内聚力和吸引力。根据科技社团凝聚会员的主要活动和功能出发,可分为历史传承、人才吸引、知识产生、科学普及、政策倡导五个维度。

影响力(Impact Power):指科技社团进行知识构建与传播能力的直接表现,体现了科技社团组织力和凝聚力共同产生作用和功能发挥的效果,是科技社团社会公信力的重要依据。集中表现在科学、社会、国际等不同范围的声誉和影响,通过选取具有代表性的期刊水平、网络传播与国际交流情况等指标进行测量。

 

表 1 世界一流科技社团评估指标体系(2019试用版)

 

一级指标
(3)
二级指标
(10)
三级指标
(18)
测量指标及说明 数据来源
组织力
(30%)
内部治理
(40%)
分工合作 组织结构清晰,理事、监事、秘书长分工明确,能够有效发挥决策、监督职能 社团官网、年报、Gale 数据库、Wiki 百科,各国税务网站、中国科协学会统计年鉴
制度规范 社团网站公开展示的制度章程的规范程度(宗旨愿景、理事会选举、监督、常规办公管理、理事会会议、会员入会管理、专业委员会、工作委员会、财务条例、伦理规范)十个方面赋值
基础保障
(60%)
人力资源 个体会员数量
资金资源 2017 年资金收入总量
信息资源 是否公开财务信息,是否发布年报;官方社交媒体数量
凝聚力
(30%)
历史传承
(5%)
成立时间 社团正式成立至 2018 年的年数 社团官网、年报
人才吸引
(30%)
会员服务 为会员设置的各类服务项目数量
科技奖励 社团为学科发展及人才培养设置的奖项数量
知识创造
(30%)
期刊平台 社团主办学术期刊数
会议交流 近三年各类会议举办数量
科学普及
(30%)
科学出版物 近三年社团为知识普及出版的各类传统或电子出版物总数
教育培训 近三年举办的在线或实地教育课程及活动次数,组织学科竞赛数
政策倡导
(5%)
公开声明 近三年社团通过公开媒体发布的某项重大事件正式声明 、向政府部门提交建议、公开信等
影响力
(40%)
学术影响
(40%)
创新潜力 近五年影响因子增长率 ISI 数据库
学术引领 社团主办被 SCI 、SSCI 收录期刊数,该期刊在各学科领域排行,影响因子
社会影响
(35%)
网络传播 社团网站页面浏览量全球排名 ALEXA 网站
社交媒体 社团在 Twitter 、微博等社交媒体粉丝量 Twitter, 新浪微博
国际影响 (25%) 国际合作 网站上列出的国际合作伙伴国家数量,国际分支机构所在国家数量 社团官网

 

调研与文献分析发现,一流学术期刊是世界一流科技社团的典型特征之一,因此本研究将世界公认的一流学术期刊作为查找世界一流科技社团的必要条件。评价对象的选取在依据Clarivate公司公布的2018年SCI以及SSCI期刊数据库对期刊进行主办机构分析,梳理出近2000个世界一流科技社团,在此基础上又进一步邀请科技社团管理专家、科技工作者推荐科技社团89个,根据世界性、透明性、可比性、稳定性的样本选取标准,形成世界一流科技社团评价对象备选池。基于评价对象的一致性考虑,本次评价聚焦学术性社团,不含国际/区域性、综合性、联合会等科技社团,因此本研究只针对二次筛选出相对学术水平高、受众广泛、其他统计数据相对可得、准确的学术性科技社团约500个作为评价对象。

数据来源主要包括三个渠道:一是科技社团官方网站,以了解年报、财报、活动等信息;二是各国政府官方统计出版物,如美国990税表、中国科协学会统计年鉴等;三是国际知名数据库,包括ISI、SCOPUS、Gale Associations Unlimited等,以及互联网公开网站如ALEXA网站、Twitter、新浪微博等。统计年鉴主要使用2017年数据,网络数据以2018年为主,部分活动数量为2016-2018年平均值。

数据采集进行了爬虫程序提取,人工识别校验等方法。通过互联网先收集到与指标相关原始资料,然后根据有关公式进行量化处理。

 

三、数据计算方法

全球500个科技社团评价计算采用等权法由三级合成二级,再由二级加权合成一级。各指标计算时采用了不同的方法:一是直接百分化处理,如规章制度等,二是采用以正态分布为核心以排名为依据的赋分方法,将原始数值标准化处理计算出z值后,再计算出正态分布概率值P(X<=z),最后将P值乘以100得到最终的百分化得分如期刊平台、会议论文、国际分支、网络传播等。三是综合指标计算方法,如优秀期刊采用HIF与sumRank两个指标设方程求解。