评价方法

一、评价过程

首先，从科技社团的定义内涵出发，结合世界一流科技社团案例分析和结构-过程-结果（SPO）理论模型，初步形成世界一流科技社团评价内容框架。

其次，梳理已有评价指标，召开研讨会邀请专家进行打分，运用AHP层次分析法确定各指标权重，确定评价指标体系。

再次，根据评价指标体系收集相关数据，进行数据清洗及转换，经过数据整合测算，形成评价结果。

二、指标体系设计

（1）设计原则

a) 科学性原则。科技社团评价体系设计应在借鉴相关理论研究和专家智慧基础上，充分体现科技社团的实际发展规律，契合社团的性质和特点。

b) 系统性原则。根据系统理论，评价体系的设计应注重整体性与全面性，一方面要考虑科技社团从内在特质到外显表现，从基础差异到发展趋势的整体特点，另一方面选取指标时做到穷尽且互斥，考虑各要素之间的内在联系性。

c) 引导性原则。评价指标体系应体现科技社团的价值导向和关键特点，通过评价的实施，其结果应该能够引导科技社团改进自身存在的问题以提升综合能力。

d) 可行性原则。评价体系应简洁且具有可操作性，数据来源稳定、公开且可获得，评价结果具有实际意义。

e) 可比性原则。指标体系应尽量包含科技社团的共同属性与活动，不因个性化差异导致评价结果的偏差。尽量采用客观公开的数据，在评价中减少代入主观意志的可能。

（2）评价内容

“世界一流科技社团评价指标体系”主要从组织力、凝聚力、影响力三个层次对科技社团进行评价。

组织力（Organizing Power）：指设计组织结构和配置组织资源的能力，是组织自我生长的内在力量，是保持竞争优势和持续发展的动力源泉。以内在治理体现社团的组织领导能力和制度保障，以基础保障反映科技社团现阶段已拥有的人力、资金和信息等方面的资源水平。

凝聚力（Integrating Power）：指科技社团通过特定的结构和活动方式，使成员与组织之间达到相互吸引、相互关联以及对共同目标认同的能力，是作为组织核心的内聚力和吸引力。根据科技社团凝聚会员的主要活动和功能出发，可分为历史传承、人才吸引、知识产生、科学普及、政策倡导五个维度。

影响力（Impact Power）：指科技社团进行知识构建与传播能力的直接表现，体现了科技社团组织力和凝聚力共同产生作用和功能发挥的效果，是科技社团社会公信力的重要依据。集中表现在科学、社会、国际等不同范围的声誉和影响，通过选取具有代表性的期刊水平、网络传播与国际交流情况等指标进行测量。

表 1 世界一流科技社团评估指标体系（2019试用版）

调研与文献分析发现，一流学术期刊是世界一流科技社团的典型特征之一，因此本研究将世界公认的一流学术期刊作为查找世界一流科技社团的必要条件。评价对象的选取在依据Clarivate公司公布的2018年SCI以及SSCI期刊数据库对期刊进行主办机构分析，梳理出近2000个世界一流科技社团，在此基础上又进一步邀请科技社团管理专家、科技工作者推荐科技社团89个，根据世界性、透明性、可比性、稳定性的样本选取标准，形成世界一流科技社团评价对象备选池。基于评价对象的一致性考虑，本次评价聚焦学术性社团，不含国际/区域性、综合性、联合会等科技社团，因此本研究只针对二次筛选出相对学术水平高、受众广泛、其他统计数据相对可得、准确的学术性科技社团约500个作为评价对象。

数据来源主要包括三个渠道：一是科技社团官方网站，以了解年报、财报、活动等信息；二是各国政府官方统计出版物，如美国990税表、中国科协学会统计年鉴等；三是国际知名数据库，包括ISI、SCOPUS、Gale Associations Unlimited等，以及互联网公开网站如ALEXA网站、Twitter、新浪微博等。统计年鉴主要使用2017年数据，网络数据以2018年为主，部分活动数量为2016-2018年平均值。

数据采集进行了爬虫程序提取，人工识别校验等方法。通过互联网先收集到与指标相关原始资料，然后根据有关公式进行量化处理。

三、数据计算方法

全球500个科技社团评价计算采用等权法由三级合成二级，再由二级加权合成一级。各指标计算时采用了不同的方法：一是直接百分化处理，如规章制度等，二是采用以正态分布为核心以排名为依据的赋分方法，将原始数值标准化处理计算出z值后，再计算出正态分布概率值P（X<=z），最后将P值乘以100得到最终的百分化得分如期刊平台、会议论文、国际分支、网络传播等。三是综合指标计算方法，如顶级期刊采用HIF与sumRank两个指标设方程求解。