(3)专家意见的集中程度:通常应用均数、满分频率、等级和(Sj)来描述专家意见的集中程度;均数越大,满分频率越高,等级和越大,集中程度越高。
Sj越大,指标的重要性越高。重要程度可设为1、2、3、4、5级,重要性依次增加,例如,某项咨询评价共四个指标,重要程度等级为1~5五级,某位专家对四个指标的实际等级评分分别为4、3、4、4。处理时,先将等级评分按从小到大排序为3、4、4、4,分别对应的等级序数为1、2、3、4。若专家给出的各指标的等级中有相同等级评分时,那么相同分数的指标和等级应相等,即等于它们相应序数的平均值。所以,等级评分为3的指标的序数是1,对专家给出的相同等级评分4、4、4的指标计算平均序数则为此三个等级评分对应的序数之和2+3+4与相同等级值的个数3相除,即得到这三个等级均为3。因此,4、3、4、4重新计算的等级分别对应为3、1、3、3。其他专家对各指标的算法依此类推。
然后,合计所有专家对同一个指标评价的等级从而获得该指标的等级和,并由此计算出全部指标等级和的算术平均值,按照指标等级和的大小排序得到每个指标的重要程度大小情况。等级和计算通常用于对一组方案的重要性、迫切性、可行性等进行综合评价时。
2)均值:以一实例说明计算方法。
某公司开发了一种新产品,现聘请了9位专家对新产品投放市场1年的销售额进行预测,销售额预测结果。
①简单平均法:将9位专家第3次判断的简单平均值作为预测值,则预测销售额为(8+11+15)/3= 11.33(百万元)。
②加权平均法:将第3次判断的最可能销售、最低销售和最高销售按0.5、0.2、0.3进行加权平均,则预测销售额为(8X0.2+11X0.5+15X0.3)/(0.2+0.5+0.3)= 11.6(百万元)。
③三点估计法:三点估计法的计算公式为x = xmax +4x +xmin6,将相应数值带入为(15+4X11.33+8)/(0.2+0.5+0.3)= 11.39(万元)。
④中位数法:根据中位数计算公式分别计算第3次判断的最低销售额、最可能销售额和最高销售额的中位数得到3、12和15.5。按最可能销售额、最低销售额和最高销售额按0.5、0.2、0.3进行加权平均,则预测销售额为(8X0.2+12X0.5+15.5×0.3)/(0.2+0.5+0.3)=12.25(万元)。
通过几种方法的测算可以看出,该项新产品投放市场销售1年后,销售额可达到11~12万元。
(4)协调系数:判断专家对每项指标的评价是否存在较大分歧,或找出高度协调的专家组和持异端意见的专家。协调系数W 越大,协调程度越高,一般在0~1之间,在0.5范围内波动,大于0.5的协调系数较好。专家的权威程度对评价的可靠性影响很大,求出的权威程度可作为对专家评价值进行加权平均计算时的权数:
式中,n 为指标数;m 为专家总数;dj 为j 指标等级和与全部指标等级和的算术平均值之差;Ti 为修正系数,表示相同等级指标。
式中:I 为i 专家在评价中相同的评价组数;ti 为在I 组中的相同等级值的个数。
仍以前述等级和计算中的例子为例:某位专家对4个指标的实际等级评分为4、3、4、4,该专家在四个指标的评价中存在一组相同评分,即4、4、4,则I = 1,ti = 3。余同理,亦然。
(5)协调系数显着性检验自由度df=n-1。如果P<0.05,说明专家评估或预测协调性好,结果可取;如果P>0.05,说明结果不可取。
3.优缺点
该方法应用广泛,可应用于各种亚人群,也适用于任何地理范围的估计。如果专家选择良好,则估计结果的权威性较高。但该方法是一种主观的估计方法,结果的准确性较难测量;专家的选择不是一件容易的事情;专家意见未基本达成一致时,结果的准确性和可靠性不够好。另外,如果严格按照Delphi 法的原理进行估计,需要通过几轮的调查,费时费力,现实中常采用简化的Delphi 法,对人群的规模进行粗略估计。
4.应用注意事项
选择专家是Delphi 法成功的关键。专家必须是该领域内的专业人员,对该领域非常熟悉,否则就不应当入选,并且专家一定要来自于所估计地理范围内的专业人员,最好是来自于多个部门,有较强的参与意识和归纳总结能力。如估计某市吸毒者的数量,专家要来自于该市的戒毒所、疾病控制部门与吸毒治疗相关的医疗机构、公安部门、司法部门等,且基本能覆盖到该市的地理范围。参与估计的专家数量要足够,要根据所估计地理范围的大小而定。小范围内的估计(如县级)一般要求在10~15名以上,中等范围内的估计(如地市级)要求在20~30名以上,较大范围内的估计要求在50名以上,大范围的估计可以在100名以上。
专家征询表的设计也至关重要,要周全考虑各种因素,根据答复所提出的建议,随时灵活地设计征询表。表中所提问题要构成一个整体,不要分散,数量不能太多,一般不超过2小时能答完一轮。问题必须提得非常清楚明确,其含义只能有一种解释。要消除任何不明确或容易产生多义性的情况,因而问题不能提得太简单或太繁复,不要使用模糊的词汇。从一轮到另一轮不要改变措词。人群的估计数要有多个范围跨度,并留有余地,以供专家选择或提出新的估计数。
一般采用信函或电子邮件等形式与各位专家联系。在向各位专家寄发征询调查表时,应事先与之联系,并请他们在规定的时间内(如7~10天)寄回调查表。收到各位专家寄回的调查表后,要及时汇总分析,根据汇总分析结果及时设计后一轮的专家征询调查表。整理汇总工作应适当程序化。有的专家可能对所寄的调查表不予应答,这时要将之记录下来,并分析对结果的可能影响,同时选择新的专家进行补充。
三、多种估计方法的联合应用
由于每种方法都存在一定的局限性,所得到的估计结果都存在一定的偏倚,因此在进行MSM人群规模估计时,可根据不同地区的实际情况,选用不同的方法实施估计,使不同方法的计算结果既可相互验证又可相互补充。对MSM人群的不同亚群也可以采用不同的方法进行估计。这里介绍两个实例,一是美国旧金山2005年对MSM人群规模估计,二是我国某市对MSM人群规模的估计。
(一)美国旧金山2005年MSM人群规模估计实例2005年,美国旧金山艾滋病防治办公室组织了对MSM人群规模的调查,这里的MSM人群规模中不包括既是MSM又是IDU 的人群(MSM‐IDU)。
首先对现有资料进行了收集整理,包括HIV/AIDS/STI 病例报告、行为监测、哨点监测、各种防治干预项目资料和研究项目资料;
其次是根据收集到的资料采用人群调查、捕获-再捕获、乘数法、趋势分析等方法结合专家观点分别对人群规模进行估计,并绘制柱状图将各种方法估计的结果依次排列,寻找中位数和可能的上限和下限;
第三是召集专家小组和相关人员分享评价这些估计结果,相关人员包括政府卫生官员、研究人员、为MSM人群提供各项服务的人中员、新闻媒体和MSM社区人员等;
第四是根据专家和相关人员会议的讨论结果,考虑各种估计方法的可能偏倚和专家观点,对估计结果进行修订;
第五是由HIV社区规划小组、市政府通过因特网、新闻媒体向社会大众公布。
美国旧金山的不同估计来源有以下几个方面:
1.人群调查,市政府税务办公室(Tax):旧金山市成人男性人口数(美国普查局提供)X自称为男性同性恋或双性恋的比例-MSM‐IDU (美国普查局的估计为9.3%),即338977X21.2%-6683= 65180。
2.人群调查,电话健康调查(BRFS):旧金山市成人男性人口数(美国普查局提供)X自称为男性同性恋或双性恋的比例-MSM‐IDU (美国普查局的估计为9.3%),即338977X22.0%-6935= 67640。
3.乘数法,加州大学旧金山分校组织的电话调查+STI门诊就诊病人(HIS‐STI):(2004年MSMSTI 门诊就诊病人数/2004年MSM人群中到STI门诊就诊的比例)-MSM‐IDU (美国普查局的估计为9.3%),即[3578/10.0%]-3328= 32452。
4.乘数法,国家行为监测+STI 门诊就诊病人(NBSSTI):[2004年MSMSTI 门诊就诊病人数/2004年MSM人群中到STI 门诊就诊的比例]-MSM‐IDU (调查结果为10.7%),即[3578/ 5.9%]-6489= 54155。
5.乘数法,国家行为监测+VCT 门诊求询者(NBSVCT):[2004年MSMVCT 门诊求询者人数/2004年MSM人群中到VCT 门诊求询的比例]-MSM‐IDU (调查结果为10.7%),即[588/0.9%]-6991= 58342。
6.乘数法,国家行为监测+已知HIV感染者(Cases):
[(2004年MSM人群中AIDS 病例数+2000-2004年报告的HIV数)/2004年MSM人群中报告已知HIV感染的比例-MSM‐IDU (调查结果为10.7%),即[14002/ 21.0%]-7134=59542。
7.Lieb 等,比率方法(Lieb):2004年MSM人群中AIDS 病例数,AIDS 与HIV的比率为1:1,MSM人群总的HIV感染率(国家行为监测结果为24%),即[7344AIDS 病例+7344HIV感染者但非AIDS 病例]/ 24%= 61200。
将上述不同方法得到的估计数用柱状图陈列,不同方法估计数的中位数为59542,可能的下限为54155,可能的上限为65180,由此得到的估计数点值和范围经专家小组和相关人员会议讨论,增加了一些新的数据,除用原来不同的估计方法重新计算外,还删除了偏倚较大的估计方法,增加了新的估计来源,修订后陈列如图39所示,最后确定旧金山市MSM人群估计的点值为58343,可能的范围为46263~64174。这一结果由市政府和HIV社区规划小组向社区公众公布。