在SPSS中如何进行多个评价者之间一致性的KAPPA检验

Question

问题是数据量很少，才20个数据，直观上就感觉数据不是很好，更关键的是在网上查到的各类文献方法都不适合，大多都是研究两个评价者对多个对象评打同一份量表的以研究量表的信度之类的研究，而我的是20个评价者用一份量表给一个患者评打，主要目的以证明我们量表评打的培训效果，证明一致性。

Answer 1

急求做一致性检验的方法，我们现在设计一个调查，进行预实验，量表都是成熟的。其中要检验评估者之间的一致性，就是评估者给患者打分是否有差异，两个问题，一是我们需要做多少例患者，二是如何统计：包括两名评定者和多名评定者的。量表是等级评分，最后有个总分。对量表总分做一致性检验就可以吗？包含的条目是否还需要做一致性检验呢？我想知道SPSS具体操作的方法。

Answer 2

研究多个评价者评价一致性，可用Kendall's W检验，spssau里可以使用。

Answer 3

评打?没明白这个词的意思。
你所说的，就是要看评分者之间的一致性吧，这跟评分者多少没有关系的。你的问卷做了多少个被试啊？追问

哦，评打就是评分，呵呵，写的不准确，见谅。。。不是问卷，是量表，国内通用的量表，信度之类的早被证明过得了，我们就是拿来用，我们是做多中心的临床研究实验，所以要评价一下各家医院评分者的一致性，就用了一个被试者。。。这数据能做出结果来吗？？

追答

可以啊，这个研究里，每一个观测值不是人，而是你那个量表中的一个项目。
不过评分者一致性一般是做2个人的，他们分别（对量表中不同项目）打分。是放在crosstabs列联表里头做的，它里头只有行和列2个选项，即一次只能比较2个人的评分一致性高低。
多个评分者可以两两分别做，但这存在放大误差的可能。
你这个检验的目的是什么的，是否有一个标准的评分，这样的话单独检验所有人跟这个标准评分的一致性高低就行。
如果你这20个人都是一样的话，建议拿相关来先看看，有没有其中个别的人，跟其它大多数人的评分相关系数特别低，那一般他跟其它人的kappa系数应该也低。

本回答被提问者采纳