[讨论] 算分理论 项目反应理论

楼主: hangea (Ka-lip)   2022-01-24 23:08:02
因为前一篇逐家对台语文的心得文拢真温柔无批评,实在真感心,
我搁想欲分享到底JLPT的分数是按怎计算的原理。
毋搁因为较复杂,我这摆会用华语分享。
JLPT是用项目反应理论去推算每个考生对分数的机率分布,
最高机率的分数就是我们最后拿到的分数。
懒人包:
1. JLPT的算法是不同时期考同一level的人可以比较。
2. 他的分数代表你的程度的最大机率的地方。
3. 粗心答错/瞎猜猜对跟自己程度差异很大的题目影响不大。
我找了一下,关于项目反应理论解释得还算完整又好懂的文章是这篇。
https://www.med.oita-u.ac.jp/mededuc/cbt/riron_about.pdf
以下的解释主要也都跟文章内文一样。
1. 题目有两种属性,分别是难易度跟鉴别度。
"难易度高"指的是程度好的人也答不对,就是越难。
"无鉴别度"指的是程度差的人有一定比例答对,但同时也有一定比例程度好的人答错。
https://imgur.com/3yvL323
pdf中的图1的3条线分别是3个题目,红线就是比蓝线难,但鉴别度一样。
蓝线跟绿线难易度一样,但绿线没有鉴别度。
x轴表示是考生的程度,y轴表示的是答对率。
2. 答对题数一样的人,会因为答错的题目不同而有不同的分数。
https://imgur.com/9nLbvMI
图2就显示有3位考生,而他们的答题模型对应出不同的机率分布。
考生ア跟考生イ一样都答错两题,但他们的机率峰值处在不同的地方。
x轴是能力值,可以想成是分数,y值是尤度,应该可以想成是整体机率。
钟型曲线的算法也很简单,就把该考生的各答题的表现相乘即可。
以考生ア为例,他的答案是OXX(第一题答对,后两题答错)。
我们现在想知道他在能力值1的地方机率多少,那就对照图1的曲线,
第一题就是项目A,第二题是项目B,第三题项目C。
那就是0.92*(1-0.79)*(1-0.5) = 0.1
(能力值1的人,答对第一题的机率是0.92,
答对第二题的机率是0.79,但因为考生答错第二题,所以机率是0.21。
第三题同理)
用这个算法就能算出该考生的整体机率分布。
3. 考题的难易度,鉴别度的取得方式是考生的整体答题行为决定。
看文章的描述应该是有许多方法,不过大抵上都是算大家答对的题数来排大家的能力值,
然后用能力值去算题目的难易度、鉴别度。
有了第一次的难易度、鉴别度后,再用这组参数+上面提的算法去精算大家的程度,
再去fine tune题目的难易度、鉴别度。重复算几次。
但因为JLPT已经考了很多年了,有许多考古题,所以在新考试中掺入一些考古题,
可以更准确知道考生的程度(或是更少的运算资源??),
再用这群考生的答题模式去推算新题目的参数。
这也是为什么我前一篇文章说一定会有考古题,为了取得准确的参数。
而且这个考试理论上禁止母语人士参加,为了不要让这个模型被母语者影响。
以上是pdf里谈的。
但其实实务上模型可以更复杂,可以参考这篇文章。
https://www.ptt.cc/bbs/JLPT/M.1562561086.A.595.html
4. 难易度离你程度越远的题目,影响力越小。
(想成万有引力满直观的...XD)
所以假设现在题目有20题,当中的19题的表现指出你是个强者,
结果剩下的1题超简单,但你答错了,对你的影响不大,很有可能在同一个级距。
反之你是废物但猜对一题难题也一样,影响不大。(你跟题目的距离很远,没啥反应)
真正影响大的是程度跟差不多的题目。
(你跟题目的距离很近,题目对这个程度的人反应很强。)
但其实JLPT的官方网站只有提到他们是用项目反应理论去估算分数,
而有许多设定及参数多少都会影响到分数的估算,所以还是只能仅供参考。
(例如pdf就没提到4的万有引力,所以如果JLPT并没有考量到这点的话,
会变成强者答错一题小学生题目时会扣分超重的相反情况,懒人包3的论述就不成立了)
作者: birka1222 (筱望)   2022-01-25 06:13:00
还是觉得很复杂,不过推分享
作者: revise (小陶)   2022-01-25 12:29:00
错一题掉到下个级距也是很有可能的吧
作者: birka1222 (筱望)   2022-01-25 06:13:00
还是觉得很复杂,不过推分享
作者: revise (小陶)   2022-01-25 12:29:00
错一题掉到下个级距也是很有可能的吧尤其阅读这种题数少的

Links booklink

Contact Us: admin [ a t ] ucptt.com