■　回答集計と各ページの分析
***　【回答集計と分析・高校】　***
数I/ 数A/ 数II/ 数B/ 数III/ 数C/
［測定条件と信頼性］
■中学３年■　== 乗法の公式 ==
■ページ名 「乗法の公式1」
../math/m3siki01.htm
■主な内容 　２数の和と積で係数を作る展開公式
■要約・解説 解説は11行
「最初の問題に着手するまでの時間」は12.8秒であり，この解説はチラリと見た程度．
■この集計の作成年月日：2009.11.01　■集計期間2009.5.02～2009.10.30　■期間中のこのペ－ジに対するアンケート回答数/読まれた回数：577件/9782件=5.9%
グラフ１

グラフ2

グラフ3
グラフ4
■小問数
8題

■ヒント
なし

■入力方式
空欄書き込み

■問題の見え方
一度に全部見える形になっている		 回答者の内訳は中3が62%，卒業生が18%
１題当たりの所要時間は9.7秒
平均滞在時間は5分55秒
　左のグラフ１は問題ごとの正答，誤答，無答の割合（正誤は最初の採点）で，黄色で示したものは初め誤答で再試行の結果正答に変った割合を表わす．
　グラフ2は横軸が問題番号，縦軸は直前の操作以降その問題の採点までの経過時間（秒）を表わす．ただし，第1問は解説を読む時間を含む．
　グラフ3は問題ごとの試行回数を表わす．（ただし，同一問題を16回以上試行した答案については16回と見なす．）
問題によって少し凸凹があるが，いずれも正答率が80%以上ある．ただし，問題ごとの正答率は，分散分析で有意差が確かめられる．(**p<.01)
どんな答案があるのか・誤答の原因は
　次の表は誤答の多い第3問，第5問の主な答案とその割合である．
第3問 5,14(正答) 9,14 5,35
91% 2% 2%
第5問 7,8(正答) -7,-8 -7,8
86% 6% 2%
　誤答の原因として，係数が「正の数・負の数の組合わせになっているものは弱い」ということがあるが，この画面独特の原因として，第1問から縦に進めば第3問で，横に進めば第5問でこの型の問題に出会うため，これらの問題の正答率が低いと考えられる．
○測定の再現性について
　表1は異なる期間における各問題の正答数（件数）の一覧で，この表によりχ2で独立性の検定を行うとp=0.9999となり，期間による有意差はなく（帰無仮説採択）消極的根拠ながら再現性が認められる．
○測定の整合性・識別力について
　表2は各問題の得点と残りの問題の合計得点との相関（I-R相関），グラフ4は回答者全体をその合計得点によって上位群，中位群，下位群（各3分の1）に分けたときの群別・問題別正答率のグラフである．
　第1問はI-R相関が0.2未満でやや弱く，第2問はU-L指数が0.15とやや弱いが２つの資料を見れば整合性・識別力とも問題ないと考えられる．
学習開始時において回答者の平均正答率は80%台で，ほとんどの回答者はこの頁の問題ができる．
この頁の学習により，正答率は88.8%から95.0%へ変化し，ここで扱った項目に関して6.2%の成績アップが見込まれる．
（ほぼ上限に達している．）
表1　（2010.7.21集計）
期間 第1問 第2問 第3問 第4問 第5問 第6問 第7問 第8問 小計
2009.5.2-7.4 256 270 250 257 240 251 253 256 2033
2009.7.5-10.30 253 274 257 272 253 266 267 270 2112
2009.11.1-2010.6.1 548 592 565 583 503 564 563 575 4493
2010.6.1-7.20 241 260 235 250 211 235 240 245 1917
小計 1298 1396 1307 1362 1207 1316 1323 1346 10555
表2
I-R相関 第1問 第2問 第3問 第4問 第5問 第6問 第7問 第8問
0.18 0.47 0.52 0.57 0.34 0.54 0.58 0.55

■ページ名 「乗法の公式」
../math/m3siki02.htm
■主な内容 　２数の和と積で係数を作る展開公式
■要約・解説 解説なし．指示文章2行
「最初の問題に着手するまでの時間」は6.8秒であり，直ちに着手している．
■この集計の作成年月日：2009.11.01　■集計期間2009.05.02～2009.09.04　■期間中のこのペ－ジに対するアンケート回答数/読まれた回数： 61件/??件=??%
（※採点プログラムエラーのため9月～10月のデータなし）
グラフ1

グラフ2

グラフ3
■小問数
12題

■ヒント
なし

■入力方式
マウス選択

■問題の見え方
１題ずつ順に表示		 回答者の内訳は中2が10%，中3が57%，卒業生が20%
１題当たりの所要時間は10秒．
この頁を処理するために要した時間は平均3分21秒
　左のグラフ１は問題ごとの正答，誤答，無答の割合（正誤は最初の採点）で，黄色で示したものは初め誤答で再試行の結果正答に変った割合を表わす．
　グラフ2は横軸が問題番号，縦軸は直前の操作以降その問題の採点までの経過時間（秒）を表わす．ただし，第1問は初めからの時間．
　グラフ3は問題ごとの試行回数を表わす．（ただし，同一問題を16回以上試行した答案については16回と見なす．）
この頁では，各問題は数パターンの中からランダムに出題されるので，個別の問題に対する誤答分析はできない．
○整合性，識別力について
　 表1は各問題の得点と残りの問題の合計得点との相関（I-R相関），グラフ4は回答者全体をその合計得点によって上位群，中位群，下位群（各3分の1）に分けたときの群別・問題別正答率のグラフである．U-L指数は0.4～0.75．
　２つの資料から整合性・識別力とも問題ないと考えられる．また，第3問，第5問，第11問，第12問は特にやさしいと受け止められていることが分かる．
学習開始時において回答者の平均正答率は70%台で，多くの回答者はこの頁の問題を処理できる．
この頁の学習により，正答率は78.0%から88.4%へ変化し，ここで扱った項目に関して10.4%の成績アップが見込まれる．
表1
I-R
相関		 第1問 第2問 第3問 第4問 第5問 第6問 第7問 第8問 第9問 第10問 第11問 第12問
0.28 0.30 0.51 0.53 0.84 0.71 0.58 0.77 0.76 0.63 0.78 0.75
グラフ4

■ページ名 「２乗の展開公式」
../math2/m3fr102.htm
■主な内容 　(a+b)2 , (a-b)2の展開公式
■要約・解説 解説なし．指示文章2行
「最初の問題に着手するまでの時間」はほぼ0秒であり，やり方はすぐに分かったと考えられる．
■この集計の作成年月日：2009.11.29　■集計期間2009.05.10～2009.11.25　■期間中のこのペ－ジに対するアンケート回答数/読まれた回数： 24件/889件=2.7%
グラフ1

グラフ2
■小問数
10題

■ヒント
なし

■入力方式
マウス選択

■問題の見え方
一度に全部見える形になっている		 回答者の内訳は中3が50%，卒業生が38%
１題当たりの所要時間は9秒
やり直しを含めた総時間数は7分40秒
　左のグラフ１は問題ごとの正答，誤答，無答の割合（正誤は最初の採点）で，黄色で示したものは初め誤答で再試行の結果正答に変った割合を表わす．
　グラフ2は横軸が問題番号，縦軸は直前の操作以降その問題の採点までの経過時間（秒）を表わす．ただし，第1問は初めからの時間．
　グラフ3は問題ごとの試行回数を表わす．（ただし，同一問題を16回以上試行した答案については16回と見なす．）
どの問題も正答率が非常に高い．
　表1は各問題の得点と合計得点の相関で，値が非常に高くまぐれ当たりはほとんどないことが分かる．
　また，別途UL指数（上位群と下位群の正答率の差）を求めると非常に低くなり，学力差も出ない．
⇒　この問題はやさし過ぎる．
学習開始時において回答者の平均正答率は90%台で，ほとんどの回答者はこの頁の問題ができる．
この頁の学習により，正答率は93.3%から95.8%へ変化し，ここで扱った項目に関して2.5%の成績アップが見込まれる．
グラフ3

表1
I-T相関 第1問 第2問 第3問 第4問 第5問 第6問 第7問 第8問 第9問 第10問
0.90 0.69 0.90 0.92 0.92 0.92 0.90 0.92 0.92 0.77

■ページ名 「和と積の展開No.2」
../math2/m3fr101.htm
■主な内容 　２数の和と積で係数を作る展開公式
■要約・解説 解説なし．指示文章2行
「最初の問題に着手するまでの時間」はほぼ0秒であり，やり方はすぐに分かったと考えられる．
■この集計の作成年月日：2009.10.21　■集計期間2009.05.03～2009.10.20　■期間中のこのペ－ジに対するアンケート回答数/読まれた回数： 64件/1350件=4.7%
グラフ1

グラフ2
■小問数
10題

■ヒント
なし

■入力方式
マウス選択

■問題の見え方
一度に全部見える形になっている		 回答者の内訳は中2が63%，卒業生が14%
１題当たりの所要時間は7.6秒
やり直しを含めた総時間数は2分22秒
　左のグラフ１は問題ごとの正答，誤答，無答の割合（正誤は最初の採点）で，黄色で示したものは初め誤答で再試行の結果正答に変った割合を表わす．
　グラフ2は横軸が問題番号，縦軸は直前の操作以降その問題の採点までの経過時間（秒）を表わす．ただし，第1問のみは推定．
　グラフ3は問題ごとの試行回数を表わす．（ただし，同一問題を16回以上試行した答案については16回と見なす．）
グラフ2に示されるように幾つかの問題で慎重に考えている．
第5問：(x-7)(x+6)
第8問：(x+7)(x-2)
前の「乗法の公式1」（和と積による展開公式）と比較すると，マウス選択の操作性がよいので所要時間が短くなっていると考えられる．どの問題も正答率90%以上であり，快適に進んだと考えられる．
学習開始時において回答者の平均正答率は90%台で，この頁の問題は「ほとんどの回答者ができる」問題である．
この頁の学習により，正答率は98.3%から100%へ変化し，ここで扱った項目に関して1.7%の成績アップが見込まれる．
グラフ3

■ページ名 「乗法の公式２」
../math/m3siki11.htm
■主な内容 　（a+b）2 , (a-b)2 の展開公式
■要約・解説 解説は20行
「最初の問題に着手するまでの時間」は24.8秒であり，この解説は少しは読まれている．
■この集計の作成年月日：2009.11.01　■集計期間2009.05.02～2009.10.30　■期間中のこのペ－ジに対するアンケート回答数/読まれた回数：211件/5128件=4.1%（時間に関する集計は極端値を除く）
グラフ1

グラフ2

グラフ3

表1
I-R相関 第1問 第2問 第3問 第4問 第5問 第6問 第7問 第8問
0.39 0.53 0.52 0.75 0.62 0.72 0.63 0.80
■小問数
8題

■ヒント
なし

■入力方式
空欄書き込み

■問題の見え方
一度に全部見える形になっている		 回答者の内訳は，中3が55%，卒業生が22%
１題当たりの所要時間は8.7秒
　左のグラフ１は問題ごとの正答，誤答，無答の割合（正誤は最初の採点）で，黄色で示したものは初め誤答で再試行の結果正答に変った割合を表わす．
　グラフ2は横軸が問題番号，縦軸は直前の操作以降その問題の採点までの経過時間（秒）を表わす．ただし，第1問は初めからの時間．
　グラフ3は問題ごとの試行回数を表わす．（ただし，同一問題を16回以上試行した答案については16回と見なす．）
正答率の差
どの問題も同レベルの問題で正答率に差があるようには見えないが，分散分析を行うと**p<.01の有意差が認められる．
整合性・識別力
　表1は各問題の得点と残りの問題の合計得点との相関（I-R相関），グラフ4は回答者全体をその合計得点によって上位群，中位群，下位群（各3分の1）に分けたときの群別・問題別正答率のグラフである．U-L指数は第3問～第5問のみ0.2未満となる．
　グラフ4からは上位群と中位群は完全に一致していて区別できないが，下位群は第3問～第5問を除けば識別できる．
　大いに疑問なのは，次の../math/m3siki12.htm との違いである．ほぼ同じ問題で，次の問題は選択問題であるのも関わらず正答率が非常に低い．
学習開始時において回答者の平均正答率は90%台で，ほとんどの回答者はこの頁の問題ができる．
この頁の学習により，正答率は91.9%から95.4%へ変化し，ここで扱った項目に関して3.5%の成績アップが見込まれる．（ほぼ上限に達している）
グラフ4

■ページ名 「乗法の公式」
../math/m3siki12.htm
■主な内容 　（a+b）2 , (a-b)2 の展開公式
■要約・解説 解説は3行
「最初の問題に着手するまでの時間」はほぼ0秒．
■この集計の作成年月日：2009.11.01　■集計期間2009.05.05～2009.10.31　■期間中のこのペ－ジに対するアンケート回答数/読まれた回数： 50件/1106件=4.5%
グラフ1

グラフ2

グラフ3

表1
　 第1問 第2問 第3問 第4問 第5問 第6問 第7問 第8問 第9問 第10問 第11問 第12問 第13問
文字の個数 1 1 1 1 1 1 1 2 2 1 2 1 4
かっこの個数 1 1 1 1 1 1 1 1 1 1 1 2 2
第1項の係数が負 0 0 1 1 0 0 1 0 1 0 1 0 0
第1項の係数が±１以外 0 0 0 0 0 1 1 1 1 0 0 0 1
第2項が負 0 1 0 1 1 0 1 0 0 0 0 1 1
第2項が分数 0 0 0 0 0 0 0 0 0 1 1 0 0
誤答率 8% 14% 62% 36% 22% 40% 26% 34% 48% 40% 34% 34% 58%
表2
誤答率
との相関		 文字の個数 かっこの個数 第1項の係数が負 第1項の係数が±１以外 第2項が負 第2項が分数
0.49 0.31 0.32 0.32 -0.21 0.05
表3
I-T相関 第1問 第2問 第3問 第4問 第5問 第6問 第7問 第8問 第9問 第10問 第11問 第12問 第13問
0.31 0.47 0.58 0.49 0.36 0.66 0.61 0.48 0.55 0.71 0.74 0.61 0.59
■小問数
13題

■ヒント
なし

■入力方式
マウス選択

■問題の見え方
一度に全部見える形になっている		 回答者の内訳は，中3が46%，卒業生が34%
１題当たりの所要時間は24.5秒
平均滞在時間は10分39秒
　左のグラフ１は問題ごとの正答，誤答，無答の割合（正誤は最初の採点）で，黄色で示したものは初め誤答で再試行の結果正答に変った割合を表わす．
　グラフ2は横軸が問題番号，縦軸は直前の操作以降その問題の採点までの経過時間（秒）を表わす．ただし，第1問は初めからの時間．
　グラフ3は問題ごとの試行回数を表わす．（ただし，同一問題を16回以上試行した答案については16回と見なす．）
誤答の要因
正答率，試行回数から次の問題が苦しいことが分かる．
第3問　　(-x+5)2
第9問　　(-2a+7b)2
第10問　(x+1/2)2
第13問　(ax+by)2-(ax-by)2

　表1は問題の形と誤答率の一覧で，表2は表1により誤答率と問題の形との相関を調べたものである．
　これによれば，第2項（主に定数項の部分）は誤答率にほとんど影響がなく，第1項（文字の部分）の影響が大きいことが分かる．
　ただし，１つの要因で大きく影響しているものはなく「文字の個数や係数が複合的に影響している」ようである．
　なお重回帰分析で予測したとき，「文字の個数～第1項の係数が±1以外まで」の４つの説明変数で説明できる誤答は全体の41%となり，この予測の当てはまり具合はあまりよくない（補正R2=0.12）．
　前の../math/m3siki11.htm との比較から次の傾向が見られる．
【回答者の傾向】
　第1項の係数を負の数や1以外に替えると正答率が約30%下がる．
整合性・識別力
　表3は各問題の得点と合計得点との相関係数（I-T相関），グラフ4は回答者全体をその合計得点によって上位群，中位群，下位群（各3分の1）に分けたときの群別・問題別正答率のグラフである．
　これらによれば，第1問のU-L指数が0.2未満となり識別力が低いが他の問題は練習問題だけでなくテスト問題としても使えることが分かる．
学習開始時において回答者の平均正答率は60%台で，多くの回答者はこの頁の問題を処理できる．
この頁の学習により，正答率は64.9%から93.8%へ変化し，ここで扱った項目に関して28.9%の成績アップが見込まれる．
グラフ4

■ページ名 「乗法の公式3」
../math/m3siki21.htm
■主な内容 　(a+b)(a-b) の展開公式
■要約・解説 解説は9行「最初の問題に着手するまでの時間」は22秒で，この解説は少し読まれている．
■この集計の作成年月日：2009.11.04　■集計期間2009.05.05～2009.10.24　■期間中のこのペ－ジに対するアンケート回答数/読まれた回数：46件/4651件=1.0%
グラフ1

グラフ2

グラフ3

表1
I-R相関 第1問 第2問 第3問 第4問 第5問 第6問
0.36 0.48 0.58 0.59 0.64 0.58
第7問 第8問 第9問 第10問 第11問 第12問
0.63 0.37 0.64 0.56 0.49 0.42
■小問数
12題

■ヒント
なし

■入力方式
マウス選択
（16択）

■問題の見え方
一度に全部見える形になっている		 回答者の内訳は，中3が52%，卒業生26%
１題当たりの所要時間は12.8秒．
　左のグラフ１は問題ごとの正答，誤答，無答の割合（正誤は最初の採点）で，黄色で示したものは初め誤答で再試行の結果正答に変った割合を表わす．
　グラフ2は横軸が問題番号，縦軸は直前の操作以降その問題の採点までの経過時間（秒）を表わす．ただし，第1問は初めからの時間．
　グラフ3は問題ごとの試行回数を表わす．（ただし，同一問題を16回以上試行した答案については16回と見なす．）
誤答の傾向
第1問の正答率が低いが，これは初期トラブル（見慣れない画面なので当惑した）の可能性がある．
　第11問，第12問は教科書では「式の利用」の中で数値計算への応用問題として示されるものであるが，正答率が急落しており，全くの定型的問題以外は弱いことが分かる．（少し勉強している生徒にとっては，これも定型的問題であるが･･･）
問題の整合性・識別力
　表1は各問題の得点と残りの問題の合計得点の相関係数（I-R相関）で，どの問題も高い数値となり，簡単な選択問題とはいえ「当て推量」（まぐれ当たり）で合うことはなく学力を反映したものとなっていることが分かる．（参考：クロンバックのα係数=0.794）
　グラフ4は回答者全体をその合計得点によって上位群，中位群，下位群（各3分の1）に分けたときの群別・問題別正答率のグラフである．これによれば
(1)　U-L指数（上位群と下位群の差）は，どの問題も0.27以上あり，勉強した者としなかった者は区別できる．
(2)　全般に中位群と上位群は接近しており，「やさしい」と受け止められた問題が多いことが分かる．
学習開始時において回答者の平均正答率は70%台で，多くの回答者はこの頁の問題を処理できる．
この頁の学習により，正答率は73.7%から88.9%へ変化し，ここで扱った項目に関して15.2%の成績アップが見込まれる．
グラフ4

■ページ名 「乗法の公式(a+b)(a-b)同1」
../math/m3siki22.htm
■主な内容 　(a+b)(a-b) の展開公式
■要約・解説 解説なし「最初の問題に着手するまでの時間」は25秒．
■この集計の作成年月日：2009.11.27　■集計期間2009.05.05～2009.11.15　■期間中のこのペ－ジに対するアンケート回答数/読まれた回数：13件/1167件=1.4%
グラフ1

グラフ2

グラフ3

表1
I-R相関 第1問 第2問 第3問 第4問 第5問 第6問
0.58 0.46 0.73 0.68 0.73 0.57
第7問 第8問 第9問 第10問 第11問 第12問
0.73 0.69 0.78 0.79 0.64 0.22
グラフ4
■小問数
12題

■ヒント
なし

■入力方式
マウス選択
（16択）

■問題の見え方
一度に全部見える形になっている		 回答者の内訳は，中3が52%，卒業生26%
１題当たりの所要時間は12.8秒．
　左のグラフ１は問題ごとの正答，誤答，無答の割合（正誤は最初の採点）で，黄色で示したものは初め誤答で再試行の結果正答に変った割合を表わす．
　グラフ2は横軸が問題番号，縦軸は直前の操作以降その問題の採点までの経過時間（秒）を表わす．ただし，第1問は初めからの時間．
　グラフ3は問題ごとの試行回数を表わす．（ただし，同一問題を16回以上試行した答案については16回と見なす．）
誤答の傾向
　第11問，第12問は教科書では「式の利用」の中で数値計算への応用問題として示されるものであるが，正答率が低く全くの定型的問題以外は弱いことが分かる．（少し勉強している生徒にとっては，これも定型的問題であるが･･･）
信頼性
　表1は各問題の得点と残りの問題の合計得点の相関係数（I-R相関）で，どの問題も高い数値となり，簡単な選択問題とはいえ「当て推量」（まぐれ当たり）で合うことはなく学力を反映したものとなっていることが分かる．
識別力
　グラフ4は回答者全体をその合計得点によって高（H）～低（L）の５群に等分したときの群別平均得点で，下位群，中位群においてはわずかな努力で成績がよくなりやすいことが分かる．上位群は上限に達しておりこれ以上はよくならない．
　グラフ5は回答者全体をその合計得点によって上位群，中位群，下位群（各3分の1）に分けたときの群別・問題別正答率のグラフである．これによれば
(1)　U-L指数（上位群と下位群の差）は，どの問題も非常に高く，勉強した者としなかった者は区別できる．
(2)　第2問、第12問において中位群の逆転が見られるが，これは回答者数が少ないための偶然と考えられる．
学習開始時において回答者の平均正答率は60%台で，多くの回答者はこの頁の問題を処理できる．
この頁の学習により，正答率は65.4%から89.1%へ変化し，ここで扱った項目に関して23.7%の成績アップが見込まれる．
グラフ5

■ページ名 「乗法の公式」
../math/m3siki23.htm
■主な内容 　(a+b)(a-b) の展開公式
■要約・解説 解説はない「最初の問題に着手するまでの時間」は4秒．
■この集計の作成年月日：2009.07.20　■集計期間2009.05.10～2009.07.12　■期間中のこのペ－ジに対するアンケート回答数/読まれた回数：19件/660件=2.9%
グラフ1

グラフ2

グラフ3
■小問数
5題

■ヒント
なし

■入力方式
マウス選択
（4択）

■問題の見え方
一度に全部見える形になっている		 回答者の内訳は，中3が74%，卒業生16%
１題当たりの所要時間は9秒．
　左のグラフ１は問題ごとの正答，誤答，無答の割合（正誤は最初の採点）で，黄色で示したものは初め誤答で再試行の結果正答に変った割合を表わす．
　グラフ2は横軸が問題番号，縦軸は直前の操作以降その問題の採点までの経過時間（秒）を表わす．ただし，第1問のみは推定．
　グラフ3は問題ごとの試行回数を表わす．（ただし，同一問題を16回以上試行した答案については16回と見なす．）
問題は次の通り：
第1問　(3+2x)(2x-3)
第2問　(y+2)(2-y)
第3問　(-x-7)(x-7)
第4問　(-4a+3b)(4a+3b)
第5問　(-3a+5b)(-3a-5b)
第2問は，正答率，所要時間，試行回数のどのデータから見ても難しかったことが分かる．教える側から見れば第1問と第2問は同質の問題と考えられるがそのようには受け止められていない．
　また，第4問や第5問の方がもっと手の込んだ問題であるが結果は予想と逆になる．
※　4択なので各正答率は最大で25%まで上げ底になる可能性があるが，別途集計iしたところでは，低得点群に入る回答者は第2問を全員間違えている･･･何か思うことろがあって間違えており，たまたま間違ったのではない．
学習開始時において回答者の平均正答率は60%台で，この頁の問題は回答者にとって「やさしい」部類に入る．
この頁の学習により，正答率は61.1%から87.4%へ変化し，ここで扱った項目に関して26.3%の成績アップが見込まれる．
2009.7-10.28データ欠損

○===メニューに戻る