■　回答集計と各ページの分析
***　【回答集計と分析・高校】　***
数I/ 数A/ 数II/ 数B/ 数III/ 数C/
［測定条件と信頼性］
■中学２年■　== 平行線と角 ==
■ページ名 「中二／図形No.1」
../math/zukei01.htm
■主な内容 　対頂角，同位角，錯角などの基礎知識を問うもの
■要約・解説 解説は9行（図あり）「最初の問題に着手するまでの時間」は8.6秒で，この解説はチラリと見た程度．
■この集計の作成年月日：2009.11.04　■集計期間2009.05.04～2009.11.03　■期間中のこのペ－ジに対するアンケート回答数/読まれた回数：199件/6703件=3.0%
グラフ1


グラフ2

グラフ3

表1
I-R相関 第1問 第2問 第3問 第4問 第5問 第6問
0.52 0.57 0.48 0.28 0.32 0.21
■小問数
6題

■ヒント
なし

■入力方式
マウス選択
空欄書き込み

■問題の見え方
一度に全部見える形になっている		 回答者の内訳は，中二56%，中三15%，卒業生15%
１題当たりの所要時間は10.4秒．
左のグラフ１は問題ごとの正答，誤答，無答の割合（正誤は最初の採点）で，黄色で示したものは初め誤答で再試行の結果正答に変った割合を表わす．この頁については無答答案が多いので，各問題ごとの解答者に対する割合も下に示す．
　グラフ2は横軸が問題番号，縦軸は直前の操作以降その問題の採点までの経過時間（秒）を表わす．ただし，第1問は初めからの時間．
　グラフ3は問題ごとの試行回数を表わす．（ただし，同一問題を16回以上試行した答案については16回と見なす．）
第2問：同位角，第3問：錯角の用語の意味について誤答が多い．
　しかし計算問題については，解答された答案については正答率が高く，第4問以降はほぼ正解となっている．
どんな間違いがあるのか
■第1問～第3問　：　無答が多い（※下記参照）
■第2問　同位角　→　対頂角を答えている
■第3問　錯角　→　対頂角や同位角を答えている
問題の整合性・識別力
　表1は各問題の得点と残りの問題の合計得点の相関係数（I-R相関）で，問題数が少ないのでやや低めとなっているが悪くない．
　グラフ4は回答者全体をその合計得点によって上位群，中位群，下位群（各3分の1）に分けたときの群別・問題別正答率のグラフである．
(1)　どの問題も上位群と下位群の差（U-L指数）は0.2以上あり，勉強した者としなかった者の区別はできる．
(2)　第1問から第3問（用語の意味を問う問題）において下位群のくずれが目立つ．下位群においては，簡単な数値を答える問題はできるが，用語や概念を図と関連づける能力が弱い可能性がある．
学習開始時において平均正答率は70%台で，多くの回答者はこの頁の問題を処理できる．
この頁の学習により，正答率は76.7%から85.5%へ変化し，ここで扱った項目に関して8.8%の成績アップが見込まれる．
グラフ4

■ページ名 「中二／図形No.1」
../math/zukei01a.htm
■主な内容 　対頂角，同位角，錯角の性質を用いて角度を求める
■要約・解説 解説なし「最初の問題に着手するまでの時間」は0.4秒．
■この集計の作成年月日：2009.12.10　■集計期間2009.09.03～2009.12.09　■期間中のこのペ－ジに対するアンケート回答数/読まれた回数：228件/4836件=4.7%
グラフ1

グラフ2

グラフ3

表1
　 第1問 第2問 第3問 第4問 第5問 第6問
対頂角 1 2 0 0 0 0
同位角 0 0 1 2 0 0
錯角 0 0 0 0 1 2
誤答率 2.2% 5.7% 3.9% 17.1% 4.8% 8.3%
表2
誤答率
との相関		 対頂角 同位角 錯角
-0.334 0.765 0.020
表3
I-R相関 第1問 第2問 第3問 第4問 第5問 第6問
0.20 0.14 0.20 0.32 0.32 0.38
表4
期間 第1問 第2問 第3問 第4問 第5問 第6問 小計
2009.9.3-11.17 112 105 111 97 108 107 640
2009.11.17-12.9 111 110 108 92 109 102 632
小計 223 215 219 189 217 209 1272
グラフ4
■小問数
6題

■ヒント
なし

■入力方式
マウス選択
空欄書き込み

■問題の見え方
一度に全部見える形になっている		 回答者の内訳は，中二78%，中三4%，卒業生10%
１題当たりの所要時間は9秒．
左のグラフ１は問題ごとの正答，誤答，無答の割合（正誤は最初の採点）で，黄色で示したものは初め誤答で再試行の結果正答に変った割合を表わす．
　グラフ2は横軸が問題番号，縦軸は直前の操作以降その問題の採点までの経過時間（秒）を表わす．ただし，第1問は初めからの時間．
　グラフ3は問題ごとの試行回数を表わす．（ただし，同一問題を16回以上試行した答案については16回と見なす．）
どんな間違いがあるのか
　次の表は第4問の主な答案とその割合である．おそらく95という答案は180-85で求めたものと考えられる．
85（正答） 95 90 無答
83% 10% 2% 2%
　表1は各問題で扱っている項目の個数と誤答率の一覧で，この表から誤答率との相関を調べたのが表2である．表2によれば，対頂角や錯角は負担になっておらず，「同位角」が誤答に結びついていることが分かる．
【回答者の傾向】
　他の頁と同様に，中学生は同位角に特に弱い傾向が見られる．
　なお，対頂角，同位角，錯角を説明変数とし誤答率を目的変数とする重回帰分析を行うと，かなり当てはまりのよい予測式（補正R2=0.79）が得られ，この頁で扱っていない問題の型，たとえば対頂角１回，同位角１回を用いて解ける問題の誤答率は10.9%となる．
信頼性
　表3は各問題の得点と残りの問題の合計得点の相関（I-R相関）で，正答率が非常に高い第1問～第3問では係数が低いのはやむを得ないとして，他の問題の得点は合計得点で表わされる学力を反映している．
識別力
　グラフ4は回答者全体をしおの合計得点によって高（H）～低（L）の５群に等分したときの群別平均得点のグラフで，低群のみ精度よく識別でき，基礎力診断的なテストに適していることが分かる．
　グラフ5は回答者全体をその合計得点によって上位群，中位群，下位群の３群に等分したtきの群別・問題別正答率で，中位群と上位群が完全に重なり，UL指数（上位群と下位群の正答率の差）も第4問，第6問を除けば0.2以下となり，識別力は弱い．
　したがって，この頁の問題は総括テストなどには不向きである．
再現性
　表4は回答を前後２つの期間に分けて集計したときの期間別・問題別正答数（件数）で，この表を元に正答率の独立性に関するχ2検定を行うと， p=0.996 となり，期間による有意差は認められず，再現性がうかがえる．
学習開始時において平均正答率は90%台で，ほとんどの回答者はこの頁の問題ができる．
この頁の学習により，正答率は93.0%から98.0%へ変化し，ここで扱った項目に関して5.0%の成績アップが見込まれる．
グラフ5

■ページ名 「中二／図形No.2」
../math/zukei02.htm
■主な内容 　三角形の内角の和を基本として四角形，五角形の内角の和も考える
■要約・解説 解説は14行（図あり）「最初の問題に着手するまでの時間」は53秒で，この解説はよく読まれた．
■この集計の作成年月日：2009.11.23　■集計期間2009.05.06～2009.11.22　■期間中のこのペ－ジに対するアンケート回答数/読まれた回数：201件/5710件=3.5%
グラフ1

グラフ2

グラフ3

表1
I-R相関 第1問 第2問 第3問 第4問 第5問 第6問
0.30 0.21 0.19 0.37 0.33 0.33
グラフ4
■小問数
6題

■ヒント
誤答のとき見られる

■入力方式
マウス選択
空欄書き込み

■問題の見え方
一度に全部見える形になっている		 回答者の内訳は，中2が64%，中3が4%，卒業生が15%
１題当たりの所要時間は17秒
平均滞在時間は5分5秒
　左のグラフ１は問題ごとの正答，誤答，無答の割合（正誤は最初の採点）で，黄色で示したものは初め誤答で再試行の結果正答に変った割合を表わす．
　グラフ2は横軸が問題番号，縦軸は直前の操作以降その問題の採点までの経過時間（秒）を表わす．ただし，第1問は解説を読む時間を含む．
　グラフ3は問題ごとの試行回数を表わす．（ただし，同一問題を16回以上試行した答案については16回と見なす．）
第1問は漢字で用語を記入するものなので，正答率が低いのは納得できる．
　第2問以下の角度を答える問題では，第4問の正答率が低いが，やり直して正答に達している．対頂角で中継しなければならないステップが入るため，やや苦しいことが，所要時間，試行回数からも分かる．
○どんな間違いがあるのか
第1問　１番目の空欄 → 対頂角，ちょうかく
第4問　 → 40°, 25°,70°
○信頼性・識別力
　グラフ4は，合計得点によって回答者全体を５群に等分したときの項目特性（群別正答率）で，合計得点に関しては低（L）から高（H）のどの特性群に対しても識別力が働いていることが分かる．
　グラフ5は合計得点によって回答者全体を３群に等分したときの群別・問題別正答率で，どの問題もＵＬ指数は0.3以上あり，どの問題も勉強した者としなかった者を区別できることが分かる．
　表1は各問題の得点と残りの問題の合計得点の相関（I-R相関）で，第3問がやや低い値となっているが全般的にはどの問題も合計得点に示される学力を反映していることが分かる．
　以上により，どの問題も練習用だけでなくテスト問題としても利用可能であると考えられる．
○再現性
　表2は，回収した答案を前後２つの時期に分けたときの問題別正答者数で，この表により独立性に関するχ2検定を行うと p=0.998 となり，時期による有意差はなく，再現性をうかがわせる．
学習開始時において平均正答率は70%台で，多くの回答者はこの頁の問題を処理できる．
この頁の学習により，正答率は73.9%から89.3%へ変化し，ここで扱った項目に関して15.4%の成績アップが見込まれる．
グラフ5

表2
時期 第1問 第2問 第3問 第4問 第5問 第6問 小計
2009.5.6-11.3 42 83 79 69 87 82 442
2009.11.4-11.22 46 80 83 69 87 84 449
小計 88 163 162 138 174 166 891

■ページ名 「外角」
../math/zukei03.htm
■主な内容 　多角形の外角と内角を求めるもの
■要約・解説 解説は12行（図あり），第2問と第3問の間にも9行あり「最初の問題に着手するまでの時間」はほぼ0秒で，初めの解説は読まれていない．
■この集計の作成年月日：2009.12.04　■集計期間2009.05.05～2009.12.04　■期間中のこのペ－ジに対するアンケート回答数/読まれた回数：208件/5820件=3.6%
グラフ1

グラフ2

グラフ3

表1
第1問 第2問 第3問 第4問
I-T相関 0.41 0.56 0.70 0.62
I-R相関 0.12 0.12 0.27 0.22
グラフ4
■小問数
4題

■ヒント
誤答のとき見られる

■入力方式
空欄書き込み

■問題の見え方
一度に全部見える形になっている		 回答者の内訳は中2が59%，中3が4%，卒業生が20%
１題当たりの所要時間は41秒．
　 左のグラフ１は問題ごとの正答，誤答，無答の割合（正誤は最初の採点）で，黄色で示したものは初め誤答で再試行の結果正答に変った割合を表わす．
　グラフ2は横軸が問題番号，縦軸は直前の操作以降その問題の採点までの経過時間（秒）を表わす．ただし，第1問は解説を読む時間を含む．
　グラフ3は問題ごとの試行回数を表わす．（ただし，同一問題を16回以上試行した答案については16回と見なす．）
第3問の所要時間が長くなっているように見えるが，第2問と第3問の間にも解説があり，小問数も３題あるためで，問題が難しいのではない．
どんな間違いがあるのか
第3問：5角形の外角の和　→　540°
　　　（内角の和を求めている）
第3問：１つの外角　→　75°
　　　（360÷5=72の計算ミス）
○信頼性について
　表1は，各問題の得点と合計得点との相関（I-T相関）及び各問題の得点と残りの問題の合計得点の相関（I-R相関）で，問題数が少ないためI-R相関は必ずしも高くないが合計得点との対応はよく，各問題の得点は合計得点（≒学力）を反映していると考えられる．
○識別力について
　グラフ4は回答者全体をその合計得点によって高（H）～低（L）の５群に等分したときの群別得点の曲線で，下位群・中位群の識別には強いが上位群の識別にはやや弱い．
　グラフ5は合計得点によって回答者を上位群，中位群，下位群に３等分したときの群別・問題別正答率で，正答率が非常に高い第1問を除けばどの問題もUL指数（上位群と下位群の正答率の差）は高く，勉強した者としなかった者は区別できる．
　以上の資料から，第2問以降は練習問題としてだけでなく試験問題としても使用できると考えられる．
○再現性について
　表2は回答を前後２つの時期に分けて集計したときの各問題別正答者数（件数）で，この表により独立性に関するχ2検定を行うと p=0.941 となり，集計時期による差異は認められず，各問題の正答率には再現性があると考えられる．
学習開始時において平均正答率は70%台で，多くの回答者はこの頁の問題を処理できる．
この頁の学習により，正答率は73.7%から93.1%へ変化し，ここで扱った項目に関して19.5%の成績アップが見込まれる．
表2
時期 第1問 第2問 第3問 第4問 小計
2009.9.11-12.4 91 76 60 77 304
2009.5.5-9.10 98 72 61 75 306
小計 189 148 121 152 610
グラフ5

■ページ名 「同位角，錯角，三角形の内角の和，外角の練習問題」
../math/zukei04.htm
■主な内容 　同位角，錯角，三角形の内角の和，外角について与えられた図形から角度を答えるもの
■要約・解説 　前のページで解説した内容のまとめの練習問題なので解説はない．
「最初の問題に着手するまでの時間」は17秒．
■この集計の作成年月日：2009.12.04　■集計期間2009.05.05～2009.12.04　■期間中のこのペ－ジに対するアンケート回答数/読まれた回数：186件/5640件=3.3%
グラフ1

グラフ2

グラフ3

表1
　 第1問 第2問 第3問 第4問 第5問 第6問
補助線 0 1 1 1 1 0
同位角 0 0 1 2 0 0
対頂角 0 0 0 0 1 3
錯角 0 2 1 0 0 0
三角形の内角の和 3 0 1 0 2 4
外角 2 0 1 0 0 0
推論のステップ数 5 3 5 3 4 4
誤答率 32% 18% 61% 39% 41% 36%
表2
誤答率
との相関		 補助線 同位角 対頂角 錯角 三角形の
内角の和		 外角 推論の
ステップ数
0.22 0.44 -0.02 -0.28 0.04 0.19 0.57
表3
I-R相関 第1問 第2問 第3問 第4問 第5問 第6問
0.40 0.38 0.40 0.45 0.48 0.48
表4
　 第1問 第2問 第3問 第4問 第5問 第6問 小計
2009.5.5-11.13 61 73 35 56 56 62 343
2009.11.14-12.04 66 80 37 57 53 57 350
小計 127 153 72 113 109 119 693
グラフ4
■小問数
6題

■ヒント
なし

■入力方式
空欄書き込み

■問題の見え方
一度に全部見える形になっている		 解答者の内訳は，中二56%，中三9%，卒業生17%
１題当たりの所要時間は27秒
この頁の平均滞在時間は11分59秒
　左のグラフ１は問題ごとの正答，誤答，無答の割合（正誤は最初の採点）で，黄色で示したものは初め誤答で再試行の結果正答に変った割合を表わす．
　グラフ2は横軸が問題番号，縦軸は直前の操作以降その問題の採点までの経過時間（秒）を表わす．ただし，第1問は初めからの時間．
　グラフ3は問題ごとの試行回数を表わす．（ただし，同一問題を16回以上試行した答案については16回と見なす．）
誤答の原因について
表1は各問題を解くために使わなければならない性質の回数と誤答率の一覧である．表1により解くために必要な性質と誤答率の相関を調べたのが表2である．
　これによれば負荷の大きさは次の３グループに分けられる．
負荷の大きいもの 推論のステップ数，同位角　
負荷があるもの 補助線．外角　
負荷がないもの 対頂角，錯角，三角形の内角の和
　ただし，表1は作者が想定する解き方をたどった場合の試算であるので，生徒の思考と一致するとは限らない．
　教員側から見れば，錯角よりも簡単な同位角が負担になっているのが意外
　※下記の「平行線と角」と比較すると，逆の傾向となっている．これはこの分析方法が問題の組合せによって差異の出方が変るためで，もう少し多面的な測定が必要であることを示している．
信頼性について
　表3は各問題の得点と残りの問題の合計得点との相関係数（I-R相関）で，どの問題も高い数値となり，各問題の得点は合計得点（≒学力）を反映したものとなっている．
識別力について
　グラフ4は回答者全体をその合計得点によって高（H）～低（L）の５群に等分したときの群別得点の曲線で，どの群においても識別力が高いことが分かる．
　グラフ5は合計得点によって回答者を上位群，中位群，下位群に３等分したときの群別・問題別正答率で，どの問題もUL指数（上位群と下位群の正答率の差）は高く，勉強した者としなかった者は区別できる．
　以上の資料からどの問題も練習問題としてだけでなく試験問題としても使用できると考えられる．
再現性について
　表4は回答を前後２つの時期に分けて集計したときの各問題別正答者数（件数）で，この表により独立性に関するχ2検定を行うと p=0.977 となり，集計時期による差異は認められず，各問題の正答率には再現性があると考えられる．
学習開始時において平均正答率は60%台で，多くの回答者はこの頁の問題を処理できる．
この頁の学習により，正答率は62.1%から85.1%へ変化し，ここで扱った項目に関して23.0%の成績アップが見込まれる．
グラフ5

■ページ名 「（例題対比）平行線と角」
../math2/zukei1_episode.htm
■主な内容 　平行線と角の単元について例題を見ながら問題を解く練習をするもの
■要約・解説 　各所に解説があるが第1問の前は13行
「最初の問題に着手するまでの時間」はほぼ0秒．
■この集計の作成年月日：2009.10.24　■集計期間2009.05.03～2009.10.19　■期間中のこのペ－ジに対するアンケート回答数/読まれた回数：13件/1036件=1.3%
グラフ1


グラフ2

グラフ3

表１
第1問 第2問 第3問 第4問 第5問 第6問 第7問 第8問 第9問
内角の和 2 2 0 0 0 2 0 4 6
対頂角 0 0 3 0 0 0 0 1 2
同位角 0 0 0 3 0 0 0 0 0
錯角 0 0 0 0 4 0 0 0 0
外角 0 0 0 0 0 2 2 2 2
誤答率 23% 23% 15% 8% 31% 31% 69% 46% 69%
■小問数
9題

■ヒント
なし

■入力方式
空欄書き込み

■問題の見え方
一度に全部見える形になっている		 解答者の内訳は，中二38%，中三0%，卒業生54%
１題当たりの所要時間は１分23秒
　左のグラフ１は問題ごとの正答，誤答，無答の割合（正誤は最初の採点）で，黄色で示したものは初め誤答で再試行の結果正答に変った割合を表わす．下のグラフは無答を除く回答者に対する割合．
　グラフ2は横軸が問題番号，縦軸は直前の操作以降その問題の採点までの経過時間（秒）を表わす．ただし，第1問は初めからの時間．
　グラフ3は問題ごとの試行回数を表わす．（ただし，同一問題を16回以上試行した答案については16回と見なす．）
表1は各問題を（作者の解き方で）解くときに登場する項目の回数と誤答率の一覧で，これを元に誤答率との相関を求めたものが表2である．（この頁では無答を誤答に含める方が相関が強く出る．）
　これを見ると誤答に及ぼす影響が最も大きいのは「外角」で，「内角の和」がこれに続く．逆に「同位角」は全く負担になっておらず，お得意先になっていることが分かる．
　※上記の../math/zukei04.htm」と比較すると，逆の傾向となっている．これはこの分析方法が問題の組合せによって差異の出方が変るためで，もう少し多面的な測定が必要であることを示している．
　重回帰分析で予測したとき，「外角」と「内角の和」で説明できる誤答は全体の誤答の内66%で，ここにない問題，例えば「内角の和」を２回，「外角」を１回使って解く問題の誤答率は37%と予想される．
表3は各問題の得点と残りの問題の合計得点との相関係数（I-R相関係数）で，第1問がやや弱い．
　また，グラフ4は合計得点によって回答者を上位群，下位群（各27%），中位群（残り）に分けたときの問題別正答率である．
　これを見ると第10問で上位群の誤答が多かったため，上位群と中位群に逆転が見られる．
　クロンバックのα係数は0.75となり悪くない．
　以上から各問題の識別力・整合性は悪くないが，回答数が少ないため問題によっては不十分な指標が出ると考えられる．
学習開始時において平均正答率は60%台で，多くの回答者はこの頁の問題を処理できる．
この頁の学習により，正答率は65.0%から81.2%へ変化し，ここで扱った項目に関して16.2%の成績アップが見込まれる．
表２
誤答率
との相関		 内角の和 対頂角 同位角 錯角 外角
0.52 0.10 -0.46 -0.07 0.81
表3
I-R
相関係数　		 第1問 第2問 第3問 第4問 第5問 第6問 第7問 第8問 第9問
0.18 0.74 0.50 0.51 0.82 0.44 0.46 0.43 0.30
グラフ4

■ページ名 「四角形の性質」
../math2/m2polyg1.htm
■主な内容 　文章で書かれた四角形の性質に対応する形を選ぶもの　【むずかしい】
■要約・解説 　まとめの問題なので解説なし
「最初の問題に着手するまでの時間」はほぼ2.6秒．
■この集計の作成年月日：2009.11.16　■集計期間2009.05.24～2009.11.03　■期間中のこのペ－ジに対するアンケート回答数/読まれた回数：22件/1883件=1.2%
グラフ1


グラフ2

グラフ3
■小問数
15題

■ヒント
15題

■入力方式
マウス選択（チェックボックス完全解答）

■問題の見え方
一度に全部見える形になっている		 解答者の内訳は，中一14%，中二18%，中三14%，卒業生32%
１題当たりの所要時間は20秒
　左のグラフ１は問題ごとの正答，誤答，無答の割合（正誤は最初の採点）で，黄色で示したものは初め誤答で再試行の結果正答に変った割合を表わす．
　グラフ2は横軸が問題番号，縦軸は直前の操作以降その問題の採点までの経過時間（秒）を表わす．ただし，第1問は初めからの時間．
　グラフ3は問題ごとの試行回数を表わす．（ただし，同一問題を16回以上試行した答案については16回と見なす．）
どの問題も結構難しいので，１つの問題を数秒で解こうとする人は，ほとんど失敗している．
　よくできる人でもこの形の問題の答を覚えていることはないので「１つずつ正確に図が描けるかどうか」が勝敗の分かれ目となる．
信頼性・識別力
　表1は各問題の得点と合計得点との相関係数（I-T相関）で，試し打ちの多い第1問がやや弱く，ほとんど正答がなかった第14問，15問のよくない．
　また，グラフ5は合計得点によって回答者を上位群，中位群，下位群（各3分の1）に分けたときの群別・問題別正答率である．
　第1問で逆転が見られる他，第14問，第15問でU-L指数が0.0となりこれら３問は勉強した者としなかった者を区別できない．
学習開始時において平均正答率は30%台で，ほとんどの回答者はこの頁の問題を処理できない．
この頁の学習により，正答率は32.4%から56.1%へ変化し，ここで扱った項目に関して23.6%の成績アップが見込まれる．
グラフ4

表1
I-T相関 第1問 第2問 第3問 第4問 第5問 第6問 第7問
0.06 0.51 0.51 0.20 0.76 0.69 0.54
第8問 第9問 第10問 第11問 第12問 第13問 第14問 第15問
0.90 0.72 0.83 0.78 0.33 0.34 エラー 0.11
グラフ5

○===メニューに戻る