昨日、韓国の入試についてのニュースの話をしました。また昔、自分が受験生のころは米国の大学に入るのはそれほど難しくないという話をよく耳にして、日本もそうなればいいのに、と思っておりました。日本では最近、「大学全入時代」などと言われておりまして、大学生の学力低下も問題になっているようです。

さて、「大学に入るのはそれほど難しくない」という噂の米国でしたが、この認識は必ずしも正しくはなかったようです。米国の大学入試では、日本のように一発勝負の大学別ペーパーテストですべてが決まるような仕組み（が基本）ではなく、SATと呼ばれる全国共通テストの結果をはじめ、高校時代の成績、エッセイの評価、高校時代の課外活動実績などから総合的に選抜される仕組みなんだそうです。

そういえば日本でも最近、全国学力テストを復活させるという文科省の方針が示されまして、教育関係の研究者の間でもホットな話題となっています。このテストがSATなどと同様に「ＩＲＴなどのテスト理論を 使って共通化された. 尺度」を用いて、科学的に実施されることを期待します。

昨日、東大の教育測定・カリキュラム開発講座にて、東北大学の村木先生から米国全米学力調査（NAEP)の研究についてお話を聞いてきましたが、NAEPでは、本ブログで理想とするような「能力を測るモノサシ」としての試験をつくって実施すべく、長年研究が重ねられ、継続的に実施されてきています。日本においても、NAEPのような活動をお手本に、来るべき全国学力テストが科学的かつ継続的に児童・生徒の学力（能力）を測定して、より良いインストラクショナルデザインにつながるものとなるように期待します。

 もうすぐ1歳になるうちの娘が小学校に入る頃に、この試験がまた批判を浴びてすでに終わっているようなことがないように、、、

一昨日、TOEFL-iBTが自宅受験できない理由として、不正行為防止を含むセキュリティの対策課題が大きいというお話をしました。「人生を左右する試験になればなるほど」受ける方も必死になりますので、セキュリティの対策はより重要になります。資格認定試験一般でいえば、例えばピアソンVUEの場合、「試験中、テストセンターにお持ちになった私物に触れることは許されません。」といったことになっておりますし、携帯電話の電源は切ることが求められます。またメモ帳と筆記用具もテストセンターで用意されたものしか利用できません。このように、厳格なセキュリティのもとで試験を実施してこそ、取得された資格の価値が保証されるということになります。

一方で、CASECやヤフーのインターネット検定のように、人を選別するための試験というよりは、自己診断的・教育支援的な要素が強い試験の場合、不正行為をしても自分のためにならない、という受験者の意識がはたらきますので、セキュリティの対策はそこまで重要視されないのかもしれません。

考えてみれば、１回の試験で人生が決まるというような仕組みは、無いに越したことはないのでしょう。かといって、試験不要論が出てくるのもあまり感心しません。あくまで試験はハードル（試練）ではなく、能力をはかるモノサシとして機能すべきなのです。試験そのものが問題なのではなく、結果の利用方針に問題があるということです。自動車免許の適性検査として、視力が両眼で0.7無い人が不合格になるのは、あきらかにその適正が欠けていることから仕方が無いとしても、その他多くの場合は、１回、あるいは１項目の試験の結果だけで不合格としてしまうような「運用」は、様々な不都合、歪が生じます。自動車免許の視力検査にしても、裸眼で不合格であっても、メガネやコンタクトレンズを利用することで0.7以上になればOKですし、私のように方眼0.3の視力が無くても、視野検査で合格とするような救済措置もあります。試験の結果、ある分野の「能力」が劣っていたとしても、それは落とすための理由ではなく、今後補うべき、また伸ばしていくべき「課題」として捉え、その他の能力で秀でていれば合格となるような、試験結果の運用法がいいですね。

インターネット経由でTOEFLを実施するということは、全国の資格認定試験をコンピュータを使って実施している会場や、コンピュータ教室を持つ大学等が開催地の候補になるわけです。現在のように首都圏か大阪に行かなければCBTで受験できないという状況から、全国でコンピュータ・ベースの試験が受けられるようになる期待があるのですが、はたしてそのような利便性が確保されるのかどうかは今後の動きをみなければわかりません。

 自宅で試験が受けられるということは便利な反面、試験を実施する側からすれば、本人確認や不正行為の防止といったことはかなり難しくなるわけですからリスクも大きいわけです。なので、TOEFLがインターネット・ベースで実施されるようになっても、自宅で受けられない大きな理由はセキュリティ問題なわけで、ここからくる受験可能な場所に対する制限は、当然といえば当然です。また現在のCBTでは、試験会場には有効期限内のパスポートを持参し、本人確認してから受験するのが原則です。iBTになったとしても、このような厳格な本人確認や不正行為防止への対策は求められるはずなので、そのようなことをきちっとできる試験会場というのでなければETSも実施を許可しないでしょう。

自宅で試験を受けても、本人確認や不正行為の防止ができるような仕組みがあれば、より多くの資格認定試験が、もっと簡単手軽に受けられるようになります。しかしながら、人生を左右する試験になればなるほど、そこで担保されるべきセキュリティのレベルは高くなるはずですから、実施の条件は厳しくなり、これをクリアするようなセキュリティ技術や枠組みを作るというのは並大抵のことではないでしょう。はたして、うちの０歳の娘が大学生になって、米国留学すると言い出したとして、TOEFLを受けるようになるころには、自宅でいつでも受験できるようになっているでしょうか。

日経新聞はたまにこのような、「これは大ニュースなの？」と疑問に思う記事が出ますね。IT関連でずっと働いていると、特にこの分野の記事で気になります。というのはヤフーは以前から「インターネット検定」という名のもとに、インターネット上で受験できる試験サービスを展開しております。なのでいまさら、「ヤフーが『インターネット検定』を開始」という見出しはなんだか変です。オールアバウトさんなどは１年半前にこのような見出しの記事を書いておられます。あるいはこれは日経新聞のスクープなのかもしれません。ヤフーのプレスリリースにはこの話はでておりませんし。

この記事だけを読むと、このような検定は今までに無くて困っていたかったように読めなくもないのですが、「インターネット検定」といえば、NTTコミュニケーションズのドットコムマスターなどが先行していますし、インターネット実務者検定は1998年からやっているそうです。日経さんも、このようなニュースをせっかくとりあげるなら、既存のものと比べて何が新しいのか、ヤフーがやる理由はなんなのか、といったところもちゃんと書いてほしいところでしたね。

ヤフーのインターネット検定の特長は、既に実施済みの「インターネットコミュニケーションアドバイザー」や「ショッピング・オークションアドバイザー」などの認定を、取得したヤフーのIDに対して得られるということでしょう。そうすれば、ヤフー内でそのIDを使ったオークション出品や、掲示板等でのコミュニケーションに対して「信用」が保証されるということになります。その認定と「信用」は、どこかの試験会場に試験を受けに行くことによるのではなく、インターネット上でそのIDにて受験することによって得られるというのが、この検定のポイントです。今度の「サイトデザインアーキテクト」もこの特長を引き継ぐものになれば、ヤフーがやる理由は十分あるかと思いますが、他社の「インターネット検定」と同様に、実名で、本人確認を必要とする受験スタイルだとすれば、ヤフーがわざわざやる意味はちょっと薄れるような気がしますね。ただ受験料1万円ということですから、無料のヤフーIDに対する「信用」のためだけに受けるものとも考えにくいので、その点はどうなるのでしょう。まずは続報を待ちましょう。

 さて、試験終了後のインストラクショナルデザイン（特に補修教材提案）をうまくやるためには、「この問題ができないということは、ここからこの辺りまでの知識が欠けているはずだ」といったことが、試験結果から判断できなければなりません。もし仮に一次元性が確保されているとすれば、視力検査結果のように「視力0.7に満たないので、自動車運転中に外界の物を安全に知覚・認知できていない。結果、運転免許証は発行されない。」また「運転免許証発行のためにはメガネかコンタクトレンズで矯正視力を高めなければならない。」といったことが一意に提案できます。一方で、資格認定試験において問われている「能力」の次元数が、多ければ多いほど、この試験後の提案が細分化され、複雑化します。

 また多くの場合、問われている「能力」次元は互いに完全独立ではなく、影響しあっているので、ある「能力」を補っても、ほかの「能力」もこれと合わせてアップしなければ、結果として試験の得点アップや実務能力の総合的な向上につながらないということがあります。久しぶりにプロ野球の例でいえば、野球は「投打のバランス」が重要ですから、いくらシーズンオフにFA権を取得した長距離ヒッターばかりかき集めても、ピッチャーが駄目なら今年の巨人のように悲しい結果になってしまします。野球の場合、チームの総合的な「能力」を高めなければ試合には勝てない（試験でいえばある問題について正解には至らない）わけで、来シーズン、より良い成績をあげるためには、「投手力」「打撃力」の両方を底上げすることが必要になります。このような場合、前回の試験結果（野球でいえば今シーズンの結果）を踏まえて、何をなすべきかという提案も、その採否判断も複雑になります。

試験問題の場合、あらかじめ15の「能力」が問われているということが明確であれば、個々の「能力」を問う問題を別個に作成して、15のセクションに分けて出題することで、セクションごとのスコアを出し、個別に評価、補強教材提案を考えることもできます。これはひとつの現実策ですが、実際の試験では複数の「能力」を駆使して正解に至るような総合力を問う問題も出題されます。このような場合、一意に試験結果から弱点を特定し補強教材提案をすることは難しくなります。資格認定試験の性格や目的にもよりますが、試験結果から弱点診断が行われて、補修教材を提案することに主眼をおくには、総合力を問う問題よりも個々の「能力」を問う問題を中心に出題するほうが提案のオペレーションがシンプルになるかもしれません。

しかし、2006年から日本でも実施される、TOEFL iBTなど、留学関連の英語技能試験では、その流れはむしろ逆で、英語の四つの基本技能とされる、読む、書く、聞く、話す、という個々の「能力」よりも総合力を問う方向に向かっているという報告もあります。来週はそのあたりの話を進めたいと思います。

この例に限っていえば、ある程度上級者の２級、３級受験対象者にとっては、E.＞D.＞A.という「一次元性」が成立しそうな気もします。では別の例として、４級の人を対象とした、A.「クライアントのデータのバックアップ」、B.「検索機能を使った他社、業界のホームページ検索」、C.「会議の開催通知、トラブル内容などの関係者へのメール連絡」という遂行能力についてはどうでしょうか？これについても、パソコン全般に関する「能力」の大きい（小さい）順に一直線にならべようとするとどうなるでしょうか？確かにA.ができる人は、既にメールやブラウザを使いこなしている可能性が高いので、A.＞C.＞B.などの関係が仮定できそうですが、バックアップの方法だけ教えられた人が、メールやブラウザも、バックアップに関する知識を利用して使いこなせるとは思えません。つまり、これらの職務遂行に要求される「能力」は、本質的に異なるものといえそうです。ちょうど以前お話した、「『英語』と『社会科』の能力は質的に違う」ということと同じように。また人によってはメールは仕えてもブラウザは使えない、その逆、あるいはいずれもできても、データ・バックアップという概念が無い（以前のうちの親のように）ということになるでしょう。そうすると、A.B.C.という「能力」の間には「一次元性」は見出されず、それぞれの職務遂行には異なる次元の「能力」が必要とされる（「能力」の多次元性がある）ということになります。

 実際のところ、パソコン検定においても問われる「能力」の多次元性については考慮されており、要求される職務遂行能力には、各「能力」の次元を表すような「任務」というカテゴリーが設けられています。また上記のA.B.C.もちゃんと異なるカテゴリーに分けられています。同一の「任務」カテゴリーの中の個々の「能力」について見てみると、そのカテゴリー内においては、要求される「能力」の「一次元性」が、ある程度成立しそうです。その場合でも、「任務」カテゴリーは全部で15個ありますから、少なくとも15次元の「能力」が問われているといえそうです。受験者は少なくとも15次元の「能力」それぞれについて鍛えて合格を目指すということで、これまで仕事で当然のようにパソコンを使ってきた人にはあたりまえでも、うちの親のように2年前とかに急にパソコンを独習し始めた人にとっては、この15次元の能力を一度に伸ばすのはなかなか大変でしょう。

なぜそのような込み入ったことを言い出したのかというと、ここが能力の大小を科学的に、系統立てて整理し、試験問題作成や試験全体の品質改善に活かしていくには極めて重要だからです。先に視力検査の例を出しましたが、例えば視力0.7に対応するランドルト環の切れ目を正しく見極められる人は、当然視力0.5に対応する（より大きい）ランドルト環の切れ目も正しく言い当てられるはずで、逆に視力0.7に対応するランドルト環の切れ目を見極めるのがやっとの人は、視力1.0に対応する（より小さい）ランドルト環の切れ目を正しく言い当てることは非常に難しいはずです。このようなことがいえるのは、「視力」という「能力」が高い人は、低い人と比べて、確実により小さなランドルト環の切れ目を正しく見極められるといえるからです。一方で、パソコンに関する「能力」が高い人、すなわち「一般的な情報社会の中でパソコン全般の知識や操作能力・レベル」が高い人は、低い人と比べて、確実に「より○○な××が正しくできる」とシンプルにいえるでしょうか？

ここで重要なことは、それぞれの職務遂行能力を、要求されるパソコン全般に関する「能力」の大きい（小さい）順に一直線に並べられる「一次元性」なのです。能力レベルが高い人に対して、シンプルに「より○○な××が正しくできる」といえないということは、この「一次元性」が保証されない、ということになります。上記の例で、仮にA.「クライアントのデータのバックアップ」と、3級で要求される、D.「クライアントのOSなどの環境設定」や、２級の人ができて当然の、E.「クライアントの環境のバックアップ」という職務遂行能力を、要求される「能力」の大きい順にならべてみると、E.＞D.＞A.となるでしょうか？「一次元性」が保証されるためには、そうらなければいけません。なぜなら、パソコン検定では、この順に要求される能力レベルが、２級＞３級＞４級と決められているからです。ここで、A.ができない人にE.ができないことは確かにいえそうです。またA.ができてもD.ができない人は結構居そうです（うちの親などはこれに類するでしょう）。しかし、D.とE.についてはどうでしょうか？これができる、できないの違いは、パソコン全般に関する「能力」の大小によるといえるでしょうか？４級レベルの初級者であれば、たまたまD.あるいはE.いずれかを行う方法を知っているだけで、それは「能力」の大小を表すものではないかもしれません。また、そもそもA.、D.およびE.で定義されている職務遂行能力の中身は「どのあたり、どの辺まで」でしょうか？A.を達成するための手段を（うちの親のように）一つだけ知っていればOKなのでしょうか？あるいはA.を達成するための手段を複数知っていることが要求されるのでしょうか？

とまあ、考え出すときりが無いし、どんどん話は込み入ってくるので、今日はこのへんにして、また明日つづきをやりたいと思います。要するにここで言いたかったことは、要求される職務遂行能力の大小を、わかりやすく整理して大きい（小さい）順に一直線に並べられないと、試験対策においてもどの順番に勉強していけばいいか分かりにくいということなんです。学習者の立場からすれば、要求レベルが小さいものから順に勉強していけるのがいいのですが、「パソコン」という広範な知識を習得していくうえでは、これはなかなか難しそうです。

例えば４級試験問題例の中の、問題例３［インターネット］というもの。正解は「（４）モデムを介してパソコンとアナログ電話回線を接続する」のようですが、この問題、うちの親にはまず正解できないだろうと思われます。そんなうちの親に欠けている知識・スキルは、「活用＞インターネット＞基礎知識」あるいは「運用＞インターネット／イントラネット＞個人の接続環境」といったところだと思います。ちなみにうちの実家はケーブルTVの回線経由でインターネットに接続しているので、「モデム＋ケーブル回線」がインターネット接続に必要であることは（うちの親でも）知っているでしょう。しかし、TAやISDNとは何か、またアナログ/デジタル回線の違いなどは知る由も無いのです。もしこのあたりの知識が、４級が要求する人物像の中の一つ、「インターネットや電子メールを支障なく利活用できるレベル」というのを満たすために必要なのであれば、うちの親も「このあたりの知識」を補強しなければ、４級に合格することはできないでしょう。

また４級で求められる職務遂行能力というところに、「クライアントのデータのバックアップ」といのもあります。先日の実家のパソコン・トラブルで、過去のメールデータ復旧など、大騒ぎだった経験から、うちの親は「バックアップ」なるものは非常に重要であるということを認識しました。それで自主的にパソコンの説明書を読んで、「CD-R」というものを買ってくればメールデータや孫の写真をバックアップできることを学んだようです。おそらくうちの実家の場合は、CD-Rにメールや写真データをバックアップする手順さえ体得すれば、「クライアントのデータのバックアップ」という職務遂行能力は身に着けたということになると思いますが、その他、シンプルにUSBメモリーにデータをコピーするとか、CD-R以外にもCD-RWやDVD-RWなど色々なバックアップメディアがあることも学ばなければ４級に合格しないかもしれません。４級の知識レベルとは、実際どこまでをいうのか、といったことは結局「過去問」など、これまでの出題実績をみなければわからないといことになるのでしょうか。

さて、ここでの課題は、不正解であった問題から弱点がみつかったとしても、その弱点を補うべき「このあたりの知識」とはどのあたり、どの辺までを言うのかが明確にしにくいということです。これはパソコン検定が、文字通り「パソコン」という極めて一般的で広範な概念について知識・スキルを問う検定であるといことにも関係していると思います。またパソコン検定４級の出題数は79問ですから、広い出題範囲の割に、その中で「このあたりの知識」を問う問題は１回の試験で最大でも10問も出ないでしょう。場合によっては検定を受けた回によっては「クライアントのデータのバックアップ」に関する出題が無いかもしれません。このあたり、試験対策をするにしても、試験対策にとどまらず「パソコン」全般に関してスキルアップしたい場合でも、「どのあたり、どの辺まで」勉強すればいいかはなかなか判断が難しいところですね。

これはとても素晴らしいことだと思います。「試験は成長（能力）を測るためのモノサシ」であるという本ブログの考え方からすれば、各級を取得する人が本来持っているべきスキルがあらかじめ明確になっていることは非常に重要です。これが明確であれば、現状出題されている試験問題が、適切に要求する能力を測定できているか、また各級を既に取得した人が本当にこのような能力を備えているか、といったことを事後調査・分析で確認して、試験問題の品質を常に維持管理、向上させていくことができます。

またこのパソコン検定は、「最新ソフトに対しての能力評価を目的としていますので、年度表示の合格認定制をとっています」と謳っておりますから、時代とともに変化していくはずの、要求されるべき「能力」についても、常に更新されていく期待があります。このことも試験の妥当性を時代とともに維持していくうえでは非常に重要です。これはなかなか毎年大変な苦労が伴うと思われますので、試験実施関係者の皆さんには敬意を表したいものです。このような日々の努力もあって、パソコン検定は厚生労働省認定試験となっているのでしょう。かつて某ソフト会社では一太郎検定というのを単独で実施しておりましたが、もはやワープロ技能だけがあれば職務が遂行できる時代ではないので、今はこの検定はパソコン検定の中のワープロ技能を測るうえでの一つの選択肢として有機的に組み込まれているようです。このあたりも時代の要請に対応している感じがしますね。

さてさて先週、うちの親にもパソコン検定対策教材をプレゼントして試しにやってみてもらうとういアイデアを持っておりました。そこでさらに調べてみたところ、この教材は書店等には売っていないもので、パソコンスクール等から買うようになっていることがわかりました。しかし価格がまちまちで、どこから買うべきか、ちょっと悩んでしまいました。それで現在は購入を躊躇しております。このあたり、学習教材価格の透明性は、学習者にとって試験問題の品質と同じぐらいに重要だと思います。この教材販売はパソコンスクールさんの重要な収入源となっているのかもしれませんが、せっかく良さそうな教材なので、もっとオープンな販売形態で、どこから購入しても安心な価格設定にしてもらいたいものですね。

ううむ。これをうちの親にやらせるとほとんど不正解かもしれない。しかし、「米国とのコミュニケーション」という尖がった唯一の目的を達成するためだけに、知識より実践から果敢に挑んでいるのは、ある意味偉い気がしますね。同時に、このような基礎知識を習得することをサポートしてこなかった自分にも責任を感じてしまいます。うちの親の場合などは、知識を順序だてて体系的に習得することには結構前向きなので、マニュアルなどを最初のページからじっくり読んだりするのはわりと抵抗がないようです。しかし、いろんな専門用語が最初から出てくるのでチンプンカンプンになることが多いようです。

ここで小学校の授業のことなどを考えると、各学年で習っていない漢字は教科書の中で出てこないようになっているはずなので、このように、知識を体系的につける目的において、基本的なボキャブラリーが未熟なことが大きな障害にはならないのだと思います。しかしながら、小学生向けの教材なら「小学校4年生向け」などの基準を引くことで、前提知識として要求されるボキャブラリーは明確化できますが、パソコンの場合、「P検４級程度」の知識量（ボキャブラリー）が求められます、などと言っても一般にはコンセンサスが無いので難しいでしょう。

 そんなわけで、これまで親には特にパソコンの教科書的なものを推奨してこなかったのですが、P検の場合「バイブル」と呼ばれているものがあるそうです。「パソコン検定委員会公認のＰ検短期合格を目的とした学習用ＣＤ」なんだそうですが、アセスメントテスト、ラーニングコンテンツ（学習プログラム）、アチーブメントテスト、本試験形式による合否判定付模擬問題という構成になっているそうで、これは先にお話した「弱点補強を前提とするアセスメント（試験）システム」に近いものになっている期待があります。さすが「パソコン検定委員会公認」、インストラクショナルデザインがしっかりできている感じがします。各級用がそれぞれ4800円だそうですので、一つうちの親にプレゼントして、トライしてもらってもらっても面白い気がしますね。「アセスメントテストの結果で、正解か不正解かのマーキングが付いた個別学習メニューが自動作成されます」、とありますから、知識としてぽっかり穴があいているところだけ埋め合わせていくにはなかなか良さそうです。

しかし、インストラクショナルデザインにおいては、はじめに教育目標を明確に設定することが重要ですので、そもそも「一般的な情報社会の中でパソコン全般の知識や操作能力・レベル」を問うパソコン検定の場合、その対策も含めて教育目標は何であるか、また試験の内容とどのように関係付けられるべきか、来週はそのあたりを考えていきたいと思います。

しかし今回は完全に白紙の状態で、ほとんどWindowsXPとMS-Officeがインストールされただけのものが帰ってきたので、さてどうやってサポートするかと困りました。修理にあたっては、購入もとの電気屋さんと色々行き違いがあった関係で、向こうの人がお詫びのしるしに直ったパソコンのインターネット接続の設定までは実家でやってくれましたが、E-Mailの設定やウィルス対策ソフトの設定まではお願いできませんでした。さらに悪いことに、ウィルス対策ソフトは90日間トライアルのパッケージがプリインストールされていたり、最初に覚えてもらったE-Mailのソフトは某国産メーカーのものをダウンロード購入したものだったために、再度ダウンロードしてインストールしなおしたり、Webからユーザ登録を再度行って利用期間を延長したりといった様々なことをやらないと元の状態に戻らないという状況なのです。とりあえずメールについてはWebからプロバイダーのメールボックスを確認できるサービスで読んでもらっていますが、ここでも「送信方法がわからない」といった話になって、電話で延々説明したりしています。

 昔、パソコンも自動車のように免許制にすべきだ、といった論調が一部にあったかと思います。インターネットが家庭にも普及して、「無免許」パソコン運転手が多数出現し、あちこちでトラブルが起こりました。ちょっとパソコンに詳しい人はいろんな家に招かれてソフトのインストールや接続の設定に大忙しになるとういものでした（実際私はそうでした）。うちの親が電話をかけてくるときなど、一番こまるのは実家のパソコンで起こっていることが目では見えないことで、向こうから口で状況を説明してもらうのですが、なんのことを言っているか分からないことが多々あります。よくよく聞いてみると、「ああオプション設定ダイアログが今なぜか出ているのだな」とか「ウィルス・チェッカーが警告を発しているようだ」といったことが分かり、対処法を説明するといった具合です。

最近では小学校でもパソコンを使った授業があるようですが、我々の時代にはそんなものはありませんでしたし、もちろん両親の時代には教室にテレビすらなかたたでしょうから、パソコンのいろはを丁寧に教えてもらったことはないわけです。そうなると、向こうがどこまで理解していて、どこから分かっていないのかが分からないので、説明にも四苦八苦するわけです。

考えてみれば、パソコンといえばWindowsやMS-Officeがデファクト・スタンダードになってからまだ10年ぐらいしか経っていないわけで、その初歩の初歩からどうやって学んでいくかの指導法（インストラクショナルデザイン）の王道はまだ出来上がっていないのではないでしょうか。自分も大学から本格的にパソコンやワークステーションを使い始めましたが、なにから学んでいったかは全く覚えていませんし、初めてパソコンをさわる人に何から覚えてもらうべきかわかりません。

さてようやく試験問題の話です。試験は「能力」を測るモノサシですが、パソコンの「技能」というのは、それではどうやって測ればいいのでしょう？ワードやエクセルの使い方には「技能」というのがはっきりありそうですが、パソコンを使った一般的なリテラシーの「技能（能力）」というのは何できめればいいのでしょう？また、各「能力」レベルにあわせて、どうやって指導されていくべきなのでしょう？うちの親の「能力」レベルがはっきりして、そこではどのような専門用語まで使った指導が可能なのかといったことが分かれば、もっと電話でも説明がしやすくなると思います。今の小・中学生にはパソコンの教科書（あるいはそれに代わるもの）があるのでしょうから、その教科書にそって指導し、「能力」を測るうえではその教科書にそって試験問題を作成すれば良さそうです。一方で、我々のように義務教育課程でパソコンを習わなかった世代には標準的な教育プロセス（インストラクショナルデザイン）が無かったので、その「能力」を一律で測るのはなかなか難しいかもしれません。このように試験問題で測るべき「能力」というのは、その対象分野においてどのような教育を受けてきた人が受験対象であるか、ということと密接に関係します。明日からは、インストラクショナルデザインと試験問題の関係について考えていきたいと思います。

実は試験問題も同じで、テスト理論の本によれば、試験で使われる問題の正答率（正解者数/総受験者数）が5割であることが「最適」であるとされています。これは、正答率（をあらかじめ計算した結果）が5割の問題に、ある受験者が正解したか、不正解であったかという「事実」が最も多くの情報量を持つとされているからです。ここで、「情報量」という言葉は、情報理論をやった方にはわかりやすいと思いますが、一般的には、なんのことか分からないと思います。「情報量」というのは、ある事実（試合結果や試験問題の正解/不正解情報など）が分かる前と後で、どれだけ情報が増えたか（不確実性が減ったか）、言い換えれば、その「事実」を知らせる情報がどれだけの重みを持っているかを、数字で表したものです。

 野球でも、日本シリーズやパリーグのプレーオフで、3勝3敗あるいは2勝2敗の状態、すなわち勝率が互いに5割の状態で迎えた最終戦において、いずれが勝つかは最大の関心事で、最終戦の試合結果という「事実」が持つ情報の重みは非常に大きいものです。このような状況では、多くの人が最終戦の結果情報を何とか得ようと、早く帰宅して中継を見たり、携帯Webサイトのプロ野球速報を頻繁にチェックしたりします。なぜなら、それまでの戦績は全くの五分なので、最終戦でいずれが勝つかは全く予断を許さない（ほとんど事前の情報量はゼロに近い）状況だからです。一方で、今回の日本シリーズのように3戦3勝したロッテが4戦目においても勝ちそうであるというのは、阪神ファンですら薄々気づいていたことでありまして、4戦目の試合結果という「事実」が伝えられても、その情報の持つ重みは、互いに5割の状態で迎えた最終戦と比べると小さいといえるでしょう。つまりロッテの勝率10割の状況下での、4戦目の試合結果が持つ情報量は、互いに5割で迎えた最終戦の結果が持つ情報量よりも少ないということです。

試験問題でも、正答率5割の問題にある受験者が正解したか不正解であったかは、その人の「能力」を測るうえでは非常に重要な情報となります。言い換えれば正解/不正解の確率が五分五分の問題に対して、その正解/不正解の「事実」が持つ情報量は最大になります。一方で、正答率9割の問題には、ほとんどの受験者が正解するわけですから、その問題にある受験者が正解したという「事実」が分かっても、その情報は、その人の「能力」を測るうえでは大した重みを持たないということです。同じように、正答率1割の問題では、ほとんどの受験生は不正解になるのがあらかじめ分かっていますから、その問題に対する正解/不正解の「事実」から得られる情報量は小さくなります。

試験は、1問1問の正解/不正解の積み重ねで、受験者の「能力」を判定しますから、個々の問題の持つ情報量はできるだけ大きいほうがいいわけです。資格認定試験の場合、多くの試験がある一定のところで合否ラインを設けます。できるだけ正確に合否判定ができるように、あらかじめβテスト（事前確認テスト）を行うのが一般的ですが、ここで正解率が5割付近になった問題を多く実際の試験で出せば、その結果得られる受験者の「能力 」に対する情報量も多くなり、より適切に「能力」および合否の判定ができるといことになるわけです。

今回、プロ棋士入りを果たした瀬川さんの目下の勝率は5割ですから、この次の対局で瀬川さんが勝つか負けるかは、大きな情報量を持つといえるでしょう。今後の瀬川さんの活躍に期待しましょう。

というような疑問をもって少しWebの情報を調べてみると、「テスト指向ラーニングを簡単かつ素早く実現する」という謳い文句でテストオーサリングツール「 楽々てすと君 」といったものも売られていることがわかりました。しかし、中身を読んで見ますと「一問ずつ判定できる"ドリル型"、合格するまで間違えた問題を繰返し実施できる"トレーニング型"など、目的に応じてテスト形式が選択できます。」とあるので、昨日から考えているような「治療（弱点補強）を前提とするアセスメント（テスト）」とはちょっと違うようです。また、「WEBベースの試験機能を提供」する、「未来ドリル」というシステムもあります。この特長としては、「全ての受験者の成績はデータベースに蓄積され、Web上でいつでも自分の成績を確認することができます。」ということが挙げられていますが、これはあくまで受験者の自己診断であって、弱点診断をして補強教材を提供するような流れではないようです。また最近では、インターネット・ベース・テスト (IBT) という言葉もしばしば聞かれるようになってきましたが、このようなIBTシステムも、「IBTサービスの簡便性は、期末試験等はもちろんのこと、スキルチェックや本番に備えた模擬試験の実施にも、有効なツールとしてご利用いただけます。」といったことで、その簡便性から、試験を手軽に作成できることは謳っていても、試験後の弱点補強（治療）教材へのアクセスポイントについては言及されておりませんね。

 「試験結果から弱点診断」についての言及として一つみつけたのは、UMLモデリング技能認定試験に関して、「先にテストに挑戦して自分の能力を確認し、それに応じた範囲のみを学習することも可能です」というものです。しかしここでも、試験結果から弱点を診断するのは受験者自身のようです。ちょっと別の視点では、アルクさんが、「TOEIC(R)730点攻略ゼミ～Listening編～」などのオンラインセミナーをやっているようです。ここではTOEIC試験が先にあって、これに合格するための通信教育（弱点補強も含む？）ということで、本ブログで考えているような試験とラーニングの融合に近いような気もしますが、学習のカリキュラムをカスタマイズして提供するようなことはしていないようです。

さてe-Learning については、近年、日本でもかなり話題になってきており、教材（コースウェア）作成における標準規格SCORMなどを利用した教材の流通、共有なども促進されておりますが、同時に、「e-learning時代のテストスタンダード」が議論されていたり、WebCTのユーザ会がテストをテーマに開催されたりするように、そこでどのように試験を実施していくか、教材と試験の関係をどう位置付けるかについての問題意識は徐々に高まっているようです。

なぜこのようなことを考えるようになったかというと、先月末10/29（土）に開催された日本テスト学会の第5回研究会において、東大の丹野先生の講演を聞いたのがきっかけです。丹野先生は、臨床心理学の立場から、治療と心理テストの関係についてお話をされたのですが、イギリスにおいてはアセスメント（テスト）は治療を前提として行われるということでした。つまり、テストのためのテストは無駄で、テストは治療に役に立たなければ意味が無い、ということです。

この考え方には少々感銘をうけました。私のもともとの専門は視覚聴覚の心理学なので、このような臨床心理学の現場のお話を聞くのはほとんどはじめてだったのです。なので実際この考え方の背景や位置付けを十分知っているわけではありませんが、丹野先生のお話によれば、日本における臨床心理学の世界では「テストは治療のためにある」という考え方はあまり浸透していないということでした。

もちろん心理テストと資格認定試験を同列には語れないと思いますが、あえて言いますと、資格認定試験の世界でも、試験実施関係者の試験の意義に対する理解では、同じような状況があると思います。日本では試験というと人を篩いにかけて落とすためのものという認識が今でも強いのではないでしょうか？一方で、試験は弱点を見つけて直すために（まずは現状の「能力」を測ってみるために）あるのだ、という考え方はあまり浸透していないと思います。本ブログでテーマとしている、試験は成長（能力）を測るためのモノサシであって、試練（ハードルのようなもの）ではない、ということにも通じると思います。

CASECを開発した、教育測定研究所さんでも、おなじようなことをおっしゃっています。 ここではテストの役割が「自分の能力を客観的に把握するためのツール」へと変わってきている、とされておりますが、この考え方をさらに進めて、能力を客観的に把握したら、弱点を補強する改善アクションへとダイレクトにつながるようにしていきたいということです。多くの資格認定試験は前提となる知識範囲があり、それにそってテキスト販売やセミナーが開催されています。それらの教材で勉強してから、試験を受けるのが普通ですが、受けた後、スコアレポートを見て終わりではなく、弱点補強の補修テキストや（e-learning等を応用した個別の）セミナーなどが案内されると便利だとは思いませんか？そのようなことをCASEC受験と先日のテスト学会の研究会を通して感じました。

この試験の詳しい内容はCASECのホームページをみていただけば分かるので詳しくは申しあげませんが、CASECは本ブログで理想とするところの「視力検査のような試験」にかなり近いものです。それは、はじめに出題された問題が（不正解となった時など）個々の受験者にとって難しい（難易度が高すぎる）と判断された場合、次に出題される問題はより難易度の低い問題が出題され、逆に先に出題された問題が受験者にとって易しいと判断されると、次に出題される問題は、より難易度が高いものへとインタラクティブに出題される問題が調整されるからです。つまり、受験者の能力によって出題される問題が変わってくるということです。

この仕組みを「アダプティブ・テスト」などと呼ぶのですが、これはまさに視力検査の要領と同じです。視力検査では、はじめに提示されたランドルト環の切れ目の方向を正しく言い当てられなかった受験者に対しては、次はより易しい、もっと切れ目の幅が大きいランドルト環が提示されます。これも不正解となった場合、さらに大きいランドルト環へと移っていきます（最後は前に進んでいきますね）。逆に、はじめに提示されたランドルト環で正解した場合は、より難しい、もっと切れ目の幅が小さいランドルト環が提示されます。このようにして受験者の能力、すなわち「視力」の限界点を判別して、検査結果の数字で出ます。CASECも同じように、四つのセクション（語彙の知識、表現の知識、リスニングによる大意把握、具体情報の聞き取り能力）ごとに、それぞれ15問ないし10問の問題が提示され、その結果各セクションごとの能力が数字で出ます。

私の結果を公開すると英語力が露呈してしまうので、それは遠慮させていただいて、受けてみた印象だけ申しあげます。前の問題に自分が正解したか不正解であったかは教えられない仕組みですが、次に提示された問題が、前の問題より易しいと感じた場合は、前の問題に不正解だったのでレベルを下げられたのかなと思い、ちょっと悲しげになります。逆に、わりと回答に自身がある場合で、次に提示された問題がより難しくなったと感じると、ちょっとうれしくなります。このようにCASECのようなアダプティブ・テストでは、自分の正解/不正解がリアルタイムで透けて見えてくるので、なかなか一喜一憂しながら受験していくことになります。このあたりは視力検査で、次により大きいランドルト環を提示されてしまい、ちょっとがっかりするのと同じ感覚ですね。

各セクションは15問程度なので、試験自体はわりとすぐに終わってしまいます。最後に出るスコアレポートには、今後鍛えなおすべき弱点などのコメントも入りますので、これは自己診断型のテストとしては重宝するでしょう。また、TOEFLやTOEIC、英検と比較して「目安」の数字/ランクの予測値が出ますので、今後の英語学習の努力目標設定にも役立つでしょう。あとさらにあればいいなと思ったのは、「弱点」を指摘した後で、ではどんな教材で鍛えなおすのがいいのかをリコメンドしてくれることですね。私の場合「語彙力をより豊かにするには、、、新聞に出てくるような頻度の低い単語も身につけていきましょう。」といたコメントが入っていたのですが、だからといって今日から英字新聞を取り始めるのも手数です。そうではなくて、「あなたにぴったりな語彙力強化教材はこれです！」といったように紹介してくれるといいと思います。せっかく能力を診断してもらったのですから、お医者さんが診断のあとで薬を出すように、私に必要なサプリメント教材を教えてくれるとありがたいですね。

片方の目で3回ぐらいしか試行（問題）がありませんでしたので、回数の面だけで言うと検査結果の「信頼性」に不安が残りますね。実際には、小さいほうから「これはどうですか？」と聞かれて、「わかりません」と答え、次に「これはどうですか」と聞かれて、また「わかりません」と答えました。次に提示されたものについては、ぼんやりとしかEの切れ目が見えなかったのですが、ヤマを張って答えたら、それが当たっていたようで、そこで片方（右）の目の検査は終わりました。結果の視力は右0.8と出ました。このとき、穴から覗いた先には、万国式試視力表のように、Cマークならぬ、Eマークが立て横に大きいものから小さいものへと順にならんでおりました。それを、小さいほうから順に指定されて、答えていったのですが、「わかりません」と言うたびに、あたりまえですが、だんだん大きいEマークの方に進んでいきました。そして二つ進んだところで終了となりました。

測定結果の「信頼性」に向こうが自身をもっているならいいのですが、はたして「モノサシとしての測定結果の再現性」はあるのでしょうかね？あの直後に、仮に再度別のパターンが並んでいる万国式試視力表を提示されて測定をやり直しされたら、今度は0.8のEマークのところで不正解になって、次の0.7のEマークで正解したかもしれません。これだと測定結果は1回目0.8、2回目0.7となってしまい、再現性は低いということになります。まあ、視力がものすごく悪いわけでもないし、他の健康診断の人たちも順番を待っていますし、なるべく短時間で視力の目安がわかればいいのでしょうが、もう少し丁寧に測らないと、せっかく「妥当性」は高いのですから「信頼性」が下がってはもったいないと思いました。

視力検査が終わってから、落ち着いて考えたのですが、自分は検査がはじまってすぐの、ぼやけて見えないEマークを見ているときは、それがEであるかCであるかすら分からなかったので（過去の経験から）無意識にCマークの切れ目を探していたように思います。その後、より大きいEマークを示されたときに、「あ、そういえばCじゃなくてEだった」と思いました。ひょっとすると、このような「過去の経験」が測定の誤差要因となっていたかもしれないと思いました。つまり、最初からCではなくEマークであると、強く意識していたら0.8よりも、より小さいEマークで正解できたかもしれません。

資格認定試験においても、問題文の書き方がややこしかったり、これまでの経験からくる「暗黙の常識」がそこでは変えられていたりして、問題の意味を誤解したりすることがあると思います。結果として正解できるはずの問題に不正解になると、このようなファクターも「能力」測定の誤差として総得点に跳ね返ってくることになりますので、要注意なんですね。

昨日、上記数字のクロンバックのα信頼性係数は、最大値が1で、値が大きいほど「信頼性」が高いということだけ申しあげましたが、つまりはレギュラーシーズンの方が結果の「信頼性」は断然高いということになります。ここで計算のプロセスについて説明します。交流戦については、以前セパ交流戦を題材に、セリーグの各チームの「能力値」を算出した時と同じ基準で、受験者としてのセリーグのチームが、試験問題としてのパリーグのどのチームに勝ち越し（試験問題でいえば「正解」）して、どのチームには負け越し（不正解）したのかについての情報を元にします。このとき、以前と同様に、パリーグの各球団との6回戦で3勝以上した場合を便宜的に「正解(1)」とし、逆に勝ち星がこれに満たない場合を「不正解(0)」としました。

レギュラーシーズンについても、同じようにセリーグの他のどのチームに勝ち越し（正解）し、どのチームに負け越し（不正解）したのかを用います。ここでは他球団との22試合中に11勝すれば便宜的に「正解(1)」とし、これに満たない場合「不正解(0)」とするのですが、問題は交流戦と違って全てのセリーグのチーム（受験者）が全て同じ対戦相手と戦う（同じ試験問題を解く）わけではないということです。レギューラーシーズンではセリーグの各球団は自分自身以外の5チームと戦うわけで、もちろん自分自身とは戦えない（自分自身という問題は解けない）わけです。テスト理論では、基本的に全ての受験者が同じ問題を解くという前提を必要とするので、ここでもう一つ便宜的に自分自身との対戦についても勝ち負け（正解/不正解）を出しておかないと、交流戦と比べるうえで不都合が生じます。そこで、自分自身との対戦は負け越し（不正解）としておきます。こうした時点で、科学的には正しくないことをやっていることになりますが、ここでは分かりやすさを優先しておりますので、ご容赦ください。

ここで、クロンバックのα信頼性係数の式を（辛抱して）見てみると、Sjの2乗の和とSyの2乗の比をとっていることがわかります。「Sjの2乗の和」というのは、上記の表における、対戦相手別の勝敗から計算した（列ごとの）「分散」の和です。「Syの2乗」は合計点（右端の列）の分散を表します。つまり、各対戦相手ごとの勝敗のばらつきを総合したものが、総合点のばらつきよりも大きい場合に信頼性係数は小さくなることがわかります。交流戦、レギューラーシーズンいずれも対戦相手（列）ごとの分散にはそれほどの差はありませんが、合計点の分散は交流戦が1.000で、レギュラーシーズンが2.889となっており、かなり差があります。ここがこの二つの「能力」測定手法の「信頼性 」の差を生んだということです。

交流戦の合計点をみると、パリーグの各球団と6試合した結果は、広島以外あまり差がないので、分散も小さくなっています。一方で、レギュラーシーズンでは、各球団と22試合戦った結果、総合点に差が出て分散が大きくなっています。つまり、交流戦のような「短期決戦」では本来の「能力」以外の誤差要因で合計点に差がつかなくなりましたが、レギュラーシーズンでは、146試合戦ううちに、本来の「能力」でだんだん差が開いてきて、最終的な成績（合計点）の「信頼性」はセパ交流戦よりもかなり高いものになったということです。

先に申しあげたとおり、この結果は科学的に正しいとはいえません。しかし、レギュラーシーズンを制してリーグ優勝を果たした阪神タイガースは、たとえ日本シリーズという「短期決戦」で本来の「能力」が出せなくても、2005年セリーグ・チャンピオンという結果に対する「信頼性」は高いものです。これは誇っていいということになりますね。来年こそは目指せ日本一！

プロ野球の場合、ペナントレースでもセパ交流戦でも、複数の対戦相手に、複数回対戦しますが、最終的には各試合の1勝1勝の積み重ねが成績となります。これは、資格認定試験における、1問1問の正答の積み上げの結果から「能力」を判定する仕組みと同じですね。プロ野球において、結果の「信頼性」を確保するために必要となる前提は、各1試合1試合の勝敗は、常に同じ「能力」の発揮度合いと、対戦相手（を倒すため）の「難易度」で決まるかたちになっていることです。この前提が成り立てば、「能力」が対戦相手チームの「難易度」を上回っている場合、普通勝てるはずです。

しかし実際のところは、同じ相手と複数回対戦してみると、勝ったり負けたりします。ではでは、プロ野球チームでいうところの、「能力」の中身とはいったいなんでしょう？よくプロ野球の試合結果が出た後の選手や監督の談話で、「投打ががっちり噛み合って快勝でした。」といったことを言っています。野球の場合、投手が悪ければ大抵負け、投手が良くても打線がつながらなければ勝ちにつながりません。つまり投手力と打撃力、両方備わったチームでなければ他よりも多く勝って優勝することはできないわけで、優勝するような「能力」の高いチームというのは、概してチーム防御率もチーム打率も1位か2位に入っているものですよね。 だとすると「投打の噛み合わせ」という一つの「能力」の発揮度合いと勝敗は密接な関係があるはずです。

このことからして、防御率もチーム打率も上回るチームAが、いずれも下回るチームBと対戦した場合、すなわち「能力値」が対戦相手（チームB）の「難易度」を上回るチームAが、その相手であるチームBと対戦した場合に、普通に「能力」が発揮されればチームAは勝てるはずです。しかし試験問題についても、同じ「難易度」の問題を複数解いた場合、必ずすべての問題に正解あるいは不正解するわけではないのと同じく、チームAとBが複数回対戦した場合に、全ての試合で必ずAがBに勝つとは限りません。試験問題と同様に、本来の「能力」とは別の、メンタル面など、なんらかの要因で負けたり、逆に、本来の「能力」を十分発揮できなくても、相手のエラーや天候など、なんらかの好都合で勝利する場合があります。

セリーグのレギュラーシーズンであれば他のセリーグの各チームとそれぞれ22試合戦います。一方で、交流線ではパリーグの各チームとそれぞれ6試合しか戦いません。当然ながら、交流戦の方が試合数が少ない分、本来の『能力』とは別のなんらかの要因」や「なんらかの好都合」、すなわち「誤差」に支配された試合で、「能力値」が相手の「難易度」を上回るチームがなぜか負ける、あるいはその逆の結果が起こるといった波乱要因の影響が大きくなります。結果として、最終的な勝ち星の誤差の影響による変動幅も、試合数が少ない方が相対的に大きくなります。

 もう少し直感的に言えば、セパ交流戦（や日本シリーズ）のような「短期決戦」では、試合の途中で霧がかかってコールドゲームになるとか、片一方のチームがたまたま試合間隔があいてしまったために初戦で本来の「能力」を発揮できないといった誤差要因が、勝敗に大きく影響を与え、結果として優勝の行方すら左右します。しかしレギュラーシーズンのような各チームと22試合もする場合には、シーズン開幕当初は本来の「能力」を発揮できないような場合があったり、降雨コールドの試合が何試合かあったとしても、それは146試合の中の数試合でしかないので、このような誤差要因が総合成績に与える影響は小さくなります。

実際に2005年のセリーグの成績で、セパ交流戦とレギュラーシーズン（交流戦は除く）の信頼性係数（クロンバックのα係数）を比較してみると、セパ交流戦は-0.07、レギュラーシーズンは0.69となります。ここで、クロンバックのα係数は、最大値が1で、値が大きいほど「信頼性」が高いということになります。

さてさて、今日はずいぶん長文になってしまったので、この値が出てきた経緯など詳しい説明は明日にしたいと思います。

資格認定試験では、なにがしかの「能力」を測って、その「能力」が一定レベル以上であれば資格認定するわけですが、その「能力」というのはほとんどの場合、50問とか一定数の試験問題を受験者の皆さんに回答してもらって1問1問の正答の積み上げの結果から判定されます。過去にお話してきたように、できれば視力検査のごとく、ある「難易度」の問題（視力検査であれば一定の切れ目の幅を持つランドルト環）まで正解できれば、その人の「能力値」（視力検査であれば「視力」）はいくらというように限界値を測りたいわけです。ここで重要になるのが、出題された問題の1問1問は測りたい「能力」を常に同じ基準で測れているのか、ということです。視力検査の場合、一連の測定の過程で、大小、大きさの違うランドルト環しか提示しないとすれば、その違いは「視力」という「能力」に直結した、「ランドルト環の切れ目の幅」だけが個々の問題の「難易度」の差を生みます。これであれば、出題された1問1問は「難易度」が違うだけで、常に同じ基準で「能力」を測っているということになります。資格認定試験の場合も、できればこのように一定の基準に沿って様々な「難易度」の問題を出題し、「能力」を測定していきたいのです。そうすれば、同じ「難易度」の問題においては、正解/不正解の再現性は高まるはずで、結果として試験全体として、「モノサシとしての測定結果の再現性」すなわち「信頼性」は高まります。

とはいえ、同じ「難易度」の問題を複数解いた場合でも、必ずすべての問題に正解あるいは不正解するわけではなく、（本来の「能力」とは別のなんらかの要因で）不正解になったり、（なんらかの好都合で）正解できたりする場合があります。ですから、たった1問の正解/不正解で合否が決まることがないのが普通です。一定の「難易度」を持った問題を複数、様々な「難易度」において用意し、一つの試験問題を構成することで、「信頼性」の高い資格認定試験をつくろうとするのです。

さてさて上記、「本来の『能力』とは別のなんらかの要因」や「なんらかの好都合」というのは、いわゆる「誤差」と呼ばれるものです。「誤差」が多い分だけ「信頼性」係数は下がります。「誤差」を無くす一番の解決策は、試験問題自体から、このような「誤差」を生む要因を徹底的に排除することですが、それはなかなか難しいものです。現実的な対策としては、このような「誤差」による各問題の正解/不正解のばらつきを、総合点で吸収してしまうことです。問題数が少なければ少ないほど、「なんらかの好都合」で正解した場合の1点のインパクトが総合点に大きく影響します。逆に、ちょっとしたミスなど「本来の『能力』とは別のなんらかの要因」で不正解となってしまった場合の失点は、総合点に大きく響きます。このような影響をできるだけ小さくする一番の近道は問題総数を増やすことです。一般的に、問題数が増えれば「信頼性」係数は上がると言われています。そのようなわけで、国家資格試験を中心に、問題数がかなり多い試験が多数みられるのかもしれません。問題作成を担当している方々も、問題数を多くしたほうが、結果の「信頼性」が高まることを実践的に知っておられるのでしょう。

 しかし、、、やっぱり難しい説明になってしまった感じです。来週はまたプロ野球の例を用いて信頼性係数の実際の計算結果で、もっとわかりやすい説明を試みたいと思います。

さて仮に、今日からもう一度阪神にチャンスをやるということで、日本シリーズを第1戦からやり直したとすると、結果は変わってくるでしょうか？先週、サッカー・ワールドカップの決勝トーナメントを例に「テストの信頼性」のお話をしましたが、もし仮に今度は阪神がロッテに勝ち越して日本シリーズ制覇したとすると、日本シリーズという仕組みは、（試験になぞらえると）「モノサシとしての測定結果の再現性」が低いということになります。つまり「信頼性」が低いということになりますね。ただ現状ではロッテの「難易度」はセパ交流戦の時よりもかなり高くなっており、阪神の「能力値」は交流戦当時のレベルには（昨日の試合を見た限り、特に打線は）戻っていないと思われますので、おそらく、今日から日本シリーズをやり直してもまたロッテが優勝することでしょう。ということで、日本シリーズの結果はサッカーのワールドカップ・決勝トーナメントの結果よりも「信頼性」が高いということがいえそうです。

 資格認定試験についても、仮に同じ人が時間をおかずに、同じ試験を複数回受験したとして、その結果がほぼ同じになれば（すなわち再現性が高ければ）、その試験は「信頼性」が高いということになります。しかしながら、プロ野球と違って資格認定試験の場合、同じ試験を同じ人に複数回受験してもらって、試験問題の「信頼性」を証明するというのはかなり難しいです。なぜなら、一度解いた問題というのは、一般的に、ある程度問題の内容を（短期的に）記憶しますから、あまり時間をおかずに再受験すれば、2回目のほうが少なくとも回答所要時間の面では有利になるはずです。また、1回目の試験結果を正解も含めてレポートしてから2回目を受験させれば、学習効果がほぼ確実に2回目の試験に反映されますから、普通は2回目の方が成績が良くなるはずです。

 例えば視力検査であれば、何回受験しても、検査手続きが適切であれば「記憶」や「学習効果」を発揮して、2回目以降良い成績を出すことは難しいですし、視力は練習で良くなったりはしないので、同一受験者の複数回受験で「信頼性」を（統計的に）証明することは比較的簡単です。しかし、資格認定試験の場合は、同じ人に複数回受験してもらうこと自体、受験者に与える負荷、記憶、学習効果の排除など様々な課題があり、この結果を多数あつめて「信頼性」を定量的に証明することは難しいです。

テスト理論的には、1回の試験結果だけからこの「信頼性」を算出する式がありますので、多くの場合これを利用します。明日からはそのあたりを説明していこうと思いますが、これをわかりやすく、身近な話題をおりまぜてやるのはなかなか難しいので、さてどうしたものか。プロ野球も終わってしまったし。