項目とは？
|
項目応答理論（こうもくおうとうりろん）または項目反応理論（こうもくはんのうりろん）、略称IRT (Item Response Theory; Item Latent Theory)は、評価項目群への応答に基づいて、被験者の特性(認識能力、物理的能力、技術、知識、態度、人格特徴等)や、評価項目の難易度・識別力を測定するための試験理論である。この理論の主な特徴は、個人の能力値、項目の難易度といったパラメータを、評価項目への正誤のような離散的な結果から確率論的に求めようとする点である。 IRTでは、能力値や難易度のパラメータを推定し、データがモデルにどれくらい適合しているかを確かめ、評価項目の適切さを吟味することができる。従って、試験を開発・洗練させ、試験項目のストックを保守し、複数の試験の難易度を同等と見なす(例えば異なる時期に行われた試験の結果の比較をする)ためにIRTは有用である。また、コンピュータ適応型テスト(Computerized Adaptive Testing)もIRTによって可能になる。 より古典的なテスト理論（素点方式、偏差値方式）と比べると、IRTは、試験者が評価項目の信頼性の改善に役に立つ情報を提供し得る、標本(受験者)依存性・テスト依存性にとらわれずに不変的に受験者の能力値とテスト項目の難易度を求められる、という利点がある。 日本では試験にIRTを用いるようになったのは最近のことであるが、欧米諸国では既に広く使用されている。 一般的なモデルでは、項目への離散的な応答(正誤など)の確率が、1つの人パラメータと1つ以上の項目パラメータによる関数であるという数学的な仮説に基づいている。 用いられる変数は以下の通りである。 項目iの難しさを表す実数値。一般的には各項目に50％の正答率を持つ被験者の能力値を基準として決められている。 基本的な考え方としては、人パラメータと、項目の難易度パラメータの差をとり、ロジスティック曲線に当てはめて、正答する確率を求めるというものである。例えば能力試験において、ある項目が被験者にとって非常に簡単であった場合、その正答率は限りなく1に近づき、逆にある項目が被験者にとって非常に難しいものであった場合、その正答率は限りなく0 (パラメータcを用いる場合はci)に近づく。 最も簡単な1パラメータロジスティック(1PL)モデル（ラッシュモデルとも呼ばれる）では、変数にθとbiのみを用いる。しかし適用のための条件は厳しくなっている。このモデルでは、項目iに正答する確率は次の式で与えられる。 2パラメータロジスティック(2PL)モデルでは、さらにaiを用い、各項目が評価にとってどの程度適正な判断基準であるかを変数に組み込む。このモデルでは、項目iに正答する確率は次の式で与えられる。 ここで、定数Dは1.701という値で、ロジスティック関数を累積正規分布関数に近似するためのもので、確率が関数の定義域(一般的に-3〜3)内で0.01以上異ならないようになっている。 なお、IRTモデルは当初は普通の累積正規分布関数が用いられたが、このように近似されたロジスティックモデルを使うことで、大きく計算を単純化することができた。 3パラメータロジスティック(3PL)モデルでは、多肢選択形式の場合において、適当に選択肢を選択しても偶然正答する確率ciを考慮に入れ、項目iに正答する確率は次の式で与えられる。 人パラメータは被験者の評価の対象となっている1次元的な特性の大きさを表す。この特性は因子分析の1つの因子に類似している。また、個々の項目や人は相互に独立であり、集合的に直交であると仮定されている。すなわち、ある項目の正誤は他の項目の正誤に影響せず、ある人の正誤は他の人の正誤に影響しないという仮定を置いている。 項目パラメータは、ある項目の性質を示す。項目パラメータが定まると、受験者がその項目に正答する確率piは各受験者の能力θの1変数のみを持つ関数になり、縦軸に正答率、横軸に能力値としたグラフが描ける。このグラフは項目特性曲線(ICC; item characteristic curve)と呼ばれる。 パラメータbは項目の難しさであり、この値は人パラメータと同じスケール上にある。パラメータaは項目特性曲線の傾きを決定し、その項目が個人の特性の水準を識別する程度を示す。曲線の傾きが大きいほど、項目の難しさと人の特性の大きさに差があるときに回答の正誤がくっきり分かれることを示す。 最後のパラメータcは、項目特性曲線の負の側の漸近線である。すなわち、これは非常に低い能力を持つ人がこの項目に偶然正答する確率を示す。 各項目は互いに独立であるという前提を置いているので、項目特性曲線は加法的である。よって、すべての項目特性曲線を足したものが求められる。これはテスト特性曲線と呼ばれる。 試験のスコアはこのテスト特性曲線によって求められる。テスト特性曲線はθの関数であり、T(θ)の値を受験者のスコアとする。よって、IRTによるスコアは従来の方法によるスコアと比べ、計算・解釈において非常に異なっている。しかし、ほとんどのテストにおいて、値θと従来のスコアとの(線形)相関関係は非常に高い(.95以上になることが多い)。したがって、従来のスコアに比べ、IRTのスコアのグラフは累積度数分布曲線の形に近くなる。 ここまでで示したモデルでは、1次元的な特性と、項目に対する正解・不正解のような2値のいずれかの応答を前提としていた。しかし、多値ラッシュモデルのように多値(例えば0:全く誤り 1:ほとんど誤り 2:概ね正しい 3:完全に正しい、の4値)をとるように拡張されたモデルや、多次元的な特性を仮定したモデルも存在する。 以上ではθ, ai, bi, ciの各パラメータが存在するものとして考えてきたが、それぞれの真の値は一般的に未知である。よって、離散的な回答からそれぞれの値を推定することもIRTにおける重要な問題である。 IRTの主な知見の1つは信頼性の概念を拡張したことである。伝統的に、信頼性とは測定の精度を示すものであり、真のスコアと観察されたスコアの誤差の比率など、様々な方法で定義される単一の指標で現される。古典的なテスト理論では、クロンバックのα係数などがテスト全体としての信頼性の指標を表すものとして知られている。しかしIRTによると、評価の精度はテストの成績の全範囲にわたって均一ではないことが明らかになる。一般的に、試験点数の範囲の端のスコアは、中央に近いスコアより多くの誤差を含んでいる。 IRTでは、項目・テストのそれぞれについて、信頼性の概念を置き換える情報関数 (Information Function)という概念が用いられる。例えばフィッシャーの情報理論に従って、ラッシュモデルの場合には、項目情報関数は単純に正しい応答の確率と不正確な応答の確率の積で与えられる。すなわち、不正確な応答の確率をqi(θ) = 1 ? pi(θ)で表すと、以下の式で与えられる。 従って、情報量が多いほど、測定の間違いがより少ない（被験者の能力の推定がより正確である ）ことを意味する。 2PL, 3PLモデルでもほぼ同様であるが、他のパラメータも考慮に入る。2PL, 3PLモデルのための項目情報関数はそれぞれ以下の式で表される。 各項目は互いに独立であるという前提を置いているので、項目情報関数は加法的である。テスト情報関数は単純にその試験における各項目の項目情報関数の和で求められる。テスト情報関数は、古典的なテスト理論における信頼性の概念を置き換えるものになる。 この性質を用いて、テスト項目の適切性に理論的根拠を与えることや、ある目的に特化したテストを作ることが可能になる。例えば、ある合格基準点を超えるか超えないかのみで合格・不合格が結果として与えられる（実際の合格点は重要でない）テストを作るのに有効なのは、合格基準点の近くで大きい情報が得られる項目だけを集めてテストを作ることである。また、コンピュータ適応型テストのように、ある時点での回答状況に応じて受験者の能力値を推定し、次にその受験者の能力値周辺で大きな情報が得られる問題を出題するということも可能になる。 等化(equiting)とは、異なったテストの結果、異なった受験者に対してのテストの結果を、項目パラメータや被験者能力値に関係なく、共通の原点と単位をもつ尺度に変換することである。等化には、水平的等化、垂直的等化の2種類がある。 古典的なテスト理論においては、テスト依存性や受験者依存性がつきまとうので等化を実現することは困難であった。しかしIRTによる項目パラメータは不変的であり、理論的には等化の必要はない。しかし、実際には一定の定数によって、２つのテストの得点を同一尺度上に変換することがよく行われる。この手続きは以下の式で行われる。 θ'は等化された能力値で、α, βは等化定数と呼ばれている。またこのとき、項目パラメータは以下のように調節される。 等化定数α, βの推定には、共通の受験者または共通の項目が必要となる。そして、等化のための基準には回帰係数、平均値と標準偏差、項目特性曲線の特徴等が用いられる。 科学者が考案した項目応答理論は非常に複雑な手法で試験のスコアを算出する為、科学者以外には問題の難易度と項目応答理論による配点の高低の相関関係の理解は困難である。その為、項目応答理論は「仮説」を立てて理解されている。 問題の難易度が低い場合は配点が低くなり、逆に問題の難易度が高い（正答率が偶然に正答する確率と同一）場合も配点が低くなる関係がある 一部では、全問正解ではないにも関わらずスコア満点の場合がある為、配点が0点の問題の存在が「予想」されている。 また、一部では項目応答理論には配点の概念自体が存在しないとの「仮説」も提唱されている（その場合でも、正答数が同一として、どの難易度の問題の正答が多いかによるスコア高低の傾向が存在すると「予想」されている）。 この項目「項目応答理論」は、自然科学に関連した書きかけの項目です。加筆・訂正などをして下さる協力者を求めています。 カテゴリ: 書きかけの節のある項目 | 自然科学関連のスタブ項目 | 確率論 | 統計学 | 解析学 | 心理学 | 数学に関する記事 |
[ 162] 項目応答理論 - Wikipedia
[引用サイト] http://ja.wikipedia.org/wiki/%E9%A0%85%E7%9B%AE%E5%BF%9C%E7%AD%94%E7%90%86%E8%AB%96
|
珍項目はウィキペディア上にある項目で百科事典としての体裁（正確性、簡潔な文章、中立性など）を保ちつつも、読み方によってはどことなく珍妙さやユーモアなどを感じさせる文章を備えたものをリストにした物です。従って虚偽や無意味な冗談などの記述を持った「削除された悪ふざけとナンセンス」の記事群とは大きく趣を異にしています。 リストされている項目が珍項目にふさわしいかどうか疑問があれば「珍項目の再選考」にかけることができます。 現在、ウィキペディア日本語版全体で442,462本の記事があり、そのうち170本の記事が珍項目に選ばれています。 ここは Wikipedia:珍項目 にふさわしい項目を選考する場です。可否は投票によって決定されます。投票または推薦の前にルールに一通り目を通すようお願いします。ルールについてのご意見はこのページのノートにどうぞ。 いつでも（ただし範囲内において）誰でも、珍項目にふさわしい項目を推薦できます。ログインユーザであるか、IPユーザ（ログインしない利用者）であるかは問いません。 上は推薦者自身が賛成の場合ですが、中立なら「（コメント）」、反対なら「（反対）」を「（賛成）」の代わりに書いてください。この賛成・反対は、推薦者自身の投票を兼ねます。ただし、IPユーザができるのは「（コメント）」のみです。 投票で不採用となった候補も、加筆・修正、または議論を経れば、再推薦できます（推薦理由をコメントに明記してください）。 投票期間は、推薦から1週間（168時間=翌週の同曜日同時刻まで）です。これを超えての投票は無効です。 推薦者は、投票期間終了後なるべく速やかに集計してください。ただし、投票期間が終わっていれば誰でも集計して構いません。 採用の候補は Wikipedia:珍項目#リスト に追加してください。その際「編集内容の要約」欄に項目名・賛成票数・反対票数を記入してください。またリスト冒頭の記事数も修正してください。 賛成票が反対票の3倍以上かつ3票差以上あり、かつ、その状態が24時間前から現在まで継続している候補は「早期通過」として採用することができます。 （賛成）シュヴァルの理想宮が以前推薦されていましたが、それに勝るとも劣らない珍奇な「家」ということで推薦いたします。--Izuharamasahiro 2007年11月26日 (月) 14:16 (UTC) （反対）テレビ番組の企画モノでしかなく、いわゆる羅列系バラエティ番組紹介記事の延長。作られた料理の評価も弱く、記事自体も雑然とした一覧記事（整理具合が足りない）。--夜飛（話/歴） 2007年11月30日 (金) 09:15 (UTC) （賛成）市域内にない施設の名称を市名につけたことで反対が起こり、ついには合併そのものが破談になったという点で珍であると判断します。--Izuharamasahiro 2007年11月26日 (月) 14:16 (UTC) （反対コメント）名前が珍奇というだけで、造語という経緯はあるが何でそんな造語を日本の自治体として名乗ろうとしたかの経緯が不明瞭で、住民・市議が反発して合併自体がお流れになったという散々な結末に終わったことしか伝わらず、ユーモラスかどうかでも難しい。評価不能なので気分的には反対だがあえて反対も賛成もせず。--夜飛（話/歴） 2007年11月30日 (金) 09:15 (UTC) （反対）賛成しようと思いましたが、ひらがな・カタカナ地名をみると、同じような事例がいくつもあげられています（中央アルプス市とか）。よって格段珍しい記事ではないと判断しました。--manjushage 2007年11月30日 (金) 11:31 (UTC) ここは Wikipedia:珍項目 に掲載されている項目が、真に珍項目にふさわしいかどうか再び選考する場です。ログインユーザだけが参加できます。 ただし（賛成）（反対）の代わりに（除去）（維持）です。（コメント）も使えます。早期通過はありません。 除去票が維持票より多ければ Wikipedia:珍項目#リスト から除去してください。その際「編集内容の要約」欄に項目名・除去票数・維持票数を記入してください。 （除去）--本人の風貌や設定が珍しいだけで、記事としてはさほど珍しくない。箇条書きも多く「簡潔な文章を保ちつつも…」という基準からも外れる。--manjushage 2007年11月28日 (水) 10:34 (UTC) （除去）おそらく以前の版にあった、記事自身の（意図的な）ミスタイプで珍扱いされたものだと思いますけど。そういうメタギャグは珍項目の趣旨ではないし、現にそれは削除されて単に内容の不足がちな記事でしかないですから。Takobou 2007年11月28日 (水) 12:27 (UTC) （維持）冒頭部分だけでしかないが、架空の人物であるスーパーマンを取ったら多分何も残らなさそうな土地…にもかかわらず「映画館が無い」というトホホなオチがついている。--夜飛（話/歴） 2007年11月28日 (水) 11:15 (UTC) （維持）州法で「スーパーマンの故郷」と可決されているという点も、珍な町おこしの好例だと思います。どうでもよくはないけれど設定上で赤ん坊のスーパーマンが落ちてきたのはカンザス州スモールヴィルなんだけれどな……。Takobou 2007年11月28日 (水) 12:27 (UTC) （除去）--英語版と比べると説明不足。（バンクシーはみんなに知ってもらいたいけど）・・--?以上の署名の無いコメントは、Did you know（会話・履歴）さんによるものです。 （除去）--中国のネット検閲への対抗として作られたサイトに関する簡潔な記事であり、その試みは面白く、かの国の言論の自由などについて考えさせられはしますが、とくに「珍」という内容でもないと思います。--Charon 2007年12月1日 (土) 07:46 (UTC) （除去）百科事典としての質・量、特に専門的な内容に乏しく、鼻毛あたりと見比べても見劣りする。--Takobou 2007年12月2日 (日) 14:31 (UTC) （除去）通俗的な事柄に囚われ過ぎた雑記述が非百科事典的な雰囲気を醸してしまっている。--夜飛（話/歴） 2007年12月2日 (日) 15:06 (UTC) |
[ 163] Wikipedia:珍項目 - Wikipedia
[引用サイト] http://ja.wikipedia.org/wiki/%E7%8F%8D%E9%A0%85%E7%9B%AE
|
○ 利用者調査は、第三者である評価者が、利用者へのアンケートや対面聞き取り調査等を実施し分析する等の方法により、現在の利用者のサービスに対する満足度を把握する手法である。この手法を用いることで、利用者の、より率直な意見や要望を把握することができる。 ○ 事業評価は、第三者である評価者が、所定のプロセスに沿って事前調査及び訪問調査を実施し、利用者からは見えにくい事業のしくみやサービスの提供プロセスを、次の二つの視点から判断・分析すること等の方法により行う。 現在提供されているサービスの質を評価するために、第三者がサービス提供のプロセスを評価する。 安定的に良質なサービスが提供できるような体制にあるかどうかを評価するために、事業者の経営や組織のマネジメントを評価する。 ○ 平成１２年度、１３年度に行った、評価手法の検討、調査票の作成、試行、検証作業は、以下のとおりである。 ○ １２年度は、「東京都サービス評価制度検討委員会」において、高齢者福祉分野のサービスを、「地域福祉サービス評価システム検討会」において、保育・障害者福祉分野のサービスを対象にして、利用者調査の検討と試行を行った。具体的な対象サービスは、次のとおりである。 ○ また、１３年度においては、「福祉サービス第三者評価システム検討会」の下に、高齢、保育、障害各分野別に分科会を設置し、検討対象サービスを拡大して、以下の目的で検討と試行を行った。 ○ 各分科会は、次のような共通の枠組みに沿って、それぞれのサービス特性を踏まえて、検討を行った。 １２年度に利用者調査の検討・試行を行ったサービスについて調査票の項目数を絞り込んでいくこと 各サービスについて、施行後、共通評価項目につながる、重要と思われる評価項目を抽出 すること。 コミュニケーション能力が十分でなく、アンケートや聞き取り調査では意向を把握できない利用者に対する調査手法を検討すること。 ○ それぞれのサービスの試行結果から、重要と思われる評価項目を抽出するにあたっては、次のような定量的な分析や定性的な分析などいくつかの方法を組み合わせて行った。 利用者調査では、現在そのサービスを利用している人がどのような点を重視しているかを理解するために、満足度構造分析を行った。 満足度構造分析で抽出された項目を検討して、利用者の選択にも役に立つと思われる項目をサービスごとに１０から１５項目あげ、重要と思われる項目抽出の参考とした。 １）総合満足度に対する大項目（利用プロセス）の影響の強さ、 大項目に対する小項目（サービスのポイント）の影響の強さをそれぞれ算出。 ２）それぞれの項目の満足度への影響の強さと現状の評価とを組み合わせ、次の４種類の性質をもつ項目を抽出。 ３）職員にも利用者と同じ調査票を用いて、利用者の気持ちになって回答するという調査を行った場合は、その評価差を、利用者と事業者の認識のギャップとし、ギャップの大きい項目をギャップ項目とする。 判断能力の程度に幅があり、コミュニケーションが困難な利用者が多いサービスで、回答数が少なく、定量的分析になじまないなどの場合、いくつかの判断基準を設け重要と思われる項目を選定した。この際の判断基準には、以下のようなものがあげられる。 他の方法では判断ができず、利用者本人から直接聞かないとわからない項目、あるいは本人に聞いたほうがより効果的な項目 知的障害者入所施設などでは、抽象的な内容の質問は利用者が理解しにくい、時間や曜日に関わる内容では正確な回答が得られにくいなど、質問として成り立ちにくい要素を持つ項目は重要項目から除く 対象者の回答率が低い項目、あるいは対象者全員が「はい」と答えがちな項目は満足、不満足を把握する質問としての重要項目から除く 組織経営を全体的にみる８つのカテゴリーを作成し、各カテゴリーの下に、２〜４の大項目を設けた。大項目はカテゴリーをみるための切り口の一つである、一般企業の組織のマネジメントを評価するための手法を応用した。 その中で、カテゴリー６「サービス提供のプロセス」は、直接的に利用者に関わる部分であることから、８つの大項目とその下にチェック項目を設けた。また、各チェック項目の実施状況を評価するために、各チェック項目の下に３〜８程度の確認事項を設定した。 事業評価分析シート・・事業者の組織経営のしくみやマネジメントの状況を把握するための調査票。８つのカテゴリーの大項目の評価を記入する。 サービスチェックリスト・・カテゴリー６「サービス提供のプロセス」のチェック項目を確認するための調査票。 ○ 事業評価分析シートの作成にあたっては、一般企業の組織のマネジメントを評価するための手法を応用したため、調査票を作成するにあたっては、次のような点に留意した。 カテゴリーの表現や、カテゴリーの中の大項目の数あるいは大項目の表現は、福祉サービスの現状に即したものに置き換えた。 各大項目を５段階で評価することとしたが、評価をつけやすくするため、評価５と評価１のイメージを記述した。 事業者の取り組みは必ずしも意識されて行われているとは限らず、聞き取り調査において評価者が質問をし、事業者が答えていくやりとりの中で明らかになる場合もある。そのため、評価の根拠を記載する欄を調査票に設けた 評価の根拠は、良いと思う点、改善が必要と思われる点の両方を記載して、総合的にみて、大項目の評価をつけるようにした。 初めてこの調査票を記入する場合、具体的に何を書けばよいのかがわかりにくいため、評価の根拠の例示も載せた。 事業プロフィールを事業者が記入（ 参考資料（事業概要、パンフレット、年次計画等）添付） 事業評価分析シート、サービスチェックリストを事業者が記入 《事業者による自己評価》 事業評価分析シート及びサービスチェックリストの各項目に、評価を記載する欄と項目そのものの重要度（３段階）を記載する欄を設ける。 ◇ カテゴリー６の大項目５「サービスの実施」のチェック項目のうち、利用者によいサービスを提供する上で大事な項目 各カテゴリー内で、第三者評価の評点平均が比較的低い項目や、第三者評価の事業者間格差の大きい項目を重要と思われる項目にする。 |
[ 164] 評価・手法 項目編１
[引用サイト] http://www.fukushihoken.metro.tokyo.jp/shidou/hyouka/dai3/hyoka1.htm
