研究设计与效度问题

参考文献:

  1. Reis H T, Judd C M. Handbook of research methods in social and personality psychology[M]. Cambridge University Press, 2000.
  • Bryman A. Social research methods[M]. Oxford university press, 2015.

1.研究目的有三种:描述性研究;因果推论;理论解释。

  • 描述性研究:验证一种现象或关系的存在,描述世界的某种状态,包括在某一时间与空间范围内特殊事件的发生频率以及评估特色状态或情境之间的关联程度。
    现场研究OR实验室
  • 因果推论:验证变量之间的因果联系,如果X那么Y。找出那些可用于控制或者操作的动因,以便引起结果变量的变化。
任何引起世界某一种状态发生变化的干预,都将会随之带来研究结果状态的变化。
验证,not描述

自变量被操纵——实验或准实验
时间滞后,假设自变量的变化先于结果变量——自然情况

因果推测的效度很大程度上取决于研究者对自变量的定义!
  • 理论解释:用于基础理论检验,仅仅了解因果的存在是不够的,要进行解释,验证X与Y之间存在的干预中介过程。才能反映因果关系的“本质概念”。

2.效度:Campbell 1957,1963,1966区分除了经典的内部效度(internal validity)和外部效度(external validity)。Cook and Campbell 1979将外部效度进一步区分,引入构念效度。

  • 内部效度:因变量的改变是不是由自变量的改变引起的
    A concern with the question of whether a finding that incorporates a causal relationship between two or more variables is sound.

  • 外部效度:在不同的被试群体中、在不同的实验条件下、使用不同的方法,是否可以获得相同的因果关系
    A concern with the question of whether the results of a study can be generalized beyond the specific research context in which it was conducted.
    (1)稳健性:实验可以重复吗?可以推论至多个人群和情境;可推论至某个特定人群。

有关外部效度或者推论概括性的各种问题实际上就是自变量(实验处理)和情境变量(被试选择、被试的经历以及研究设置等)之间相关关系的问题。对外部效度的本质关注是寻找那些限制和影响研究中因果关系的调节因素,一旦能够辨识出潜在的调节因素,就可以通过系统地改变这些因素,看他们是否导致结果变量的变化,从而验证研究效果的稳健性。Cook, Campbell 1979

(2)生态效度 Ecological validity : 它有代表性吗?研究结果变量的改变是否如同它在现实中发生的改变一样?
A concern with the question of whether social scientific findings are applicable to people's everyday, natural social setting.
引导出因果关系的实验情境与现实生活中包含同样因果关系的情境不一定要表面上看起来十分类似,才能证明该因果是有效的。
(3)相关性:它重要吗?研究结果对于问题解决或者提高生活质量是否具有潜在的帮助作用和适用性?
是一种最终形式的推论概括性,其差异表现在程度而非类型上。
基础研究结果及其应用之间的联系通常是间接的和累进的,而不是即刻就能实现的。

  • 构念效度:在特定研究中使用的特殊方法和操纵条件下得到的因果关系,可以被推论到研究试图表征的理论构念及过程的程度。
    The correspondence between a construct and the operational procedure to measure or manipulate that construct. Two indicators, convergent validity(Cronbach's alpha) and discriminant validity(Factor analysis).
    Measure validity : The degree to which a measure of concept truly reflects that concept. See also face validity and concurrent validity.
    Face validity :A concern with the question of whether an indicator appears to reflect the content of the concept in question.
    Concurrent validity : one of the main approaches to establishing measuring validity. It contains relating a measure to a criterion on which cases are known to differ and that is relevant to the concept in question.

Concurrent validity measures how well a new test compares to a well-established test. It can also refer to the practice of concurrently testing two groups at the same time, or asking two different groups of people to take the same test.
Example 2: Concurrent validity can also occur between two different groups. For example, let’s say a group of nursing students take two final exams to assess their knowledge. One exam is a practical test and the second exam is a paper test. If the students who score well on the practical test also score well on the paper test, then concurrent validity has occurred. If, on the other hand, students who score well on the practical test score poorly on the paper test (and vice versa), then you have a problem with concurrent validity. In this particular example, you would question the ability of either test to assess knowledge.
[statistic show to](http://www.statisticshowto.com/concurrent-validity/

Predictive validity: tells you how well a certain measure can predict future behavior.

3.效度的针对性

  • 描述性研究:生态效度最为重要,描述的是否为真实的世界?
  • 应用研究:稳健性特别重要,可否复制和推广
  • 设计解决应用问题的方法:稳健性,生态有效性,结果是否脆弱,推论范围是否狭窄
  • 理论解释:构念效度比外部效度更重要
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 199,830评论 5 468
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 83,992评论 2 376
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 146,875评论 0 331
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 53,837评论 1 271
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 62,734评论 5 360
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,091评论 1 277
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,550评论 3 390
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,217评论 0 254
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,368评论 1 294
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,298评论 2 317
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,350评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,027评论 3 315
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,623评论 3 303
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,706评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,940评论 1 255
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,349评论 2 346
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 41,936评论 2 341

推荐阅读更多精彩内容