Show Less
Open access

Fremdsprachenforschung als interdisziplinäres Projekt

Series:

Edited By Eva Wilden and Henning Rossa

Dieses Buch widmet sich der Interdisziplinarität, die für die Zugänge, Formate und Methoden fremdsprachendidaktischer Forschung charakteristisch ist. Qualitative und quantitative Forschungsansätze bzw. Mixed-Methods-Designs werden anhand aktueller Studien dargestellt. Ein besonderer Fokus gilt den interdisziplinären Bezügen der jeweiligen Studien. Die forschungspraktischen Beispiele stellen laufende bzw. kurz vor Abschluss stehendende Studien der empirischen Fremdsprachenforschung vor. So bieten die Beiträge einen aktuellen Überblick über fremdsprachendidaktische Forschungspraxis und enthalten vielfältige Anregungen für die forschungsmethodischen Optionen und ethischen Fragen, die es bei neu zu konzipierenden Studien im interdisziplinären Feld der Fremdsprachenforschung abzuwägen gilt.

Show Summary Details
Open access

Quantitative Forschungsmethoden in der Fremdsprachenforschung (Julia Settinieri)

Julia Settinieri

Quantitative Forschungsmethoden in der Fremdsprachenforschung

Abstract: Quantitative second language acquisition (SLA) research has gained substantially in importance throughout the last few decades. Yet, it is still restricted by a considerable lack of expertise and professionalism. This article thus sketches out state-of-the-art quantitative research methods in SLA as well as potential future developments.

second language acquisition research, quantitative methodology, linguistics, psychology, data analysis

1 Einleitung

Auch wenn die Empirie in der Fremdsprachenforschung einen immer größeren Stellenwert einnimmt, erscheint sie noch nicht im gleichen Maße konsolidiert, wie dies für viele ihrer Bezugsdisziplinen bereits gelten kann. Vielmehr kann man den Eindruck gewinnen, dass Fremdsprachenforscher*innen – je nach konkretem Forschungsgegenstand – in der Regel forschungsmethodologische Anleihen in unterschiedlichen Bezugswissenschaften machen, diese dann kombinieren, ergänzen oder modifizieren (vgl. auch Aguado sowie Schmenk in diesem Band). So versuchen sie, passgenaue Lösungen für ihre methodischen Fragen und Probleme zu generieren, für die es häufig (noch) keine vorgefertigten Schablonen zu geben scheint, was gerade Nachwuchswissenschaftler*innen nicht selten erheblich verunsichert. Darüber hinaus lässt sich, z. B. in Bezug auf Qualifikationsarbeiten, eine relativ große Vielfalt methodischer Verfahren beobachten. Einige Methoden werden dabei auffallend häufig eingesetzt, so dass sich durchaus fachspezifische Muster abzeichnen, die allerdings wiederum auch Moden unterliegen können.

Dieser Beitrag geht daher der Frage nach, was unser Fachgebiet von Bezugsdisziplinen wie z. B. der Linguistik, der Pädagogik, der Psychologie oder auch der Soziologie unterscheidet und was diese Unterschiede für die Planung, Durchführung und Interpretation empirischer und hier insbesondere quantitativer Forschung bedeuten. Auf dieser Basis wird versucht zu umreißen, worin das Typische oder vielleicht sogar das Eigene einer quantitativen Forschungsmethodologie1←151 | 152→ unserer Fachrichtung bestehen könnte. Diese kann dabei exemplarisch wie folgt beschrieben werden:

Quantitative research uses numbers, quantification, and statistics to answer research questions. It involves the measurement and quantification of language and language-related features of interest, such as language proficiency, language skills, aptitudes, and motivation. The data collected are then analysed using statistical tools, the results of which are used to produce research findings. (Roever/Phakiti 2018: Preface XVII)

Quantitative research in language studies is a systematic approach to addressing research questions with numerical data which utilizes empirical methods to assist in explaining how people learn, use, and conceptualize language. It is a systematic and disciplined process of inquiry, which involves researchers instituting control over potential sources of error during each stage of the data collection process. (Hudson 2015: 55)

Den Kern beider Definitionen stellen Daten in Zahlenform und statistische Auswertung dar. Grundlagen der weiteren Überlegungen bilden Übersichtsdarstellungen zu empirischen Arbeiten sowie die einschlägige Fachliteratur, die sich einführend oder kritisch reflektierend mit Forschungsmethodologie der Fremdsprachenforschung befasst. Diskutiert werden Potentiale und Herausforderungen einer zunehmend eigenständigen Forschungsmethodologie der Fremdsprachenforschung sowie mögliche Entwicklungslinien.

2 Die quantitative Fremdsprachenforschung im Spannungsfeld ihrer Bezugsdisziplinen

Betrachtet man die Fremdsprachenforschung zunächst im Vergleich zu anderen Fachgebieten, die hinsichtlich der Forschungsmethodologie (nicht der Forschungsgegenstände!) als Bezugsdisziplinen zu bezeichnen sind, so lassen sich erste Charakteristika ausmachen. Forschungsmethodologische Publikationen oder Lehrveranstaltungen, die von Fremdsprachenforscher*innen häufiger rezipiert bzw. besucht werden, sind primär in den Fachgebieten Psychologie, Pädagogik, Soziologie, Linguistik (u. a. Angewandte Linguistik, Korpuslinguistik, Psycholinguistik) oder auch Wirtschaftswissenschaften angesiedelt. In letzterem Fall geht es tendenziell um statistisches Grundlagenwissen, das als nahezu fächerunabhängig gelten kann. Aus den anderen vier Disziplinen können hingegen durchaus auch Anleihen im Bereich des Forschungsdesigns gemacht werden.←152 | 153→ Die drei sozialwissenschaftlich ausgerichteten Fächer bieten insbesondere Methodenkompetenz in Bezug auf Grundformen der Befragung, der Beobachtung und der Testung bzw. des (Quasi-)Experiment. Dies gilt sowohl mit Blick auf die Datenerhebung als auch die -auswertung. Darüber hinaus liefern sie bewährte einschlägige Operationalisierungen einiger Lernervariablen, wie z. B. des Migrationshintergrunds oder des sozio-ökonomischen Status. Die Linguistik hingegen bietet sich insbesondere für Anleihen in den Bereichen Elizitierung mündlicher und schriftlicher Sprachdaten sowie Methoden der (Lerner-)Sprachenanalyse, hier wiederum insbesondere der Korpusanalyse, an.

Gleichwohl lassen sich auch grundlegende Unterschiede in den Herangehensweisen der Fächer feststellen. Viele wirtschaftswissenschaftliche Publikationen oder Lehrveranstaltungen beschäftigen sich etwa nicht genuin mit menschlichem Verhalten, sondern analysieren vielmehr Prozesse und Entwicklungen, die es ihnen erlauben, klarere Regelhaftigkeiten und Formeln abzuleiten. Menschen hingegen sind grundsätzlich komplex, so dass Forschung mit ihnen stets einer nicht unerheblichen Faktorenkomplexion unterliegt (vgl. Riemer 2011: 197). Linguistische Forschung abstrahiert nichtsdestotrotz in vielen Zusammenhängen von Eigenschaften einzelner Sprecher*innen, etwa wenn sie auf sprachliche Systematik zielt. Möchte man z. B. linguistische Merkmale ausgewählter juristischer Fachtexte untersuchen, sind dabei die sprachbiographischen Hintergründe der Verfasser*innen zunächst weniger relevant. Die Sozialwissenschaften hingegen beziehen personenbezogene Daten – ähnlich wie die Fremdsprachenforschung – in der Regel mit in ihre Untersuchungen ein. Für die Soziologie wirken diese Daten in erster Linie gruppenbildend, da sie häufig mit sehr großen Stichproben arbeitet, um im Rahmen von Panel-Untersuchungen gesellschaftliche Entwicklungen zu analysieren.2 Einzelfallbezogen werden sie hingegen in Psychologie oder Pädagogik relevant, wobei Psychologie und Fremdsprachenforschung vor allem im Bereich der Untersuchung von Normabweichungen und von Test-Settings Parallelen aufweisen, Pädagogik und Fremdsprachenforschung eher im Bereich der Unterrichtsforschung. Während in der Psychologie nicht selten auch experimentelle Designs in Frage kommen, arbeiten Pädagogik und Fremdsprachenforschung häufiger mit anfallenden Stichproben, wie z. B. bereits bestehenden Unterrichtsgruppen. Ein Random-Sampling bzw. zumindest randomisierte Gruppenzuweisungen sind deutlich seltener möglich.←153 | 154→

Schließlich weist die quantitative Fremdsprachenforschung darüber hinaus einige Spezifika auf. So stellt der Sprachstand von Proband*innen in vielen Untersuchungen die abhängige Variable dar, deren Varianz über verschiedene unabhängige Variablen aufgeklärt werden soll. Insbesondere das weite Forschungsfeld der Sprachdiagnostik bzw. des Testens und Prüfens ist hier angesprochen. Von Bedeutung sind dabei nicht nur in der Person der Lernenden liegende individuelle Unterschiede, sondern auch die Bedingungen gesteuerten und ungesteuerten Erwerbs, die in Quantität und Qualität in der Regel nur begrenzt genau zu erheben sind. Möchte man z. B. die Wirksamkeit eines neuartigen Lehr-Lern-Settings testen, so muss man einerseits bedenken, dass unterschiedliche Menschen ganz unterschiedlich darauf reagieren könnten und dass andererseits auch weiterer Sprachkontakt den Erwerb beeinflusst haben könnte. Eine weitere Besonderheit der Fremdsprachenforschung besteht darin, dass die Forschungsteilnehmer*innen häufig in ihrer L2 befragt, beobachtet oder getestet werden, was die Daten zusätzlich beeinflussen kann (vgl. auch Schramm/Marx 2017: 215–216). Entsprechend stellt sich die Frage, welche fachübergreifenden oder auch fachspezifischen Methoden der Datenerhebung, -aufbereitung und -analyse in quantitativen Studien zur Erforschung des L2-Erwerbs aktuell tatsächlich eingesetzt werden. Hier können einerseits empirische Forschungsarbeiten, andererseits forschungsmethodologische Lehrwerke einen Einblick geben.

3 Quantitative Studien in der Fremdsprachenforschung

Behrent et al. (2011) sowie Doff et al. (2016) geben einen Überblick über von 2006 bis 2009 respektive 2009 bis 2013 in Deutschland im Fachgebiet language education publizierte Doktorarbeiten. Für den Zeitraum von 2009 bis 2013 werden dazu 23 aus insgesamt ca. 70 Dissertationen einer genaueren Analyse unterzogen; von 2009 bis 2013 liegen dem Aufsatz ebenfalls 70 Doktorarbeiten zugrunde. Wenngleich der Schwerpunkt der Analyse eher auf den Forschungsgegenständen liegt, fassen Behrent et al. (2011: 258–259) für 2006 bis 2009 aus forschungsmethodologischer Perspektive zusammen:

Most studies seem to […] be qualitative (explorative and/or interpretive in design), making use of method triangulation within this research paradigm, usually involving questionnaires and interviews, but also interaction analysis and observation [and] use relatively small samples to investigate individual learning processes, […]. […] While young researchers need to be able to choose from a broad array of research methodologies, they should also be exposed to these different possibilities early. Quantitative designs or integrated (quantitative/qualitative) research designs, involving larger samples and quantitative data, should be developed further, in order to provide a more complete view of language teaching and learning.←154 | 155→

Für 2009 bis 2013 konstatieren Doff et al. (2016: 231) hingegen, dass qualitative Forschung zwar immer noch dominiere, dass aber auch quantitative Forschung eine wichtige Rolle spiele, u. a. im Zusammenhang mit Triangulation.

In einer Online-Umfrage unter Fremdsprachenphilolog*innen zur forschungsmethodologischen Ausbildung an deutschen Hochschulen (Settinieri 2015) geben 102 (82,93 %) der insgesamt 124 Befragten an, empirisch zu forschen, 43 (34,96 %) hermeneutisch und 23 (18,70 %) historisch, wobei Mehrfachnennungen möglich waren. Innerhalb der empirisch Forschenden ordnen sich 27 (25,47 %) ausschließlich dem qualitativen, 37 (34,91 %) schwerpunktmäßig dem qualitativen, 16 (15,09 %) schwerpunktmäßig dem quantitativen und 8 (7,55 %) ausschließlich dem quantitativen Paradigma zu. 23 (21,70 %) geben an, ausgeglichen in beiden Paradigmen zu forschen. Es zeichnet sich folglich eine deutliche Präferenz qualitativer Forschungsansätze ab.

Innerhalb der quantitativen Datenerhebungsverfahren liegen Fragebogen (69,23 %), Korpusanalyse (51,28 %) und Test (23,93 %) vor dem Experiment (15,38 %). Interessant ist ferner, dass 31,62 % der Befragten angaben, quantitative Daten mit SPSS auszuwerten, 12,82 % R nutzen und lediglich drei Befragte (2,56 %) Stata. (Nach eingesetzten Rechenverfahren wurde nicht gefragt.)

Etwas anders als in der deutschsprachigen Fremdsprachenforschung sieht es allerdings in der englischsprachigen Forschungslandschaft aus. Bereits 2005 untersucht Lazaraton die Jahrgänge 1991 bis 2001 der Fachzeitschriften Language Learning, Modern Language Journal, Studies in Second Language Acquisition und TESOL Quaterly. Dabei stellt sie fest, dass 450 der 524 publizierten Aufsätze, also 86 %, im quantitativen Forschungsparadigma zu verorten seien. Besonders häufig würden dabei ANOVAS, Korrelationen, t-Tests, Regressionsanalysen und Chi-Quadrat-Testungen eingesetzt.

Während sich also insgesamt belegen lässt, dass quantitative Methoden in der Fremdsprachenforschung eine durchaus wichtige Rolle spielen und gerade auch in den letzten Jahrzehnten erheblich ausgebaut wurden, wird jedoch häufig, und zwar aus den eigenen Reihen, eine noch mangelnde Professionalität beklagt. Norris et al. (2015b: 1–2) benennen z. B. die folgenden Problemfelder:3

[…] inadequate experimental design and control coupled with claims of causality, effectiveness, and impact; impoverished sample sizes, as a rule, in combination with increasing use of multivariate analyses; inattention to assumptions about numeric data in the selection of fitting inferential techniques; dramatic and persistent over- and misinterpretation←155 | 156→ of p values and statistical significance testing, coupled with inattention to effect sizes of all sorts; incomplete reporting of descriptive and inferential statistics; a willingness to generalize on the basis of one or a few cases; and so on.

Ähnlich kommt Plonsky (2013: 678), der im Rahmen einer Metaanalyse über 600 quantitative L2-Studien bezüglich Design, Datenanalyse und Berichtsform betrachtet, zu dem kritischen Schluss, dass hinsichtlich der statistischen Analysen beispielsweise häufig zu kleine Stichproben verwendet, nicht-signifikante Ergebnisse aus der Ergebnisdarstellung ausgespart und keine Angaben dazu gemacht werden, ob die vorliegenden Daten bestimmte statistische Voraussetzungen erfüllen; auch würden nur selten multivariate Analyseverfahren eingesetzt. Und auch Brown (2011: 197) benennt das Prüfen von Voraussetzungen, den Umgang mit dem p-Wert sowie die Reliabilität von Messungen als zentrale Herausforderungen quantitativer Forschung in unserem Fachbereich.

Gerade das Zusammenspiel von (in der Fremdsprachenforschung nicht selten leider geringem) Stichprobenumfang, (überbewertetem) Signikanzniveau, (niedriger) Test- und (häufig nicht beachteter) Effektstärke ist folglich immer wieder kritisch in den Blick genommen worden. Dabei scheint sich ein allmählicher Wandel zu einer stärkeren Berücksichtigung von Effektstärken und einer weniger starken Fixierung auf den p-Wert abzuzeichnen (vgl. einführend z. B. Larson-Hall 2016, zur Kritik z. B. Settinieri 2016: 333–339). Unter anderem haben einflussreiche Zeitschriften, wie TESOL Quaterly, Language Learning oder Studies in Second Language Acquisition, Research Guidelines veröffentlicht, die einen substanziellen Beitrag dazu leisten, Standards zu setzen.

4 Fachliteratur zur quantitativen Forschungsmethodologie

Eine andere Möglichkeit, sich der Frage zu nähern, welche quantitativen Forschungsmethoden für die Fremdsprachenforschung besonders charakteristisch sind, besteht darin, sich forschungsmethodologische Einführungen anzuschauen. Sie sind in der Regel von Fremdsprachenforscher*innen für Fremdsprachenforscher*innen geschrieben und sollten daher grundsätzlich einen einschlägigen Fokus aufweisen. Beschränkt man die Literatursuche auf die letzten zehn Jahre (2007 bis 2017), so lassen sich die in Tabelle 1 dargestellten Kapitelüberschriften finden.4←156 | 157→

Tabelle 1: Forschungsmethodologische Grundlagenliteratur

Quelle

Kapitel zu quantitativen Forschungsmethoden

Doff (Hrsg.) (2012)

3.1 Experimentelle Fremdsprachenforschung

4.1 Fragebogenkonstruktion im Kontext des schulischen Fremdsprachenlernens

4.2 Tests als Untersuchungsgegenstand und Forschungsinstrument in der Fremdsprachenforschung

5.1 Statistische Verfahren

Mackey/Gass (Hrsg.) (2012)

2 How to Use Foreign and Second Language Learner Corpora

3 Formal Theory-Based Methodologies

5 How to Design and Analyze Surveys in Second Language Acquisition Research

7 How to Use Psycholinguistic Methodologies for Comprehension and Production

11 Coding Second Language Data Validly and Reliably

13 How to Run Statistical Analyses (darin genauer: t-Test, ANOVA, Pearson-Korrelation, Chi-Quadrat-Test)

14 How to Do a Meta-Analysis

15 Why, When, and How to Replicate Research

Settinieri et al. (Hrsg.) (2014)

6 Test

7 Befragung

9 Beobachtung

12 Analyse quantitativer Daten (darin genauer: t-Test, U-Test, Chi-Quadrat-Test, Pearson-Korrelation, Spearman-Korrelation, Kontingenzkoeffizient C)

14 Experiment und Quasi-Experiment

Benati (2015)

4 Experimental Research Framework

5 Classroom Observation Research Framework←157 | 158→

Brown/Coombe (Hrsg.) (2015)

7 Essentials of Quantitative Research for Classroom Teachers

10 Mixed Methods Research

15 Corpus Research

18 Replication Research in Quantitative Research

25 Sampling and What it Means

27 Constructing Questionnaires

30 Designing and Using Rubrics

32 Analyzing Your Data Statistically

Plonsky (Hrsg.) (2015)

Gesamtes Buch, u. a. (Kapiteltitel verkürzt):

3 Statistical Power, p Values, Descriptive Statistics, and Effect Sizes: […]

5 Presenting Quantitative Data Visually

4 A Practical Guide to Bootstrapping Descriptive Statistics, Correlations, t Tests, and ANOVAs

6 Meta-analyzing Second Language Research

7 Multiple Regression

8 Mixed Effects Modeling and Longitudinal Data Analysis

9 Exploratory Factor Analysis and Principal Components Analysis

10 Structural Equation Modeling in L2 Research

11 Cluster Analysis

12 Rasch Analysis

13 Discriminant Analysis

14 Bayesian Informative Hypothesis Testing

Caspari et al. (Hrsg.) (2016)

4.5 Der zweite Blick: Meta-Analysen und Replikationen

5.2.3 Beobachtung

5.2.4 Befragung

5.2.8 Testen

5.3.8 Korpusanalyse

5.3.9 Statistische Verfahren – Einleitung

5.3.10 Deskriptiv- und Inferenzstatistik

5.3.11 Explorative und konfirmatorische Faktorenanalysen

Larson-Hall (2016)

Gesamtes Buch, u. a. (Kapiteltitel verkürzt):

3 Describing Data Numerically and Graphically and Assessing Assumptions for Parametric Tests

4 Changing the Way We Do Statistics: The New Statistics

5 Choosing a Statistical Test

6 Finding Relationships Using Correlation […]

7 […] Multiple Regression […]

8 […] T-Tests […]

9 […] One-Way Analysis of Variance […]

10 […] Factorial Analysis of Variance […]

11 […] Repeated-Measures Analysis of Variance […]←158 | 159→

Albert/Marx (2017)

3.2.1 Fragebogen-Befragungen

3.3 Korpusanalysen

3.4 Experimente und Interventionen

3.5 Tests

3.6 Metaanalysen

5 Ist die Statistik in Ordnung?

Roever/Phakiti (2018)

3 Descriptive Statistics

4 Descriptive Statistics in SPSS

5 Correlational Analysis

6 Basics of Inferential Statistics

7 T-Tests

8 Mann-Whitney U and Wilcoxon Signed-Rank Tests

9 One-Way Analysis of Variance (ANOVA)

10 Analysis of Covariance (ANCOVA)

11 Repeated-Measures ANOVA

12 Two-Way Mixed-Design ANOVA

13 Chi-Square Test

14 Multiple Regression

15 Reliability Analysis

Ersichtlich ist zunächst, dass die Mehrzahl der fachspezifischen Einführungen (mit Ausnahme von Plonsky 2015) nicht sehr weit gehen in dem, was sie aus dem Bereich der quantitativen Forschungsmethoden auswählen und darstellen. So weisen Roever/Phakiti (2018: Preface XIX) z. B. darauf hin, dass ihr Buch lediglich zu verstehen sei als „foundation on which readers can further their learning of more complex statistics not covered in this book (e.g., factor analysis, multivariate analysis of variance, Rasch analysis, generalizability theory, multilevel modeling, and structural equation modeling)“.

Gleichzeitig lassen sich aus der Übersicht einige Kernthemen ablesen: Hinsichtlich der Datenerhebungsmethoden werden Fragebogen, Tests, Experimente und Korpusanalysen vergleichsweise häufig genannt; was die statistischen Auswertungsverfahren betrifft, so scheinen t-Test, ANOVA, Korrelation, Chi-Quadrat-Test und Regressionsanalyse auffällig häufig als grundlegend ausgewählt zu werden.

Besonders interessant sind ferner die Kapitel zu Replikationsstudien und Meta-Analysen in den vorliegenden Einführungen. Sie spiegeln einen Trend, die Ergebnisse quantitativer Studien, die lange in dem unangefochtenen Ruf standen, per se repräsentativ, objektiv und valide zu sein, kritischer zu hinterfragen bzw. einen „zweiten Blick“ auf sie zu werfen, wie Harsch (2016: 98) es formuliert. So zielen←159 | 160→ Replikationsstudien darauf, insbesondere Studien, auf denen zentrale Grundannahmen unseres Faches aufbauen, erneut durchzuführen, um zu prüfen, ob sie tatsächlich zu denselben oder zumindest im Kern dieselben Schlussfolgerungen zulassenden Ergebnissen kommen.

A cornerstone of scientific research is the possibility of confirming (or otherwise) existing theory, hypotheses, or results by repeating previous procedures. The outcomes of such a repetition, or replication study, would ideally show us how far we can separate knowledge from the particular circumstances of time, place, procedure, or subjects which were part of the original experiment or study. (Porte 2015: 140)

Für Aufregung gesorgt hat in diesem Zusammenhang jüngst eine Studie von Camerer et al. (2018), die 21 Studien, die zwischen 2010 und 2015 in den renommierten Zeitschriften Nature und Science publiziert wurden, an durchschnittlich fünfmal so großen Stichproben, wie es in den Originalstudien der Fall war, repliziert haben. In lediglich 13 der 21 Studien (62 %) kann dabei ein signifikantes in dieselbe Richtung weisendes Ergebnis festgestellt werden, wobei die gemessenen Effektstärken darüber hinaus durchschnittlich nur halb so groß sind wie die der Originalstudien. Somit zeigt sich der bekannte publication bias, dass Studien mit besonders großen Effektstärken im Verhältnis zu denen mit vergleichsweise niedrigen überproportional häufig publiziert werden (vgl. hierzu auch die sehr gut veranschaulichenden Abbildungen 6.2 und 6.3 in Plonsky/Oswald 2015: 115–117). Ferner scheinen Forschende interessanterweise auch selbst ein Gefühl dafür zu haben, welchen Studien zu trauen ist und welchen möglicherweise weniger.

Furthermore, we find that peer beliefs of replicability are strongly related to replicability, suggesting that the research community could predict which results would replicate and that failures to replicate were not the result of chance alone. (Camerer et al. 2018: 637)

Gleichwohl werden trotz der immer wieder aufkommenden Forderungen danach immer noch relativ wenige Replikationsstudien durchgeführt. Abbuhl (2012: 298) vermutet:

In particular, some might believe that replicating the study – broadly speaking, repeating it to test whether the same findings are obtained – would be a waste of research time, an insult to the original team of researchers, and, in general, a step unlikely to advance in the field.

Insbesondere für grundlegende Studien scheint eine systematische Replikation aus den o. g. Gründen allerdings unerlässlich.

Eine gewissermaßen noch weitergehende Revision der Ergebnisse vorliegender Studien stellen Meta-Analysen dar. Plonsky/Oswald (2015: 106) definieren wie folgt:←160 | 161→

The narrower definition of meta-analysis refers to a statistical method for calculating the mean and the variance of a collection of effect sizes across studies, usually correlations (r) or standardized mean differences (d). The broader definition of meta-analysis includes not only these narrower statistical computations, but also the conceptual integration of the literature and the findings that gives the meta-analysis its substantive meaning.

Im Unterschied zu einem klassischen zusammenfassenden Forschungsüberblick (narrative review) berücksichtigen Meta-Analysen systematisch die Varianz im Stichprobenfehler sowie Effektstärken anstelle von Signifikanzschwellen und wirken so der Subjektivität von Forschenden bei der Rezeption bereits vorliegender Studien entgegen (Plonsky/Oswald 2012: 275–277). Ein Zurückstellen des p-Werts und im Gegenzug das Referieren von Teststärke, Effektstärke und Konfidenzintervallen sieht auch Brown (2011: 197–201; vgl. auch Brown 2014 für einen umfassenden Überblick über typische Methodenfehler quantitativer Forschender) als eine zentrale Entwicklungstendenz der kommenden Jahre an, neben Forschungsethik, mixed methods, Replikationsstudien und Metaanalysen. Was den Einsatz einzelner quantitativer Methoden betrifft, so sehen Norris et al. (2015a) Strukturgleichungsmodelle, Gemischte-Effekte-Modelle, Bayessche Statistik sowie neuere Methoden der gebrauchsbasierten Linguistik als zukunftsweisend an. Gerade Strukturgleichungsmodelle werden meines Erachtens seit einigen Jahren in Erwerbsstudien zunehmend eingesetzt; für den Bereich der Testmethodologie sind Rasch-Analysen zudem in den letzten Jahren stark in den Vordergrund gerückt.

5 Vorläufiges Fazit

Insgesamt lässt sich schlussfolgern, dass die Fremdsprachenforschung durchaus einige genuine Bedarfe im Bereich der quantitativen Forschungsmethodologie aufweist, die sich tendenziell fortlaufend ausdifferenzieren und die aller Voraussicht nach – in Zeiten des Qualitätsmonitorings – auch weiter ansteigen werden, so dass sich ein eigenes forschungsmethodologisches Profil der Fremdsprachenforschung abzeichnet. Es lässt sich durch Sprachkompetenz als Variate, Faktorenkomplexion, Testen und Prüfen sowie die Besonderheit von Datenerhebungen in der L2 charakterisieren. Erforderlich werden dadurch eigene Instrumente, wie insbesondere Sprachtests, sowie der vermehrte Einsatz von Regressionen, Strukturgleichungsmodellen oder auch Rasch-Analysen neben den ebenso verwendeten einfacheren statistischen Verfahren zur Testung von Unterschieds- und Zusammenhangshypothesen.

Gleichzeitig mangelt es der Fremdsprachenforschung jedoch an einer eigenständigen forschungsmethodologischen Aus- und Weiterbildung, was nicht zu←161 | 162→letzt darin begründet liegt, dass die Fremdsprachenforschung als interdisziplinäres Forschungsfeld meist mehrere Disziplinen integrieren muss. Dadurch werden die Kapazitäten der einzelnen Felder notwendigerweise stark begrenzt. So umfasst ein fremdsprachenphilologischer Studiengang üblicherweise (in veränderlichen Anteilen) Linguistik, Literaturwissenschaft, Kulturwissenschaften, Zweitsprachenerwerbsforschung, Didaktik und gegebenenfalls Forschungsmethodologie.5 Daneben sind in aller Regel Anteile an Sprachpraxis in den Studiengängen enthalten, wobei diese angewandt und nicht theoretisch gelehrt werden und insofern außerhalb der Betrachtung stehen.

Gleichzeitig stellt sich aber auch die potenziell zu lehrende Forschungsmethodologie als sehr facettenreich dar, was u. a. an der oben skizzierten Speisung aus verschiedenen anderen Fachdisziplinen liegt. So bemerken auch Norris et al. (2015b: 2–3):

Historically, in addressing diverse questions of the theoretical as well as practical interest, L2 research has drawn upon a variety of epistemologies. Indeed, epistemological diversity is a hallmark of the broad scholarly discipline of applied linguistics, where anthropological, linguistic, educational, phenomenological, psychological, psychometric, sociocultural, and other persuasions determine how researchers approach language phenomena […].

Indeed, given the plethora of presumably acceptable research methods, it is questionable to what extent a given L2 researcher can ever receive adequate training to become expert in any of them, at least during a typical graduate education.

Im Zusammenspiel der Teilgebiete fällt weiter auf, dass die Disziplinen Linguistik, Literaturwissenschaft, Kulturwissenschaften sowie die (Allgemeine) Didaktik jeweils auch als grundständige Fächer studierbar sind. Dies trifft auf die Zweitsprachenerwerbsforschung und die Forschungsmethodologie hingegen nicht zu. Während Forschungsmethodologie ohne Fachbezug als Studiengegenstand auch kaum Sinn machen würde, fehlt die Zweitsprachenerwerbsforschung im Fächerkanon. In Form des Studiengangs Sprachlehrforschung konnte sie sich an den Universitäten Bochum und Hamburg leider nicht halten, was meines Erachtens eine nur schwer zu schließende Lücke in der Studienlandschaft hinterlässt und u. a. das Problem aufwirft, welches Per←162 | 163→sonal im Bereich der fremdsprachenphilologischen Forschungsmethodologie eigentlich qualifiziert lehren könnte.6

Nicht zuletzt aufgrund dieses Ausbildungsdefizits wird gerade die quantitative Fremdsprachenforschung häufig fachfremd, z. B. durch Bildungswissenschaftler*innen mit einschlägigem forschungsmethodologischem Knowhow, durchgeführt, denen jedoch in der Regel im Gegenzug die fachlichen Grundlagen fehlen. Denn weder Psychologen noch Pädagogen bzw. Bildungswissenschaftler bieten Studiengänge mit ausgeprägten Profilierungsmöglichkeiten im Bereich der Mehrsprachigkeit an. Das gleiche gilt für Linguistik-Studiengänge, wobei hier möglicherweise stärkere Anknüpfungsmöglichkeiten vorhanden wären. Fehlt es letztlich also vor allem an einschlägigen Studiengängen? – Möglicherweise. Allerdings scheinen die damit verbundenen Berufsaussichten wenig vielversprechend zu sein, was sicherlich zum Teil auch den Wegfall der Sprachlehrforschung mitbedingt hat.

Die defizitäre Ausbildung hat zufolge, dass einerseits manche Forschungen vielleicht gar nicht durchgeführt werden, obwohl sie sehr gewinnbringend sein könnten. Roever/Phakiti (2018: XVIII) vermuten, dass neben der mangelnden Ausbildung auch Einstellungen bzw. Selbstwirksamkeitsüberzeugungen der Forschenden Ursachen für die mangelnde Auseinandersetzung mit quantitativen Forschungsansätzen darstellen könnten:

Since researchers in applied linguistics frequently come from an arts, humanities, education, and/or social sciences background, they often have little familiarity with mathematical and statistical concepts and procedures, and perceive statistics as a foreign language, feeling apprehensive at the prospect of grappling with quantitative concepts and developing statistical skills. This may lead them to choose a qualitative research approach, despite a quantitative one being more suitable to answer a particular research question.

Noch viel grundlegender erscheint aber, dass auch die Rezeption vorhandener Forschung ohne Grundlagenkenntnisse problematisch sein könnte, denn: „[I]f readers do not understand the use of statistics in a paper, they are forced to take the author’s interpretation of statistical outcomes on faith, rather than being able to critically evaluate it.“ (Roever/Phakiti 2018: XVIII)

Im Feld des Testens und Prüfens ist bereits eine Form von Auslagerung zu beobachten, indem Institutionen wie das TestDaF-Institut oder die telc GmbH←163 | 164→ anstelle von Universitäten highstakes tests entwickeln, abnehmen, auswerten und evaluieren. Gleichzeitig findet durchaus eine zunehmende Professionalisierung von Fremdsprachenforscher*innen auf dem Gebiet der quantitativen Forschungsmethodologie statt, z. B. in Form von Sommerschulen, Methodentagungen, preconference workshops usw. (vgl. Settinieri 2015 für einen Überblick). Angesichts der recht begrenzten im Rahmen der Ausbildung zur Verfügung stehenden zeitlichen Ressourcen werden diese Bemühungen jedoch immer auch an Machbarkeitsgrenzen stoßen. Perspektivisch wünschenswert erschiene daher die Einrichtung von Methodenzentren an den Universitäten, die sich – analog zu den mittlerweile recht verbreiteten Schreibzentren – der gezielten Beratung und Ausbildung im Bereich der Forschungsmethodologie widmen. Sie könnten Fremdsprachenforschende dabei unterstützen, aus der Vielzahl von Methoden geeignete auszuwählen, um sich dann, unterstützt und abgesichert durch die Beratenden, gezielt und angemessen in fachlich einschlägige Methoden einzuarbeiten.

Literatur

Abbuhl, Rebekha (2012). Why, When, and How to Replicate Research. In: Mackey, Alison / Gass, Susan M. (Hrsg.). Research Methods in Second Language Acquisition: A Practical Guide. Malden/MA: Wiley-Blackwell, 296–312.

Aguado, Karin (2019). Zur Vielfalt qualitativer Datenerhebungsverfahren. In: Wilden, Eva / Rossa, Henning (Hrsg.). Fremdsprachenforschung als interdisziplinäres Projekt. Berlin: Peter Lang. 67–85.

Albert, Ruth / Marx, Nicole (2017). Empirisches Arbeiten in Linguistik und Sprachlehrforschung. Tübingen: Narr Francke Attempto.

Behrent, Sigrid / Doff, Sabine / Marx, Nicole / Ziegler, Gudrun (2011). Review of doctoral research in second language acquisition in Germany (2006–2009). Language Teaching 44/2, 237–261.

Benati, Alessandro G. (2015). Key Methods in Second Language Acquisition Research. Sheffield: Equinox.

Blom, Elma / Unsworth, Sharon (Hrsg.) (2010). Experimental Methods in Language Acquisition Research. Amsterdam; Philadelphia: John Benjamins.

Brown, James Dean (2011). Quantitative Research in Second Language Studies. In: Hinkel, Eli (Hrsg.). Handbook of Research in Second Language Teaching and Learning. New York: Routledge, 190–206.

Brown, James Dean (2014). Adventures in language research: How I learned from my mistakes over 35 years. In: Settinieri, Julia / Demirkaya, Sevilen / Feldmeier, Alexis / Gültekin-Karakoç, Nazan / Riemer, Claudia (Hrsg.) (2014). Einführung←164 | 165→ in empirische Forschungsmethoden für Deutsch als Fremd- und Zweitsprache. Paderborn: UTB, 269–279.

Brown, James Dean / Coombe, Christine (Hrsg.) (2015). The Cambridge Guide to Research in Language Teaching and Learning. Cambridge: CUP.

Camerer, Colin F. / Dreber, Anna / Holzmeister, Felix / Ho, Teck-Hua / Huber, Jürgen / Johannesson, Magnus / Kirchler, Michael / Nave, Gideon / Nosek, Brian A. / Pfeiffer, Thomas / Altmejd, Adam / Buttrick, Nick / Chan, Taizan / Chen, Yiling / Forsell, Eskil / Gampa, Anup / Heikensten, Emma / Hummer, Lily / Imai, Taisuke / Isaksson, Siri / Manfredi, Dylan / Rose, Julia / Wagenmakers, Jan-Eric / Wu, Hang (2018). Evaluating the replicability of social science experiments in Nature and Science between 2010 and 2015. Nature Human Behavior 2, 637–644.

Caspari, Daniela / Klippel, Friederike / Legutke, Michael K. / Schramm, Karen (Hrsg.) (2016). Forschungsmethoden in der Fremdsprachendidaktik: Ein Handbuch. Tübingen: Narr Francke Attempto.

Doff, Sabine (Hrsg.) (2012). Fremdsprachenunterricht empirisch erforschen. Grundlagen Methoden Anwendung. Tübingen: Narr Francke Attempto.

Doff, Sabine / Königs, Frank G. / Marx, Nicole / Schädlich, Birgit (2016). Review of doctoral research in language education in Germany (2009–2013). Language Teaching 49/2, 213–234.

Harsch, Claudia (2016). Der zweite Blick: Meta-Analysen und Replikationen. In: Caspari, Daniela / Klippel, Friederike / Legutke, Michael K. / Schramm, Karen (Hrsg.): Forschungsmethoden in der Fremdsprachendidaktik: Ein Handbuch. Tübingen: Narr Francke Attempto, 98–107.

Hudson, Thom (2015). Essentials of Quantitative Research for Classroom Teachers. In: Brown, James Dean / Coombe, Christine (Hrsg.). The Cambridge Guide to Research in Language Teaching and Learning. Cambridge: CUP, 55–60.

Jegerski, Jill / VanPatten, Bill (Hrsg.) (2014). Research Methods in Second Language Psycholinguistics. New York: Routledge.

Klein, Josefine (2019). Qualitative Blicke auf quantitative Daten im Rahmen der fremdsprachendidaktischen Erforschung bilingualen Sachfachunterrichts. In: Wilden, Eva / Rossa, Henning (Hrsg.). Fremdsprachenforschung als interdisziplinäres Projekt. Berlin: Peter Lang. 169–187.

Larson-Hall, Jenifer (2016). A Guide to Doing Statistics in Second Language Research Using SPSS. 2. Auflage. New York; London: Routledge.

Lazaraton, Anne (2005). Quantitative research methods. In: Hinkel, Eli (Hrsg.). Handbook of research in second language teaching and learning. Mahwah/NJ: Lawrence Erlbaum, 209–224.←165 | 166→

Mackey, Alison / Gass, Susan M. (Hrsg.) (2012). Research Methods in Second Language Acquisition: A Practical Guide. Malden/MA: Wiley-Blackwell.

Norris, John M. / Ross, Steven J. / Schoonen, Rob (Hrsg.) (2015a). Improving and Extending Quantitative Reasoning in Second Language Research. Malden/MA: Wiley.

Norris, John M. / Ross, Steven J. / Schoonen, Rob (2015b). Improving Second Language Quantitative Research. In: Norris, John M. / Ross, Steven J. / Schoonen, Rob (Hrsg.). Improving and Extending Quantitative Reasoning in Second Language Research. Malden/MA: Wiley, 1–8.

Phakiti, Aek (2014). Experimental Research Methods in Language Learning. London; New York: Bloomsbury.

Plonsky, Luke (2013). Study quality in SLA. An assessment of designs, analyses, and reporting practices in quantitative L2 research. Studies in Second Language Acquisition 35, 655–687.

Plonsky, Luke (Hrsg.) (2015). Advancing Quantitative Methods in Second Language Research. New York; London: Routledge.

Plonsky, Luke / Oswald, Frederick L. (2012). How to Do a Meta-Analysis. In: Mackey, Alison / Gass, Susan M. (Hrsg.). Research Methods in Second Language Acquisition: A Practical Guide. Malden/MA: Wiley-Blackwell, 275–295.

Plonsky, Luke / Oswald, Frederick L. (2015). Meta-Analyzing Second Language Research. In: Plonsky, Luke (Hrsg.). Advancing Quantitative Methods in Second Language Research. New York; London: Routledge, 106–128.

Porte, Graeme (2015). Replication Research in Quantitative Research. In: Brown, James Dean / Coombe, Christine (Hrsg.). The Cambridge Guide to Research in Language Teaching and Learning. Cambridge: CUP, 140–145.

Riemer, Claudia (2011). Empirie und Fremdsprachenforschung: Herausforderung Forschungsmethodik. In: Bausch, Karl-Richard / Burwitz-Melzer, Eva / Königs, Frank G. / Krumm, Hans-Jürgen (Hrsg.). Fremdsprachen lehren und lernen: Rück- und Ausblick: Arbeitspapiere der 30. Frühjahrskonferenz zur Erforschung des Fremdsprachenunterrichts. Tübingen: Narr Francke Attempto, 194–203.

Roever, Carsten / Phakiti, Aek (2018). Quantitative Methods for Second Language Research: A Problem-Solving Approach. New York: Routledge.

Schmenk, Barbara (2019). Zum Spannungsfeld der Fremdsprachendidaktik und ihrer Bezugswissenschaften. In: Wilden, Eva / Rossa, Henning (Hrsg.). Fremdsprachenforschung als interdisziplinäres Projekt. Berlin: Peter Lang. 15–34.

Schramm, Karen / Marx, Nicole (2017). Forschungsmethoden im Bereich Mehrsprachigkeit und Deutsch als Zweitsprache. In: Becker-Mrotzek, Michael /←166 | 167→ Roth, Hans-Joachim (Hrsg.). Sprachliche Bildung – Grundlagen und Handlungsfelder. Münster: Waxmann, 211–220.

Settinieri, Julia (2015). Zur forschungsmethodologischen Fundierung der Fremdsprachenforschung. In: Doff, Sabine / Grünewald, Andreas (Hrsg.). WECHSEL-Jahre? Wandel und Wirken in der Fremdsprachenforschung. Trier: WVT, 61–74.

Settinieri, Julia (2016). Deskriptiv- und Inferenzstatistik. In: Caspari, Daniela / Klippel, Friederike / Legutke, Michael K. / Schramm, Karen (Hrsg.). Forschungsmethoden in der Fremdsprachendidaktik: Ein Handbuch. Tübingen: Narr Francke Attempto, 324–341.

Settinieri, Julia / Demirkaya, Sevilen / Feldmeier, Alexis / Gültekin-Karakoç, Nazan / Riemer, Claudia (Hrsg.) (2014). Einführung in empirische Forschungsmethoden für Deutsch als Fremd- und Zweitsprache. Paderborn: UTB.

Uhl, Patricia (2019). Fremdsprachenforschung extended: Die Erforschung der intersektionalen Kategorien Geschlecht und Gender mit Hilfe von interdisziplinären Ansätzen und Triangulation. In: Wilden, Eva / Rossa, Henning (Hrsg.). Fremdsprachenforschung als interdisziplinäres Projekt. Berlin: Peter Lang. 207–224.←167 | 168→ ←168 | 169→


1 Andere Formen empirischer Forschung wie qualitative (vgl. Aguado in diesem Band) oder Mixed-Methods-Forschung (vgl. Klein bzw. Uhl in diesem Band) werden aus Platzgründen explizit aus der Darstellung ausgenommen, ebenso wie die hermeneutische und historische Forschung, auch wenn alle Forschungsrichtungen selbstverständlich für die Fremdsprachenforschung gleich wichtig und gewinnbringend sind.

2 Die in jüngerer Zeit entstandenen landesweiten Vergleichsarbeiten (z. B. VERA-8, IQB-Bildungstrend) sowie die internationalen Schulleistungsuntersuchungen (z. B. IGLU, PISA) erheben allerdings in vergleichbarer Form u. a. Kompetenzen in Erst-, Zweit- bzw. Fremdsprachen.

3 Vgl. aber auch die konstruktiven Vorschläge zur Vorgehensweise in unterschiedlichen Beiträgen in Norris et al. (2015a, insbesondere in Section I).

4 Referiert werden nur allgemeine Einführungen in die Forschungsmethodologie, die einen ersten Überblick vermitteln möchten und von denen angenommen werden kann, dass sie tatsächlich nur das Wichtigste bzw. das Typische darstellen. Einführungen mit besonderen Foki, wie bspw. Blom/Unsworth (Hrsg.) (2010), die Experimental Methods in Language Acquisition Research publiziert haben, Jegerski/VanPatten (Hrsg.) (2014), die Research Methods in Second Language Psycholinguistics vorstellen, oder Phakiti (2014), der in Experimental Research Methods in Language Learning einführt, werden hingegen aus der Darstellung ausgespart. Innerhalb der ausgewählten Monographien werden wiederum lediglich Kapitel aufgeführt, die eindeutig ausschließlich der quantitativen Forschungsmethodologie zuzurechnen sind; Kapitel zur Einführung in die Forschungsmethodologie, zu Gütekriterien, Triangulation usw. hingegen nicht. Der Vollständigkeit halber aufgenommen sind allerdings Kapitel zur Beobachtung und Befragung, auch wenn diese in der Regel qualitative und quantitative Aspekte in die Darstellung einbeziehen. Selbstverständlich ist nicht auszuschließen, dass bei der Literaturrecherche weitere einschlägige Publikationen übersehen wurden.

5 In den Lehramtsstudiengängen wurden die forschungsmethodologischen Anteile durch die Einführung der Begleitforschungsseminare im Praxissemester zuletzt etwas gestärkt. Gleichzeitig zeigt sich gerade hier, dass die Masterstudierenden tatsächlich nur sehr eingeschränkt in der Lage sind, eigene Forschungsprojekte durchzuführen, da ihr vorheriges Studium sie kaum darauf vorbereitet hat.

6 Erfreulicherweise startete zum Wintersemester 2018/2019 allerdings ein von der Ruhr-Universität Bochum und der Technischen Universität Dortmund in Kooperation angebotener Masterstudiengang Empirische Mehrsprachigkeitsforschung (www.emf.ua-ruhr.de), dem es hoffentlich gelingen wird, sich zu etablieren.