What`s next?! Tagung der BMBF-Förderlinie – Tagungsprogramm zur Nachlese

Eine objektive Messung ist definiert durch die Invarianz der Eigenschaften der Messinstrumente innerhalb eines zulässigen Fehlerbereichs. Sie ist also unabhängig davon, welche Beobachtung zur Messung des inhaltlich interessierenden Konstrukts verwendet wird und welche Person oder welche Sache gemessen wird (Program Committee of the Institute for Objective Measurement, 2000). Ziel ist es, einen gemeinsamen Referenzstandard für den Austausch von quantitativen Werten (oft den Eigenschaften der Messinstrumente und/oder der Zielpopulation) zu schaffen, so dass für eine bestimmte Variable relevante Forschung und Praxis unter einheitlichen Bedingungen und auf einer Metrik durchgeführt werden können. Dies ist relevant, da beispielsweise Programmeffektivität durch möglichst objektive Messungen und nicht durch programminhärente (treatment-inherent) Messungen bestätigt werden sollten (Slavin & Madden, 2011).

Eine objektive Messung kann durch eine Vielzahl von Ansätzen und Methoden erreicht und aufrechterhalten werden und bewegt sich in den Forschungstraditionen der repräsentativen Messtheorie, der Item-Response-Theorie (IRT) und der Theorie latenter Variablen. Inwieweit eine Eigenschaft von Messinstrumenten konstant bleibt, kann im Rahmen des flexiblen und theoretisch gut anschlussfähigen Item-Response Ansatzes explizit geprüft werden. Besondere Relevanz hat die IRT für die präzise Bestimmung von Personeneigenschaften in Abgrenzung zu Itemeigenschaften und anderen Faktoren (z.B. Ratewahrscheinlichkeit). Per IRT generierte Personenparameter können wiederum in inferenzstatistischen Verfahren verwendet oder in Strukturgleichungen eingesetzt werden. Damit ist IRT nicht als Konkurrenz, sondern als Ergänzung anderer Verfahren zu betrachten (Rost, 1996).

• In dem Workshop werden wir uns einführend mit testtheoretischen Grundlagen der probabilistischen IRT und der Verwandtschaft zu zum Beispiel kongenerischen Testmodellen beschäftigen. Zudem werden Konzepte wie Item-, Personen- und Modellanpassung sowie differentielle Itemfunktionen (dif) vor dem Hintergrund der messpraktischen Relevanz diskutiert.
• In der Folge werden einfache Modelle (dichotome und politome Raschmodelle) sowie Prüfungen auf Invarianz (dif-Analyse, Distraktoranalyse) mithilfe des jamovi -Moduls SnowIRT (Seol, 2021), welches auf TAM (Robitzsch, Kiefer & Wu, 2021) unter R basiert, gemeinsam erstellt. Für dieses Vorgehen ist keine Programmierkenntnis in R (R Core Team, 2022) nötig und es wird mit einer graphischen Oberfläche gearbeitet.
• Im letzten Teil werden Modelle mit mehr Parametern (2PL und mehr, partial credit Modelle, multidimensionale Modelle) gemeinsam erarbeitet. Dies wird mit TAM (Robitzsch, Kiefer & Wu, 2021) unter R R Kenntnisse sind hier von Vorteil.

Anmerkung:

Für den Workshop wird folgende Software benötigt:

• Jamovi Version 2.2.5 mit dem Modul SnowIRT (https://www.jamovi.org/)
• R1.3 mit den Packages TAM, WrightMap, mvtnorm, lattice, miceadds, plyr, psych und sirt
• Weitere open-source Software kann auf Anfrage diskutiert oder integriert werden.

In der sozialwissenschaftlichen Forschung spielt die konfirmatorische Faktorenanalyse (CFA) eine wichtige Rolle bei der Fragebogenkonstruktion, beziehungsweise bei der Auswertung von Fragebogendaten. So können Zusammenhänge der Items untereinander durch eine geringere Anzahl dahinter liegender homogener Faktoren geprüft werden. Diese Faktoren werden dann als Basis für die Modellbildung herangezogen (Bühner, 2011).

Konnten Faktoren gefunden werden, können mit Strukturgleichungsmodellen (SEM) Zusammenhänge zwischen diesen Faktoren geprüft werden. Es wird also geprüft, inwiefern die vorliegenden Daten zu einem theoretisch angenommenen Modell passen. Liegen verschiedene Modelle vor, kann geprüft werden, welches der Modelle die vorliegenden Daten besser repräsentiert.

Werden verschiedene Gruppen von Personen untersucht, ist es nicht selbstverständlich, dass ein Modell von einer Gruppe auf eine andere Gruppe übertragen werden kann. Dies kann nur getan werden, wenn Messinvarianz vorliegt. Liegt Messinvarianz vor, können Unterschiede zwischen den Gruppen interpretiert werden (Brown, 2015).

• In dem Workshop werden wir uns einführend mit der konfirmatorischen Faktorenanalyse (CFA) beschäftigen. Dabei werden Modellanpassungen durchgeführt und diskutiert.
• In der Folge werden einfache Strukturgleichungsmodelle (SEM) gemeinsam erstellt. Es werden aufeinander aufbauende Modelle miteinander verglichen.
• Im letzten Teil werden Modelle auf Messinvarianz geprüft (vgl. Brown, 2015). Grundlegende R Kenntnisse (R Core Team, 2022) sind für den gesamten Workshop von Vorteil.

Anmerkung:

Für den Workshop wird folgende Software benötigt:

R 4.1.3 mit den Packages lavaan, sem, semtools, simsem, und psych sowie RStudio

Vor dem Workshop wird eine E-Mail mit Links zu R und zu den benötigten Packages versendet.

Social-Media sind zentrale Orte der kollektiven Meinungsbildung und bilden eine wichtige Grundlage für die Beschreibung und Erklärung sozialer Phänomene (z.B., Online-Radikalisierung). Bei der Arbeit mit diesem Datentyp bergen Entscheidungen in allen Phasen des Forschungszyklus (von der Datenerhebung über Vorverarbeitungsschritten bis hin zu den analytischen Entscheidungen) allerdings Risiken der Verzerrung für Validitäts- und Reliabilitätsaspekte.

Dieser Workshop umfasst eine Einführung dazu, wie man große Mengen an digitalen Verhaltensspurdaten (vorwiegend Textdaten), die auf Webplattformen verfügbar sind, erschließen und für Forschungszwecke nutzbar machen kann. Dabei werden konzeptionelle Überlegungen und praktischen Anwendungen in R kombiniert.

• Die Teilnehmenden lernen wie man textuelle Daten mit Web Application Programming Interfaces (APIs) unter Zuhilfenahme gängiger R-Tools und -Methoden erheben und verarbeiten kann. Im Fokus wird vorwiegend die Twitter-API stehen (wenn es die Zeit erlaubt z.B. auch Reddit).
• Des Weiteren werden die Teilnehmenden mit den Grundlagen der natürlichen Sprachverarbeitung (NLP) für die Analyse solcher Korpora vertraut gemacht. Dazu gehört die Vorverarbeitung solcher Datentypen, z. B. Datenbereinigung und Anwendung gängiger NLP-Tools zur automatisierten Textanalyse, von denen einige auf einfachen Heuristiken und Wörterbüchern basieren, andere wiederrum auf weitergehenden Ansätzen wie Word embeddings oder Topic Modelling aufbauen.
• Abschließend werden Herausforderungen und Limitationen solcher Datentypen hinsichtlich Validitäts- und Reliabiltätskriterien erschlossen.

Voraussetzungen:

• Grundkenntnisse in R sind hilfreich
• (mind.) R Version1.2 mit den Packages: tidyverse (1.3.1) and quanteda, weitere Packages werden vor dem Workshop versandt

Design-Based Research (DBR), das in Bildungskontexten auch als Educational Design Research bezeichnet wird, stellt eine Kombination von Methoden der Aktions- bzw. Handlungsforschung mit Verfahren der Evaluationsforschung dar. Dabei arbeiten Praktiker*innen (im Falle der Erkundung von Unterrichtsprozessen Lehrende) intensiv mit Wissenschaftler*innen zusammen. Die zwei zentralen Ziele bestehen darin, Pädagog*innen bei der Weiterentwicklung ihrer Maßnahmen zu unterstützen und neue theoretische Erkenntnisse über das jeweilige Feld zu gewinnen. Als wichtigste Herangehensweise dient der iterativ-zyklische Ansatz – d. h. die mehrfache Wiederholung folgender drei auf pädagogische Interventionen bezogener Schritte: Entwurf/Design, Durchführung, Reflexion/Evaluation.

Beim Workshop teilen sich die Mitwirkenden in drei Gruppen zu je 3-4 Personen. Die Gruppenmitglieder gestalten miteinander einen konkreten DBR-Prozess anhand einer kurzen (maximal 20 Minuten dauernden) kultur-medienpädagogischen Unterrichtssequenz. Im Zuge dessen kooperieren sie einerseits eng miteinander. Andererseits nehmen sie jedoch auch unterschiedliche Rollen ein bzw. tragen die Hauptverantwortung für verschiedene Bereiche – z. B. Konzeption und Organisation, technische Realisierung, inhaltliche Umsetzung (Vermittlung), wissenschaftliche Begleitung. Der Workshop ist folgenderweise strukturiert:

Teil I:

• Einführung in DBR unter Berücksichtigung von Forschungsverfahren und -paradigmen, die dieser Methodologie zugrunde liegen (Aktions- und Handlungsforschung, qualitative Evaluationsforschung), mit einem Schwerpunkt auf die Pragmatistische Praxisforschung nach John Dewey.
• Vorstellung der zur Auswahl stehenden Interventions- bzw. Projektthemen und der Kriterien für ihre Bearbeitung sowie Einteilung in Untergruppen und Festlegung der Rollen.

Teil II: Entwicklung der jeweiligen Intervention in Untergruppen getrennt.

Teil III:

• Durchführung der drei Interventionen, wobei die anderen Gruppenmitglieder als Lernende fungieren (je 20 Min.).
• Im Anschluss an die jeweilige Intervention Reflexion in der Gesamtgruppe (je 10 Min.).

Teil IV:

• In Untergruppen getrennt Beratung der Weiterentwicklungsmöglichkeiten der jeweiligen Intervention und damit zusammenhängender Erkenntnisse.
• Vorstellung sowohl der praktischen Ergebnisse als auch der theoretischen Erkenntnisse in der Gesamtgruppe.
• Abschließende gemeinsame Reflexion aller Prozesse sowie Diskussion zu den Chancen und Grenzen des Einsatzes von DBR.

Anmerkung:

• Die Teilnehmenden benötigen Laptops, auf denen ein Präsentationsprogramm (z. B. PPT) installiert ist. Von Vorteil wäre es, wenn manche Mitwirkende auch ein Videoschnittprogramm besitzen (und beherrschen).
• Die Angemeldeten erhalten im Vorfeld ein Mail mit der Bitte, Projektthemen vorzuschlagen, in dem auch die entsprechenden Kriterien beschrieben sein werden.