De ene tekst is de andere niet. De language as a fixed effect fallacy revisited: methodologische implicaties

In dit artikel worden methodologische implicaties van de door Clark geïntroduceerde fixed-effect fallacy besproken. Clark zelf beschouwde deze grove denkfout als een puur statistische fout. De fixedeffect fallacy zal in deze bijdrage echter worden gedissocieerd in twee typen fouten: 1. een fallacy van methodologische aard; deze design-fout manifesteert zich wanneer in taalwetenschappelijk onderzoek de niveaus van de categoriale, gefixeerde variabele (de ‘explanatory’ variabele) waarnaar de theoretisch-inhoudelijke interesse van de onderzoeker uitgaat, in instrumenteel-operationele zin slechts gerepresenteerd wordt door één instantiatie: één tekst. In dergelijk designs, een single message design, kan niet gediscrimineerd worden tussen de effecten op specifiek-instrumenteel niveau en de effecten op generiek, categoriaal-abstract niveau, met catastrofale gevolgen voor zowel de interne als de externe validiteit. 2. een fallacy van inductief-statistische aard; deze treedt op in een multiple message design waarbij er in de statistische analyse ten onrechte vanuit gegaan wordt dat de random factor ‘tekstuele instantiatie’ een gefixeerde factor constitueert. Het catastrofale gevolg van deze misclassificatie is dat de berekende alpha-fout geflatteerd is en dus een ‘positieve bias’ vertoont - wat impliceert dat de kans dat ten onrechte de bevindingen vanuit de steekproef naar de populatie gegeneraliseerd worden, groter is dan het gerapporteerde nominale niveau van 5 %.