تعداد نشریات | 24 |
تعداد شمارهها | 722 |
تعداد مقالات | 5,955 |
تعداد مشاهده مقاله | 8,745,576 |
تعداد دریافت فایل اصل مقاله | 6,853,450 |
The Impact of Test Length on Raters’ Mental Processes while Scoring Test-Takers’ Writing Performance | ||
Journal of Language Horizons | ||
مقالات آماده انتشار، پذیرفته شده، انتشار آنلاین از تاریخ 23 بهمن 1400 | ||
نوع مقاله: Research article | ||
شناسه دیجیتال (DOI): 10.22051/lghor.2022.37340.1545 | ||
نویسندگان | ||
Fateme Nikmard؛ kobra tavassoli ![]() ![]() | ||
Department of ELT, Karaj Branch, Islamic Azad University, Karaj, Iran | ||
چکیده | ||
Different factors such as the writing genre, writing prompt, and/or test length can influence the raters’ mental processes while scoring writing tests. Accordingly, whether increase or decrease in test length has any impact on how raters evaluate test-takers’ writing performance was the motive underlying this research. For this purpose, 12 EFL students who scored between 5.5 to 7.5 on the writing section of a mock IELTS test, were selected based on availability sampling. The participants wrote three argumentative essays (the original, longer, and shorter versions). The three versions from each test-taker were then scored by three raters using IELTS task 2 writing band descriptors. Meanwhile, the raters provided verbal protocols explaining in detail the reasons underlying their scores to each test-taker’s essay. Then, the verbal protocols were transcribed and content analyzed using Nvivo version 11 to extract the themes mentioned by the raters in scoring each writing test. The results showed that the raters paid more attention to certain factors in the band descriptors and ignored some other factors. However, there was a similar pattern among the raters in scoring the three writing tests. The results did not show any significant differences in the raters’ mental processes while scoring either of the three writing tests. The conclusion was that test length is not a determining factor influencing the mental processes of raters in writing tests. Therefore, raters and test developers do not need to worry about test length influencing the raters’ scoring. | ||
کلیدواژهها | ||
mental processes؛ rater؛ test length؛ verbal protocol؛ writing test | ||
عنوان مقاله [English] | ||
تأثیر طول آزمون بر فرایندهای ذهنی ارزیابها هنگام نمرهدهی به عملکرد نوشتاری آزموندهندگان | ||
چکیده [English] | ||
فاکتورهای مختلف ازجمله ژانر نگارش، نوع سوال، و طول آزمون میتوانند بر فرایندهای ذهنی ارزیابها هنگام نمرهدهی به آزمونهای نگارش تاثیر گذارند. دراین راستا، اینکه آیا افزایش یا کاهش طول آزمون تاثیری بر چگونگی سنجش ارزیابها از عملکرد نوشتاری آزموندهندگان دارد، انگیزه اصلی انجام تحقیق حاضر بود. بدین منظور، 12 زبانآموز که در آزمون نگارش آیلتس نمره بین 5/5 تا 5/7 دریافت کردند، ازطریق نمونهگیری دردسترس انتخاب شدند. این زبانآموزان سه مقاله استدلالی (بصورت نسخه اصلی، بلندتر، و کوتاهتر) نوشتند. هریک از این نسخهها، توسط سه ارزیاب با استفاده از مقیاس تصحیح نگارش فعالیت دوم آیلتس تصحیح شد. درحین تصحیح، ارزیابها پروتکلهای شفاهی هم ارائه دادند که در آنها به توضیح موبهموی دلایلشان برای اختصاص نمرات به مقالات پرداختند. سپس، از این پروتکلها رونوشتبرداری انجام شد و محتوای آنها با استفاده از نرمافزار انویوو نسخه 11 آنالیز شد و موضوعات اصلی ذکرشده توسط ارزیابها در تصحیح هریک از این آزمونها استخراج شدند. نتایج نشان داد که ارزیابها توجه ویژهای به برخی از معیارهای موجود در مقیاس تصحیح نگارش آیلتس داشتند و برخی دیگر را نادیده گرفتند. بااین وجود، یک الگوی مشابه نمرهدهی درمیان همه ارزیابها در تصحیح هر سه نسخه مقاله استدلالی وجود داشت. نتایج نشاندهنده وجود تفاوتهای معنادار در فرایندهای ذهنی ارزیابها هنگام نمرهدهی به سه آزمون نگارش نبود. نتیجه این تحقیق نشان داد طول آزمون فاکتور تاثیرگذاری بر فرایندهای ذهنی ارزیابها هنگام نمرهدهی به آزمون نگارش نیست. درنتیجه، نیازی نیست ارزیابها و طراحان آزمون نگران تاثیر طول آزمون بر عملکرد نمرهدهی ارزیابها باشند. | ||
کلیدواژهها [English] | ||
فرایندهای ذهنی, ارزیاب, طول آزمون, پروتکل شفاهی, آزمون نگارش | ||
آمار تعداد مشاهده مقاله: 45 |