Некоторые результаты компьютерного тестирования студентов
Бытует мнение, что результаты тестирования, т.е. оценка результатов обучения без участия преподавателя, и традиционного экзамена могут значительно отличаться. Приведём, однако, результаты, полученные в реальном учебном процессе. В силу деликатности последующего анализа, источник данных приводить не будем.
Для анализа использованы результаты сдачи пяти экзаменов 40 студентами одного потока за одну экзаменационную сессию. По всем предметам оценки выставлялись по 100-бальной шкале. Экзамен по четырём предметам принимали преподаватели, а один – «Цифровую обработку сигналов» (ЦОС) – принимала система компьютерного тестирования (СКТ) без участия преподавателя.
Курс ЦОС предполагает не только знания математики, программирования и вычислительной техники, но и умения всем этим пользоваться на практике.
На рис.1 показаны все полученные студентами оценки. Если оценка по 100-бальной шкале меньше 50, то это эквивалентно оценке «Неудовлетворительно» по традиционной для вузов 4-х бальной шкале. Оценки, выставленные СКТ по курсу ЦОС, изображены жирной линией красного цвета. Номера студентов ранжированы в порядке убывания оценок, поэтому график монотонно убывает. Оценки по остальным предметам представлены тонкими линиями разных цветов. Жирными точками показаны оценки по курсу ЦОС после пересдачи экзамена комиссии обычным способом – без СКТ. Таким образом, неудовлетворительные оценки по всем предметам были ликвидированы.
На рис.2 всего две кривые. Сплошной линией красного цвета, как и на рис.1, – показаны оценки по ЦОС, выставленные СКТ. Синими точками – ранжированные по убыванию средние оценки по всем пяти предметам сводной ведомости деканата (после всех пересдач). На обеих рисунках имеются хорошо различимые области: А – первые 29 студентов, которых СКТ по курсу ЦОС признала успевающими и Б – остальные студенты, у которых оценка СКТ меньше 50 баллов. Особенно чётко эта граница различима на рис.1.
Область совпадений – А
Кривые оценок по ЦОС и средних семестровых оценок в области А (рис.2) практически совпадают – коэффициент взаимной корреляции между ними равен 0,977. Упреждая классическое возражение типа «высокая корреляция во времени между количеством новорожденных и количеством журавлей не служит доказательством того, что журавли приносят младенцев в клюве», напомним, что в данном случае речь идёт не о косвенной связи, как в случае с журавлями и младенцами, а о прямой. Поэтому близкий к единице коэффициент корреляции в области А однозначно свидетельствует о том, что СКТ справляется с приёмом экзамена не хуже реальных преподавателей.
Область расхождений – Б
Всё изложенное выше относилось к области А (рис.1,2), где кривые оценок по ЦОС и средних семестровых оценок практически совпадают – коэффициент взаимной корреляции между ними очень высокий – 0,977. В области Б – всего 0,021: очевидное расхождение результатов. Оценки СКТ существенно ниже. Но никаких механизмов для предвзятого отношения к какой-либо части студентов СКТ не содержит. Поэтому и занижение, и завышение оценок наблюдалось бы у всех студентов. Но этого нет. Вывод может быть только один: оценки завышены преподавателями. Почему? Выскажем некоторые гипотезы.
Гипотеза 1. Одна из существенных состоит в том, что нагрузка преподавателя пропорциональна количеству студентов. Выставляя неудовлетворительные оценки, преподаватель рискует быть уволенным. Почти на каждом заседании кафедры ему напоминают, что много неудовлетворительных оценок ставить нельзя. Поэтому преподаватель хотя и стонет, выслушивая «перлы» некоторых студентов на экзаменах, но редко выставляет оценки в соответствии с продемонстрированными знаниями. Одно время эту проблему решили просто: нагрузка преподавателя исчислялась по количеству принятых на первый курс студентов. Естественная убыль за счет отчисления неуспевающих на штатный состав преподавателей не влияла. Теперь этот опыт забыт.
Гипотеза 2. Эту причину стараются не замечать, хотя в студенческой среде о ней говорят совершенно открыто. Речь идёт об оценках за плату. Но доказать это, понятно, весьма сложно, поскольку интересы студентов-неучей и преподавателей-мздоимцев совпадают. Да и кто будет этим заниматься, если администрация обычно придерживается принципа «моя хата с краю»? Об этом неоднократно писалось в прессе, даже публиковались, так сказать, прейскуранты.
Гипотеза 3. Протекционизм. Можно, конечно, отрицать его существование. Но результат говорит сам за себя — даже на последнем курсе очень многие студенты не ориентируются в математике (хотя большинство дисциплин, особенно по радиоэлектронным специальностям, основаны именно на ней), но «успешно» сдают экзамены и защищают дипломные работы.
Гипотеза 4. Можно спорить о плюсах и минусах СКТ, одно бесспорно — объективность тут гарантирована (кстати, именно это качество СКТ является основным препятствием их широкого использования в учебном процессе). Так вот, некоторым студентам, в зачётках которых одни тройки и за которых постоянно ратуют «просители», как правило, не удаётся получить положительную оценку на компьютере. Зато позже, на комиссии (есть в вузах такая форма последней попытки пересдать экзамен), уже без компьютера — получают вожделенное «удовлетворительно». И тайны тут нет никакой: редкий преподаватель сможет отказать, например, заведующему кафедрой, тем более – проректору.
Гипотеза 5. Экономят личное время. Мотив: рано или поздно придётся выставить вожделенные «удовл.» (50 баллов). Оправдываются же тем, что учат только тех, кто этого хочет. Игнорируется очевидный факт, что любая система образования всегда функциональна и завершается выдачей аттестата, диплома и т. п. Диплом государственного образца должен подтверждать гарантию качества и гарантию конвертирования диплома хотя бы в пределах своего государства. Результат – девальвация дипломов.
К сожалению, можно привести многочисленные факты, подтверждающие эти гипотезы. Решение проблемы только одно — необходимо разделить процессы обучения и контроля знаний. Это очевидно, например, в спорте, где результаты работы тренера оцениваются судейской коллегией на соревнованиях. Присваивайте спортсменам звания, а тренерам ордена по результатам, которые тренер самолично и бесконтрольно напишет в ведомости, и вы получите то же состояние, в каком оказалось наше высшее (и не только высшее) образование.
Хочешь быть счастливым — будь им!
Без булдырабыз!!!
На заре своей научной карьеры я занимался электронными учебниками. И естественно автоматизированными средствами контроля знаний. Могу сказать из личного опыта, что в принципе тест дает объективную оценку, только если он грамотно составлен (проверено на пяти группах 4-го курса — 98 человек). А вот составление тестовых заданий очень нелегкая работа — меня хватило только на одну контрольную работу, задания для которой я составлял в течение всего семестра вместе со своим научным руководителем (всего около 30 заданий получилось).
Здравствуйте, Dym On, Вы писали:
DO>На заре своей научной карьеры я занимался электронными учебниками. И естественно автоматизированными средствами контроля знаний. Могу сказать из личного опыта, что в принципе тест дает объективную оценку, только если он грамотно составлен (проверено на пяти группах 4-го курса — 98 человек). А вот составление тестовых заданий очень нелегкая работа — меня хватило только на одну контрольную работу, задания для которой я составлял в течение всего семестра вместе со своим научным руководителем (всего около 30 заданий получилось).
В статье самое интересное — откуда и почему взялась область Б. В этой области получилось резкое расхождение оценок системы и преподав. Последняя цитата в моем первом посте — гипотезы, почему так получилось.
Хочешь быть счастливым — будь им!
Без булдырабыз!!!
Больше всего заинтересовал список "гипотез". Ну задолбали уже сторонники тестов врать полуправдой. Так и здесь: все сказанное вполне может быть рабочими гипотезами для анализа причин, но почему рассматриваются только эти гипотезы?
Вот несколько, на вскидку, в дополнение:
Гипотеза 6: были составлены некорректные тесты. Составление тестов — это отдельная наука и не надо думать, что обычный преподаватель в состоянии нормальный тест за ночь написать. Кривая распределения ответов на вопросы теста к нормальному закону близка? Некорректные вопросы быди обнаружены и удалены? И т.д.
Гипотеза 7: некорректное проведение эксперимента. Это, простите, как можно: сравнивать оценки по разным (пусть и достаточно близким) предметам, а потом еще и сравнивать результаты первичного теста и повторного экзамена? Интересно, что авторы этой статьи курили прежде, чем так организовывать постановку эксперимента? Где контрольныя группа? Где статистически значимые объемы выборок? (40 — это недопустимо малый объем)
Гипотеза 8: Люди первый раз сдавали испытание уровня экзамена в форме тестов. Результат легко предсказуем. Особенно с учетом того, что системы автоматических проверок пока еще развернутые ответы не анализируют — максимум ввод результата, а скорее всего, обычный выбор правильных. А для развернутого обоснования на экзамене с преподавателем и тыканья в кнопочки все-таки разные скилы нужны.
Список можно продолжить.
"Пишите код так, как будто сопровождать его будет склонный к насилию психопат, который знает, где вы живете". (с) Макконнелл, "Совершенный код".
Здравствуйте, Александр Кузнецов, Вы писали:
АК>Здравствуйте, LaptevVV, Вы писали:
LVV>>Вот здесь LVV>>http://ifets.ieee.org/russian/depository/v11_i1/html/2.htm LVV>>интересная статья с реальными результатами автоматизированного тестирования студентов.
АК>Больше всего заинтересовал список "гипотез". Ну задолбали уже сторонники тестов врать полуправдой. Так и здесь: все сказанное вполне может быть рабочими гипотезами для анализа причин, но почему рассматриваются только эти гипотезы? АК>Вот несколько, на вскидку, в дополнение:
АК>Гипотеза 6: были составлены некорректные тесты. Составление тестов — это отдельная наука и не надо думать, что обычный преподаватель в состоянии нормальный тест за ночь написать. Кривая распределения ответов на вопросы теста к нормальному закону близка? Некорректные вопросы быди обнаружены и удалены? И т.д.
АК>Гипотеза 7: некорректное проведение эксперимента. Это, простите, как можно: сравнивать оценки по разным (пусть и достаточно близким) предметам, а потом еще и сравнивать результаты первичного теста и повторного экзамена? Интересно, что авторы этой статьи курили прежде, чем так организовывать постановку эксперимента? Где контрольныя группа? Где статистически значимые объемы выборок? (40 — это недопустимо малый объем)
АК>Гипотеза 8: Люди первый раз сдавали испытание уровня экзамена в форме тестов. Результат легко предсказуем. Особенно с учетом того, что системы автоматических проверок пока еще развернутые ответы не анализируют — максимум ввод результата, а скорее всего, обычный выбор правильных. А для развернутого обоснования на экзамене с преподавателем и тыканья в кнопочки все-таки разные скилы нужны.
АК>Список можно продолжить.
Не... Эти люди корректно к тестам подходят.... Я так понял, в автоматизированной системе они все необходимые корректности заложили. Это же азбука тестирования — ее все тестовики знают...
Хочешь быть счастливым — будь им!
Без булдырабыз!!!
К сожалению, можно привести многочисленные факты, подтверждающие эти гипотезы. Решение проблемы только одно — необходимо разделить процессы обучения и контроля знаний. Это очевидно, например, в спорте, где результаты работы тренера оцениваются судейской коллегией на соревнованиях. Присваивайте спортсменам звания, а тренерам ордена по результатам, которые тренер самолично и бесконтрольно напишет в ведомости, и вы получите то же состояние, в каком оказалось наше высшее (и не только высшее) образование.
Особенно вот это вывод мне нравится.
Преподам, конечно, не понравится независимая оценка. Но имхо — это единственный способ хоть как-то реально оценить работу препода. Только нужно, чтобы у преподов не было повода говорить : а судьи кто?
С этим, конечно, есть сложности, но лучше их преодолеть и сделать независимую оценку...
Хочешь быть счастливым — будь им!
Без булдырабыз!!!
LVV>В статье самое интересное — откуда и почему взялась область Б. В этой области получилось резкое расхождение оценок системы и преподав. Последняя цитата в моем первом посте — гипотезы, почему так получилось.
Гипотезы достаточно очевидны, особенно пятая. Были у меня два кадра, не сдали зачет, проводимый на компьютере (та самая контрольная). Ходили потом ко мне раз восемь (уж больно нагло себя вели), мне уже даже завкафедрой сказал мол да поставь им по тешке и забудь. В итоге я их послал, они явились к декану, и он им поставил зачет не глядя. Вот и область Б.
LVV>Гипотеза 1. Одна из существенных состоит в том, что нагрузка преподавателя пропорциональна количеству студентов. Выставляя неудовлетворительные оценки, преподаватель рискует быть уволенным. Почти на каждом заседании кафедры ему напоминают, что много неудовлетворительных оценок ставить нельзя. Поэтому преподаватель хотя и стонет, выслушивая «перлы» некоторых студентов на экзаменах, но редко выставляет оценки в соответствии с продемонстрированными знаниями. Одно время эту проблему решили просто: нагрузка преподавателя исчислялась по количеству принятых на первый курс студентов. Естественная убыль за счет отчисления неуспевающих на штатный состав преподавателей не влияла. Теперь этот опыт забыт.
Правда.
LVV>Гипотеза 2. Эту причину стараются не замечать, хотя в студенческой среде о ней говорят совершенно открыто. Речь идёт об оценках за плату. Но доказать это, понятно, весьма сложно, поскольку интересы студентов-неучей и преподавателей-мздоимцев совпадают. Да и кто будет этим заниматься, если администрация обычно придерживается принципа «моя хата с краю»? Об этом неоднократно писалось в прессе, даже публиковались, так сказать, прейскуранты.
ieee.org это конечно здорово, но такие формулировки стараются вычищать даже из википедии. Кто говорит открыто, почему я ни разу не слышал?
LVV>Гипотеза 3. Протекционизм. Можно, конечно, отрицать его существование. Но результат говорит сам за себя — даже на последнем курсе очень многие студенты не ориентируются в математике (хотя большинство дисциплин, особенно по радиоэлектронным специальностям, основаны именно на ней), но «успешно» сдают экзамены и защищают дипломные работы.
В принципе, тоже самое, что гипотеза 1
LVV>Гипотеза 4. Можно спорить о плюсах и минусах СКТ, одно бесспорно — объективность тут гарантирована (кстати, именно это качество СКТ является основным препятствием их широкого использования в учебном процессе).
совершенно голословное утверждение
LVV> Так вот, некоторым студентам, в зачётках которых одни тройки и за которых постоянно ратуют «просители», как правило, не удаётся получить положительную оценку на компьютере. Зато позже, на комиссии (есть в вузах такая форма последней попытки пересдать экзамен), уже без компьютера — получают вожделенное «удовлетворительно». И тайны тут нет никакой: редкий преподаватель сможет отказать, например, заведующему кафедрой, тем более – проректору.
Сам не видел, но не исключаю.
LVV>Гипотеза 5. Экономят личное время. Мотив: рано или поздно придётся выставить вожделенные «удовл.» (50 баллов).
Правда.
LVV>К сожалению, можно привести многочисленные факты, подтверждающие эти гипотезы.
Тем не менее, ни один не приведен.
LVV> Решение проблемы только одно — необходимо разделить процессы обучения и контроля знаний. Это очевидно, например, в спорте, где результаты работы тренера оцениваются судейской коллегией на соревнованиях. Присваивайте спортсменам звания, а тренерам ордена по результатам, которые тренер самолично и бесконтрольно напишет в ведомости, и вы получите то же состояние, в каком оказалось наше высшее (и не только высшее) образование.
Отлично, непонятна связь с тестированием.
Ну и конечно о возможности других объяснений авторы не задумываются. Они уверены, что тесты корректны и понятны, действительно проверяют знания по предмету, а не знания цвета платья Ингрид Добеши на выпускном балу. Ну и конечно гениальная идея сравнивать оценки по разным предметам, что само по себе делает все это профанацией.
Вкратце, авторы явным образом демонстрируют отсутствие понятия о научном методе и правилах постановки экспериментов.
Здравствуйте, Sergey Chadov, Вы писали:
LVV>>Гипотеза 1. SC>Правда.
Ну, нормальный препод обычно об этом не думает... Это думает за него руководство... LVV>>Гипотеза 2. SC>ieee.org это конечно здорово, но такие формулировки стараются вычищать даже из википедии. Кто говорит открыто, почему я ни разу не слышал?
Я тоже не слышал, чтоб открыто говорили... LVV>>Гипотеза 3. SC>В принципе, тоже самое, что гипотеза 1
Да... LVV>>Гипотеза 4. Можно спорить о плюсах и минусах СКТ, одно бесспорно — объективность тут гарантирована (кстати, именно это качество СКТ является основным препятствием их широкого использования в учебном процессе). SC>совершенно голословное утверждение
Не совсем... Я выразился бы осторожнее: одинаковость подхода в выставлении оценки для любого тестируемого... Причем только в данном конкретном случае...
Но если вы читали всю статью, то по группе А получается совпадение. Это дает основание говорить, что группе Б поставлены объективные оценки по тому же принципу, что и группе А... LVV>> Так вот, некоторым студентам, в зачётках которых одни тройки и за которых постоянно ратуют «просители», как правило, не удаётся получить положительную оценку на компьютере. Зато позже, на комиссии (есть в вузах такая форма последней попытки пересдать экзамен), уже без компьютера — получают вожделенное «удовлетворительно». И тайны тут нет никакой: редкий преподаватель сможет отказать, например, заведующему кафедрой, тем более – проректору. SC>Сам не видел, но не исключаю.
У нас наоборот. Математики не ставят трояков, поэтому всех хвостистов отправляют на "объективный" тестовый контроль, где худо-бедно как-то получают свои трояки... Естественно, этот контроль организован руководством в виде центра независимого тестирования у нас в вузе... И есть совершенно отдельные люди, которые там управляют... LVV>>Гипотеза 5. Экономят личное время. Мотив: рано или поздно придётся выставить вожделенные «удовл.» (50 баллов). SC>Правда.
Правда... Сам так поступал несколько раз... Если есть хоть малейшая надежда, что хоть что-то из студиоза к 5-му курсу получится. Но с большинством я упираюсь — либо сдавайте, либо идите к заведующему... А уж он своей властью может и поставить... LVV>>К сожалению, можно привести многочисленные факты, подтверждающие эти гипотезы. SC>Тем не менее, ни один не приведен.
Ну, все же это статья по тестированию, а не по социалке... LVV>> Решение проблемы только одно — необходимо разделить процессы обучения и контроля знаний. Это очевидно, например, в спорте, где результаты работы тренера оцениваются судейской коллегией на соревнованиях. Присваивайте спортсменам звания, а тренерам ордена по результатам, которые тренер самолично и бесконтрольно напишет в ведомости, и вы получите то же состояние, в каком оказалось наше высшее (и не только высшее) образование. SC>Отлично, непонятна связь с тестированием.
Тестирование не катит... Без него — лучше гораздо... Главное, чтобы независимые люди проверяли... Только компетентные, компетентность которых известна и всеми признается... SC>Ну и конечно о возможности других объяснений авторы не задумываются. Они уверены, что тесты корректны и понятны, действительно проверяют знания по предмету, а не знания цвета платья Ингрид Добеши на выпускном балу. Ну и конечно гениальная идея сравнивать оценки по разным предметам, что само по себе делает все это профанацией. SC>Вкратце, авторы явным образом демонстрируют отсутствие понятия о научном методе и правилах постановки экспериментов.
Возможно... Но авторы с Украины... Видимо хоть как-то хотелось показать, что внедрение СКТ повышает объективность...
Видимо, достали их там уже покруче, чем нас здесь...
Хочешь быть счастливым — будь им!
Без булдырабыз!!!
Здравствуйте, LaptevVV, Вы писали:
SC>>ieee.org это конечно здорово, но такие формулировки стараются вычищать даже из википедии. Кто говорит открыто, почему я ни разу не слышал? LVV>Я тоже не слышал, чтоб открыто говорили...
Вот вот. А утверждение типа "все берут взятки", ничем не подкрепленное в статье, претендующей на научный подход — по-моему вполне достаточное условие, чтобы дальше не читать.
LVV>>>Гипотеза 4. Можно спорить о плюсах и минусах СКТ, одно бесспорно — объективность тут гарантирована (кстати, именно это качество СКТ является основным препятствием их широкого использования в учебном процессе). SC>>совершенно голословное утверждение LVV>Не совсем... Я выразился бы осторожнее: одинаковость подхода в выставлении оценки для любого тестируемого... Причем только в данном конкретном случае...
Голословное утверждение не про объективность(в смысле "одинаковые критерии оценки для всех", а не соответствия результатов здравому смыслу). Тут-то как раз вопросов нет. Категоричное и голословное утверждение, что объективность — основное препятствие.
LVV>>>Гипотеза 5. Экономят личное время. Мотив: рано или поздно придётся выставить вожделенные «удовл.» (50 баллов). SC>>Правда. LVV>Правда... Сам так поступал несколько раз... Если есть хоть малейшая надежда, что хоть что-то из студиоза к 5-му курсу получится. Но с большинством я упираюсь — либо сдавайте, либо идите к заведующему... А уж он своей властью может и поставить...
Да и вообще с идиотами на нескольких перезачетах общаться желания мало.
LVV>>>К сожалению, можно привести многочисленные факты, подтверждающие эти гипотезы. SC>>Тем не менее, ни один не приведен. LVV>Ну, все же это статья по тестированию, а не по социалке...
тогда нафига они все это написали, как будто это хорошо всем известные истины? Из их статьи в лучшем случае следует вывод, что разработанный тест по ЦОС объективнее их преподов.
SC>>Отлично, непонятна связь с тестированием. LVV>Тестирование не катит... Без него — лучше гораздо... Главное, чтобы независимые люди проверяли... Только компетентные, компетентность которых известна и всеми признается...
Я только за.
LVV>Возможно... Но авторы с Украины... Видимо хоть как-то хотелось показать, что внедрение СКТ повышает объективность...
Вообще-то украинское гражданство не является оправданием в таких случаях.
Здравствуйте, LaptevVV, Вы писали:
LVV>В статье самое интересное — откуда и почему взялась область Б. В этой области получилось резкое расхождение оценок системы и преподав. Последняя цитата в моем первом посте — гипотезы, почему так получилось.
Или я под вечер плохо соображаю или эта статья какой-то стеб.. Как вам такая гипотеза области Б: ниже двух баллов на экзамене не ставят, поэтому область Б на бомажке с графиком надо аккуратно отрезать ножницами, смять в комочек руками, съесть ротом и подумать головой.
Здравствуйте, MescalitoPeyot, Вы писали: MP>Или я под вечер плохо соображаю или эта статья какой-то стеб.. Как вам такая гипотеза области Б: ниже двух баллов на экзамене не ставят, поэтому область Б на бомажке с графиком надо аккуратно отрезать ножницами, смять в комочек руками, съесть ротом и подумать головой.
Воистину. После "пересдачи" ЦОС все, кроме одного, получили свои одинаковые "51" и ушли с миром. Полный BS.
Здравствуйте, LaptevVV, Вы писали:
LVV>Не... Эти люди корректно к тестам подходят.... Я так понял, в автоматизированной системе они все необходимые корректности заложили. Это же азбука тестирования — ее все тестовики знают...
Смех сквозь слезы по поводу "все тестовики знают" Увы, не все. Далеко не все. Хотя остается вопрос, являются ли они после этого тестовиками
Конкретно про данный случай сказать ничего не могу — не хватает данных. Вполне возможно, что формулы и заложили. Но, позволю себе немного "позанудничать", на выборке в 40 объектов статистически значимые результаты в любом случае не получаются, а значит, какие-либо выводы по валидности вопросов тоже, формально, с потолка будут взяты, хотя ключевые тенденции отследить по такой выборке уже можно.
И еще, какой-то график 1 (там показаны все оценки) у них странный. Оценки за 4 обычных экзамена отличаются друг от друга примерно в пределах 1 балла (на сколько могу судить "на глаз"), и достаточно хорошо коррелируют друг с другом, а вот разница с результатами теста кое-где и 2 балла составляет и корреляция явно слабая будет. При этом вероятность сговора 4 преподавателей с целью постановки сходных оценок представляется маловероятной. То есть, первый график, помимо всего прочего, демонстрирует, что результаты теста... скорее свидетельствуют о некорректности теста.
И после этого речь идет про то, что из совпадения на участке А рис 2 обоих псевдоспектров (забыл уже, как этот тип графика называется ) следует, что результаты теста корректно оценивают знания... Почему совпадают, почему совпадают... потому, что оба распределения в пределе к нормальным вырождаются и в данном случае и должны будут примерно совпадать. Вот и все. И никаких паранормальных выводов не надо. Корректность теста к этим графикам отношения не имеет, а с учетом предыдущего абзаца в принципе ставится под большое сомнение. Совпадение же графиков говорит лишь о том, что и при обычном экзамене и при тестировании не было явных влияний "свыше", что, похоже, наблюдается для участка Б.
Другое дело, что часть Б на графике действительно интересная и, не смотря на все мои слова, из ошибок эксперимента появиться она вряд ли может.
"Пишите код так, как будто сопровождать его будет склонный к насилию психопат, который знает, где вы живете". (с) Макконнелл, "Совершенный код".
LVV>На рис.2 всего две кривые. Сплошной линией красного цвета, как и на рис.1, – показаны оценки по ЦОС, выставленные СКТ. Синими точками – ранжированные по убыванию средние оценки по всем пяти предметам сводной ведомости деканата (после всех пересдач). На обеих рисунках имеются хорошо различимые области: А – первые 29 студентов, которых СКТ по курсу ЦОС признала успевающими и Б – остальные студенты, у которых оценка СКТ меньше 50 баллов. Особенно чётко эта граница различима на рис.1.
Вывод — ЦОС можно было вообще не сдавать, а поставить туда среднюю из оставшихся четырех оценок
Здравствуйте, LaptevVV, Вы писали:
LVV>Гипотеза 1. Одна из существенных состоит в том, что нагрузка преподавателя пропорциональна количеству студентов. Выставляя неудовлетворительные оценки, преподаватель рискует быть уволенным. Почти на каждом заседании кафедры ему напоминают, что много неудовлетворительных оценок ставить нельзя. Поэтому преподаватель хотя и стонет, выслушивая «перлы» некоторых студентов на экзаменах, но редко выставляет оценки в соответствии с продемонстрированными знаниями.
+ преподавательно устаёт очень сльно. Бывает зайдешь в комнату вечером после недели экзаменов у преподавателя то можно брать такого хучь голыми руками — хороший ответ на один простецкий вопрос и дело в шляпе.
А бывает и так — в такой же обстановке можно прийти и сказать "а поставьте мне хорошую оценку (как бывший военнослужащему/ я/кмс по .../я на все лекции ходил/у меня ... умер/я много работал)".
LVV>Гипотеза 2. Эту причину стараются не замечать, хотя в студенческой среде о ней говорят совершенно открыто. Речь идёт об оценках за плату.
В среднем 2 предмета в год сдаётся таким макаром. Но дело даже хуже — есть преподаватели, которые буквально зажимают студентов специально с целью выдавливания мзды. У меня был один такой
LVV>Гипотеза 3. Протекционизм. Можно, конечно, отрицать его существование.
Спорно — если у студента протекция, то он обычно занят чем то по кафедре/институту.
LVV> И тайны тут нет никакой: редкий преподаватель сможет отказать, например, заведующему кафедрой, тем более – проректору.
Преподавателя проще уволить и взять такого, что будет ставить "правильные" оценки
LVV>Гипотеза 5. Экономят личное время. Мотив: рано или поздно придётся выставить вожделенные «удовл.» (50 баллов). Оправдываются же тем, что учат только тех, кто этого хочет.
Это фигня какая то. Пусть работодатели смотрят в оценки во вкладыше Все равно через года два-три после универа проще выяснить на собеседовании, чем вообще спрашивать про диплом.
LVV>К сожалению, можно привести многочисленные факты, подтверждающие эти гипотезы. Решение проблемы только одно — необходимо разделить процессы обучения и контроля знаний. Это очевидно, например, в спорте, где результаты работы тренера оцениваются судейской коллегией на соревнованиях. Присваивайте спортсменам звания, а тренерам ордена по результатам, которые тренер самолично и бесконтрольно напишет в ведомости, и вы получите то же состояние, в каком оказалось наше высшее (и не только высшее) образование.
На счёт разделить это правильно ! А то дать волю девелоперам, так они без тестировщиков релизить будут такое...
Где контрольныя группа? Где статистически значимые объемы выборок? (40 — это недопустимо малый объем)
Увы, не все. Далеко не все. Хотя остается вопрос, являются ли они после этого тестовиками 
