Способ оценки  знаний в дистанционном обучении на основе нечетких отношений

 

Попов Д.И., к.т.н., доцент, зав. отд. «Интеллектуальные системы в дистанционном образовании» Таганрогского государственного радиотехнического университета, тел.: (8634)315118, (8634)461673, (8634)469409, Е-mail: dised@tsure.ru, mailto:dam@popov.pp.taganrog.ru, http://www.tsure.ru/

 

The problems of Web-based, distance-education, system development are discussed in this article, and several methods for resolving these problems are suggested. Some tasks of the distance education system are presented. This system allows students without the personal presence of the teacher to master his or her chosen discipline, to check their own knowledge by means of tests, and to execute assignments. In addition, this system helps tutors to make their own courses and to define fuzzy models of knowledge evaluation. An intelligent student assessment model, based on fuzzy set mathematics, is also considered. Finally, the results of computer modeling of this method are presented.

 

Задача оценки знаний учащихся на основе компьютерных систем тестирования является одним из важных вопросов, возникающих в дистанционном образовании. В этой статье рассматривается способ оценки знаний, который может быть реализован в компьютерных системах дистанционного обучения. Широко известны две задачи, решение которых необходимы при проверке знаний учащегося. Основной задачей экзаменатора является «извлечь» максимум знаний, известных студенту. Основной задачей испытуемого является показать максимум своих знаний. Очевидно, цели экзаменатора и испытуемого достаточно близки. Тем не менее, в результате тестирования достичь этих целей удается не всегда, что является причиной заниженных и завышенных оценок. Для избежания и уменьшения погрешности оценки знаний разработан комбинированный способ адаптивного тестирования с использованием элементов нечеткой логики.

Рассмотрим следующую модель. Пусть текущий рейтинг студента в процессе прохождения теста оценивается по 100 бальной шкале – в процентах. Сто процентов означает «абсолютное», идеальное знание этого предмета. Определим следующие возможные оценки для испытуемого на основе нечетких множеств (табл.1).

Будем считать, что студент прошел тест, если получил любую положительную оценку, кроме «неудовлетворительно».

Эксперту по дисциплине необходимо разработать соответствующий набор вопросов по каждому уровню. Сложность этих вопросов должна соответствовать различному уровню подготовки студентов. Предположим, мы имеем 4 уровня сложности вопросов: начинающий уровень, средний уровень сложности, уровень повышенной сложности, уровень эксперта. Эти уровни сложности будут меняться в зависимости от успеха отвечаемого. С уменьшением правильных ответов будет понижаться и уровень сложности вопросов. И наоборот, если студент отвечает успешно, то сложность вопросов возрастает.


 

 

Табл.1

Процент

правильных

Не удовлетворит.

Ниже среднего

Среднее

Выше среднего

Отлично

10

1

0

0

0

0

20

1

0

0

0

0

30

1

0

0

0

0

40

0.9

0.1

0

0

0

50

0.5

0.5

0

0

0

55

0.1

0.9

0

0

0

60

0

1

0

0

0

65

0

1

0

0

0

70

0

0.1

0.9

0

0

75

0

0

1

0

0

80

0

0

0.8

0.2

0

85

0

0

0

1

0

90

0

0

0

0.8

0.2

95

0

0

0

0

1

100

0

0

0

0

1

 

Введем также нечеткую характеристику «правильности» ответа на вопрос. Эта величина определяет, как успешно студент ответил на текущий вопрос – правильно, чуть ошибочно, спорно, не правильно.

Кроме того, разрешим студенту использовать при ответе подсказки системы, но за каждую подсказку будем снимать некоторый бал или понижать характеристику правильность ответа.

Одним из важных факторов в процессе тестирования – это время, даваемое на ответ. При наличие избыточного времени у студента появляется возможность воспользоваться дополнительными источниками, а это в свою очередь дает погрешность в оценке действительных знаний студента. Поэтому введем величину «интервал времени» для каждого вопроса, обозначающую сколько времени дается студенту, что бы ответить на конкретный вопрос. При преувеличении указанного времени, характеристика правильность ответа должна понижаться, так как это можно рассматривать, как использование студентом подсказки.

Каждый раз, когда задается вопрос, на основании описанной модели происходит «прогнозирование» наиболее вероятного ответа студента и соответственно выбирается вопрос необходимого уровня. По мере увеличения правильных ответов увеличивается и уровень сложности задаваемых вопросов и наоборот. В результате общая (итоговая) оценка зависит от следующих факторов:

·        пропорционального количества вопросов разной сложности;

·        текущей и прогнозируемой оценке (в процентах);

·        правильности ответа на вопрос;

·        времени ответа на вопросы.

Отличительной чертой системы является ее интеллектуальность, что выражается в моделировании работы экзаменатора в случае не уверенности в знаниях студента. Например, тестирование может быть прервано, когда испытуемый вышел на стабильную оценку, а также могут быть заданы ряд дополнительных вопросов для уточнения уровня знаний студента.

Математическая модель для рассмотренного метода приведена в табл.2.

 

Табл. 2


№ Вопр.

Нечеткая оценка ответа

Текущий рейтинг, %

Уровень сложности

Нечеткая итоговая оценка

Неуд

Ниже средн.

Средн.

Веше средн.

Отл.

1

ОШИБОЧНО

50,00

Средний

0,5

0,5

0

0

0

2

ПРАВИЛЬНО

75,00

Средний

0

0

1

0

0

3

ПРАВИЛЬНО

83,33

Средний

0

0

0,8

0,2

0

4

ПРАВИЛЬНО

87,50

Средний

0

0

0

1

0

5

ПРАВИЛЬНО

90,00

Сложный

0

0

0

0,8

0,2

6

ПРАВИЛЬНО

91,67

Эксперт

0

0

0

0,8

0,2

7

ПРАВИЛЬНО

92,86

Эксперт

0

0

0

0,8

0,2

8

ПРАВИЛЬНО

93,75

Эксперт

0

0

0

0,8

0,2

9

ПРАВИЛЬНО

94,44

Эксперт

0

0

0

0,8

0,2

10

ПРАВИЛЬНО

95,00

Эксперт

0

0

0

0

1

11

ПРАВИЛЬНО

95,45

Эксперт

0

0

0

0

1

12

ОШИБОЧНО

91,67

Эксперт

0

0

0

0,8

0,2

13

ПРАВИЛЬНО

92,31

Эксперт

0

0

0

0,8

0,2

14

ОШИБОЧНО

89,29

Эксперт

0

0

0

1

0

15

СПОРНО

84,67

Сложный

0

0

0,8

0,2

0

16

ПРАВИЛЬНО

85,63

Сложный

0

0

0

1

0

17

ПРАВИЛЬНО

86,47

Сложный

0

0

0

1

0

18

ПРАВИЛЬНО

87,22

Сложный

0

0

0

1

0

19

ОШИБОЧНО

85,26

Сложный

0

0

0

1

0

20

ПРАВИЛЬНО

86,00

Сложный

0

0

0

1

0

21

ПРАВИЛЬНО

86,67

Сложный

0

0

0

1

0

22

НЕ ВЕРНО

82,73

Сложный

0

0

0,8

0,2

0

23

СПОРНО

80,00

Средний

0

0

0,8

0,2

0

24

ПРАВИЛЬНО

80,83

Начин.

0

0

0,8

0,2

0

25

ПРАВИЛЬНО

81,60

Начин.

0

0

0,8

0,2

0

26

ОШИБОЧНО

80,38

Начин.

0

0

0,8

0,2

0

27

ПРАВИЛЬНО

81,11

Начин.

0

0

0,8

0,2

0

28

ПРАВИЛЬНО

81,79

Начин.

0

0

0,8

0,2

0

29

ПРАВИЛЬНО

82,41

Начин.

0

0

0,8

0,2

0

30

ПРАВИЛЬНО

83,00

Средний

0

0

0,8

0,2

0

На основании полученной модели и в соответствии с табличными данными могут быть построены графики, показывающие следующие зависимости:

·        «правильность» ответов студента на вопросы теста (Рис.1);

·        изменение уровней сложности, задаваемых вопросов, по мере прохождения теста (Рис. 2);

·        текущий рейтинг студента, полученный по мере прохождения теста (Рис. 3);

·        диаграммы нечетких множеств для итоговой оценки студента (Рис. 4).

Механизм нечеткой оценки знаний поддерживается в системе посредством:

·        ввода экспертом (преподавателем) вопросов четырех уровней сложности;

·        предложением экспертом нескольких (не менее 4) вариантов ответов и оценки каждого ответа;

·        ввода возможных подсказок на вопрос и зависимости изменения оценки за вопрос от их использования.

·        ввода лимита времени, необходимого для ответа на этот вопрос.

Для увеличения гибкости системы предусмотрены также возможности изменения распределения нечеткой величины – «итоговая оценка». Таким образом, она может быть настроена индивидуально для каждого преподавателя и дисциплины.


Рис. 2 Изменение уровней сложности, задаваемых вопросов,

по мере прохождения теста

 



Рис. 3 Текущий рейтинг студента, полученный по мере прохождения теста


Рис. 4 Диаграммы нечетких множеств для итоговой оценки студента