Одним из очевидных недостатков систем онлайн образования является невозможность проконтролировать самостоятельность решения задач студентами. Это приводит к массовому списыванию и, как следствие, к обесцениванию выдаваемых сертификатов. В статье предлагается некоторое техническое средство, позволяющее частично уменьшить ущерб от этого явления в онлайн образовании.
Эта статься (под заголовком «Об одном решении проблемы «читеров» и «консультантов» при оказании образовательных услуг онлайн») послана в официальный, научный педагогический журнал «Компьютерные инструменты» и находится на рецензировании. Но что-то я сомневаюсь, что она когда-нибудь выйдет.
В идеальном случае, в системе онлайн образования три действующих лица: Преподаватели, студенты и работодатели. В идеальном случае процесс оказания образовательной услуги онлайн происходит так:
Это повторяется несколько раз, и в результате преподаватели передают работодателям студентов вместе с неким сертификатом, подразумеваемый смысл которого: «Этот студент что-то может делать самостоятельно». Чтение лекций, раздача книжек, ответы на вопросы и прочее, связанное с обучением, а не с оказанием образовательной услуги онлайн, в этой статье не рассматривается.
В реальности, в системе онлайн образования присутствуют еще два действующих лица: «читеры» и «консультанты».
В реальности:
Таким образом, некоторая часть усилий преподавателей уходит на бессмысленную фильтрацию продуктов труда консультантов и сюрреалистические беседы с читерами.
В случае, если читеров с консультантами достаточно много, оказание образовательной услуги искажается до полной карикатурности:
В качестве иллюстрации полной карикатурности сложившейся ситуации прекрасно подходит знаменитая история про рисование диодного моста [1] и фраза, которая была обнаружена на одном из ресурсов с консультантами: «… ваш заказ будет выполнен в максимально короткие сроки. Основное время уходит на то, чтобы оплатить заказ. Так же по этой причине стоимость примеров из данных задачников минимальна (от 8 руб. за пример/задачу). По другим задачникам расценки несколько выше (от 20 руб. за пример/задачу)…». Читатель может самостоятельно оценить масштаб проблемы, «погуглив» фразу «помощь в онлайн обучении».
Традиционные методы борьбы с этим явлением, связанные с призывами к этичности и усилением контроля, бесполезны при обучении онлайн. Попытка сделать проблему невидимой с помощью «объективных тестов» с «ответом в виде числа» приводит к еще более быстрой деградации образования, т.к. делает невозможным задавать содержательные задачи и бессмысленно усложняет жизнь тем немногим студентам, кто собирается чему-то научиться.
В качестве одного из решения проблем, вызванных присутствием читеров и консультантов в системах онлайн образования, предлагаются две идеи:
Идея проверки работ самими студентами не нова, достаточно подробно исследована, уже внедрена в некоторые онлайн системы и выглядит примерно так:
Предлагается довести эту систему взаимопроверок до логического конца:
Таким образом, преподаватели занимаются студентами, студенты становятся «не только писателями, но и читателями», что полезно, читеры с консультантами обслуживают сами себя и, как приятный бонус, еще помогают проверять работы студентов. И, даже если читеров с консультантами будет существенно больше, чем студентов, система останется работоспособной, так как работу студента будут проверять несколько высококвалифицированных консультантов, и наоборот, студенту будут приходить на проверку в основном образцово оформленные работы, написанные опять же высококвалифицированными консультантами.
В качестве сертификата работодатель получает не просто бумажку с печатью, а полный комплект всех заданий с решениями, написанными рукой студента (или консультанта).
Если работодателю интересно, он сам может произвести фильтрацию и беседу, но теперь ему уже не надо придумывать вопросы «про диодный мост», у него теперь есть информация для более содержательных вопросов типа:
Если работодателю неинтересно, то всё остается таким же, как и раньше: читер, консультант и работодатель абсолютно честно получат то, что хотели.
Возможные проблемы внедрения и их устранение:
Проблема 1: Возможно судебное преследование в связи с законом о защите персональных данных или еще в связи с чем-нибудь.
Эта проблема решается анонимностью, т.к. «сертификат» (в виде всех сделанных работ) может и не содержать никаких персональных данных. При онлайн обучении все равно невозможно установить, кто именно выполнил эти работы. Эта система может быть названа красивым словом «портфолио», не привязана ни к какому вузу и даже не привязана к министерству образования с его ФОСами и обрнадзорами.
Проблема 2: Троллинг. Анонимные участники системы могут саботировать процесс, посылая нечитаемые контрольные, неподобающие изображения, или осуществляя заведомо неверные проверки.
Для борьбы с этим система должна подсчитывать «рейтинги» и учитывать их при назначении платы за проверку:
Таким образом, асоциальное поведение будет приводить к штрафам, следовательно, к необходимости проверять всё больше и больше чужих работ, и сделается невыгодным.
Задача начисления справедливой платы за проверку и задача адекватного оценивания результатов проверки есть не что иное, как стандартная задача из прикладной статистики, и она достаточно хорошо исследована.
Справедливая оплата за проверку сложных или плохо оформленных работ может назначаться методом «аукциона второй цены»: Студенты (или читеры) сначала смотрят на работу, предлагают плату за проверку и таким образом участвуют в аукционе.
Проблема 3: При запуске системы и/или в начале новой темы будет много желающих послать работу на проверку, но не имеющих достаточно баллов. И наоборот, будет много желающих заработать баллы, но не готовых проверять работы по этой теме.
Обычно у заданий есть некоторая естественная иерархия (например, деление проходят после умножения, а умножение после сложения), таким образом, условные старшекурсники могут проверять задания условных младшекурсников.
Через некоторое время накопится эталонный банк заданий с эталонными правильными и неправильными решениями, который можно использовать для определения проверочных рейтингов и «накопления первоначального капитала» студентами.
Проблема 4: Обыкновенные задания из обыкновенных задачников скоро станут известны вместе с решениями и сделаются малопригодными.
В качестве источника заданий для этой системы идеально подойдут какие либо генераторы заданий. Их уже разработано достаточно много [2-14]. Существуют и свободно распространяемые генераторы с открытым исходным кодом [12, 13]. В [14] есть подробный обзор. Непопулярность генераторов в традиционном преподавании остроумно объяснена в [3] (стр. 7), но для предлагаемой системы они будут весьма полезны.
Проблема 5: Технические сложности с реализацией и поддержкой системы в работоспособном состоянии.
Систему не нужно создавать «с нуля». Популярная система обучения Moodle уже содержит механизм самопроверок работ студентами (в русскоязычной локализации Moodle это называется «ресурс семинар»), внесение предлагаемых изменений не должно представлять трудностей.
Также, эта система обучения может быть реализована как бот в одном из мессенджеров, поскольку многие не относящиеся к обучению технические проблемы, такие как регистрация, рассылка, получение и хранение изображений, мессенджер берет на себя.
Предполагаемый интерфейс предполагаемой системы мог бы выглядеть так:
Практическая реализация такой системы на базе мессенджера может быть хорошей дипломной работой студента – программиста.
У этой образовательной услуги есть естественный, заинтересованный в ней клиент – работодатель, который заинтересован в специалистах, способных работать по специальности. В нынешней реальности этим работодателям приходится самостоятельно проводить экзамен при приеме на работу, затрачивая на это свои ресурсы. Сертификат на студента (или читера) в виде комплекта выполненных работ – ценная для работодателя информация, вполне естественно, если работодатели будут платить за неё, оплачивая тем самым работу системы.
Организации, оплачивающие так называемый «целевой набор», вероятно, нуждаются в контроле над своими студентами, и предлагаемая система будет для них вполне уместна.
Эта статься (под заголовком «Об одном решении проблемы «читеров» и «консультантов» при оказании образовательных услуг онлайн») послана в официальный, научный педагогический журнал «Компьютерные инструменты» и находится на рецензировании. Но что-то я сомневаюсь, что она когда-нибудь выйдет.
Описание проблемы:
В идеальном случае, в системе онлайн образования три действующих лица: Преподаватели, студенты и работодатели. В идеальном случае процесс оказания образовательной услуги онлайн происходит так:
- Преподаватели раздают задания студентам.
- Студенты присылают решение заданий преподавателям.
- Преподаватели проверяют решения.
Это повторяется несколько раз, и в результате преподаватели передают работодателям студентов вместе с неким сертификатом, подразумеваемый смысл которого: «Этот студент что-то может делать самостоятельно». Чтение лекций, раздача книжек, ответы на вопросы и прочее, связанное с обучением, а не с оказанием образовательной услуги онлайн, в этой статье не рассматривается.
В реальности, в системе онлайн образования присутствуют еще два действующих лица: «читеры» и «консультанты».
В реальности:
- Читеры притворяются студентами, получают задания и передают их консультантам.
- Консультанты решают задания и передают решение читерам.
- Читеры передают продукцию консультантов преподавателям.
Таким образом, некоторая часть усилий преподавателей уходит на бессмысленную фильтрацию продуктов труда консультантов и сюрреалистические беседы с читерами.
В случае, если читеров с консультантами достаточно много, оказание образовательной услуги искажается до полной карикатурности:
- Преподаватели тратят уже большую часть своих усилий на бессмысленную деятельность, а через некоторое время просто перестают что-либо проверять и фильтровать в соответствии с принципом «пусть жизнь сама таких накажет строго».
- Сертификат, передаваемый работодателю вместе со студентом (или читером), перестает что-либо значить, и работодателям приходится самим заниматься фильтрациями и беседами.
В качестве иллюстрации полной карикатурности сложившейся ситуации прекрасно подходит знаменитая история про рисование диодного моста [1] и фраза, которая была обнаружена на одном из ресурсов с консультантами: «… ваш заказ будет выполнен в максимально короткие сроки. Основное время уходит на то, чтобы оплатить заказ. Так же по этой причине стоимость примеров из данных задачников минимальна (от 8 руб. за пример/задачу). По другим задачникам расценки несколько выше (от 20 руб. за пример/задачу)…». Читатель может самостоятельно оценить масштаб проблемы, «погуглив» фразу «помощь в онлайн обучении».
Традиционные методы борьбы с этим явлением, связанные с призывами к этичности и усилением контроля, бесполезны при обучении онлайн. Попытка сделать проблему невидимой с помощью «объективных тестов» с «ответом в виде числа» приводит к еще более быстрой деградации образования, т.к. делает невозможным задавать содержательные задачи и бессмысленно усложняет жизнь тем немногим студентам, кто собирается чему-то научиться.
В качестве одного из решения проблем, вызванных присутствием читеров и консультантов в системах онлайн образования, предлагаются две идеи:
- Частично переложить проверку работ на консультантов (и студентов).
- В качестве сертификата использовать сами работы студентов (и читеров).
Идея 1
Идея проверки работ самими студентами не нова, достаточно подробно исследована, уже внедрена в некоторые онлайн системы и выглядит примерно так:
- Студент (или читер) получает задание, решает его ручкой на бумаге, фотографирует телефоном и посылает преподавателю (точнее, в систему обучения).
- Решение (т.е. фотография решения) вместе с правильным ответом или инструкцией по проверке рассылается нескольким случайным студентам (или читерам).
- Эти случайные студенты (или связанные с читерами консультанты) проверяют правильность решения и ставят оценку.
- Таким образом, у работы студента (или читера) появляется несколько оценок, которые поставили несколько случайных студентов (или консультантов), и эти оценки каким-либо образом учитываются при выдаче сертификата.
Предлагается довести эту систему взаимопроверок до логического конца:
- Вводится что-то типа системы баллов, студенты (и читеры) зарабатывают и тратят баллы.
- Отдать свою (или выполненную консультантом) работу на проверку стоит, условно говоря, один балл.
- За проверку чужой работы студенту (или читеру) выплачивается некоторое вознаграждение (меньше одного балла).
- Окончательно правильность или неправильность работы, и, соответственно, правильность или неправильность проверок этой работы определяется преподавателем.
- Но преподаватель приступает к проверке не сразу после получения работы, а после того, как появятся результаты проверок студентами (или консультантами).
- Преподаватель, разумеется, может ориентироваться на результаты этих проверок, например, оставив очевидных читеров на «самообслуживании» и сосредоточившись на студентах.
- Важно отметить, что баллы за проверку никак не связаны с оценкой успеваемости, они больше соответствуют понятию «оплата за работу», т.е. оплата за деятельность, которая приносит пользу другим людям.
- Для продвижения по курсу студенту необходимо иметь положительный баланс в баллах. Т.е за право отдать на проверку одну свою работу студенту придется заплатить проверкой нескольких чужих.
Таким образом, преподаватели занимаются студентами, студенты становятся «не только писателями, но и читателями», что полезно, читеры с консультантами обслуживают сами себя и, как приятный бонус, еще помогают проверять работы студентов. И, даже если читеров с консультантами будет существенно больше, чем студентов, система останется работоспособной, так как работу студента будут проверять несколько высококвалифицированных консультантов, и наоборот, студенту будут приходить на проверку в основном образцово оформленные работы, написанные опять же высококвалифицированными консультантами.
Идея 2
В качестве сертификата работодатель получает не просто бумажку с печатью, а полный комплект всех заданий с решениями, написанными рукой студента (или консультанта).
Если работодателю интересно, он сам может произвести фильтрацию и беседу, но теперь ему уже не надо придумывать вопросы «про диодный мост», у него теперь есть информация для более содержательных вопросов типа:
- Расскажите, что тут у вас написано, ведь вы же сами это писали, не правда ли?
- Вот вам точно такая же задача, вы её уже решали, вы же сможете решить её ещё раз?
- Что значит «это мы не проходили»? Вот же задача, которую вам задавали, и которую вы уже успешно решили.
Если работодателю неинтересно, то всё остается таким же, как и раньше: читер, консультант и работодатель абсолютно честно получат то, что хотели.
Возможные проблемы внедрения и их устранение:
Проблема 1: Возможно судебное преследование в связи с законом о защите персональных данных или еще в связи с чем-нибудь.
Эта проблема решается анонимностью, т.к. «сертификат» (в виде всех сделанных работ) может и не содержать никаких персональных данных. При онлайн обучении все равно невозможно установить, кто именно выполнил эти работы. Эта система может быть названа красивым словом «портфолио», не привязана ни к какому вузу и даже не привязана к министерству образования с его ФОСами и обрнадзорами.
Проблема 2: Троллинг. Анонимные участники системы могут саботировать процесс, посылая нечитаемые контрольные, неподобающие изображения, или осуществляя заведомо неверные проверки.
Для борьбы с этим система должна подсчитывать «рейтинги» и учитывать их при назначении платы за проверку:
- За неправильно проверенную работу у студента понизится «проверочный рейтинг» и за следующие проверки его «зарплата» будет меньше.
- Посылающие неподобающие картинки будут попадать в черный список и премодерироваться за отдельную «плату» баллами.
- За плохо оформленную работу у студента понизится «рейтинг оформления», и за проверку следующих контрольных с него будут брать большую плату (и, соответственно, больше платить тем, кто будет проверять такие работы).
Таким образом, асоциальное поведение будет приводить к штрафам, следовательно, к необходимости проверять всё больше и больше чужих работ, и сделается невыгодным.
Задача начисления справедливой платы за проверку и задача адекватного оценивания результатов проверки есть не что иное, как стандартная задача из прикладной статистики, и она достаточно хорошо исследована.
Справедливая оплата за проверку сложных или плохо оформленных работ может назначаться методом «аукциона второй цены»: Студенты (или читеры) сначала смотрят на работу, предлагают плату за проверку и таким образом участвуют в аукционе.
Проблема 3: При запуске системы и/или в начале новой темы будет много желающих послать работу на проверку, но не имеющих достаточно баллов. И наоборот, будет много желающих заработать баллы, но не готовых проверять работы по этой теме.
Обычно у заданий есть некоторая естественная иерархия (например, деление проходят после умножения, а умножение после сложения), таким образом, условные старшекурсники могут проверять задания условных младшекурсников.
Через некоторое время накопится эталонный банк заданий с эталонными правильными и неправильными решениями, который можно использовать для определения проверочных рейтингов и «накопления первоначального капитала» студентами.
Проблема 4: Обыкновенные задания из обыкновенных задачников скоро станут известны вместе с решениями и сделаются малопригодными.
В качестве источника заданий для этой системы идеально подойдут какие либо генераторы заданий. Их уже разработано достаточно много [2-14]. Существуют и свободно распространяемые генераторы с открытым исходным кодом [12, 13]. В [14] есть подробный обзор. Непопулярность генераторов в традиционном преподавании остроумно объяснена в [3] (стр. 7), но для предлагаемой системы они будут весьма полезны.
Проблема 5: Технические сложности с реализацией и поддержкой системы в работоспособном состоянии.
Систему не нужно создавать «с нуля». Популярная система обучения Moodle уже содержит механизм самопроверок работ студентами (в русскоязычной локализации Moodle это называется «ресурс семинар»), внесение предлагаемых изменений не должно представлять трудностей.
Также, эта система обучения может быть реализована как бот в одном из мессенджеров, поскольку многие не относящиеся к обучению технические проблемы, такие как регистрация, рассылка, получение и хранение изображений, мессенджер берет на себя.
Предполагаемый интерфейс предполагаемой системы мог бы выглядеть так:
- Преподаватель в роли преподавателя формирует цепочку заданий в нескольких вариантах (при помощи какого либо генератора заданий или вручную) и выкладывает в систему. Эти задания рассылаются студентам согласно графику.
- Преподаватель в роли проверяющего получает работу студента вместе с результатами проверки (другими студентами), вероятностью правильности работы (высчитанной системой на основании рейтингов проверявших), статистикой по этому студенту и прочей информацией.
После этого он может:
a) утвердить оценку «не глядя» (например, в случае очевидного читерства) или
b) просмотреть решение, выставить окончательную оценку и внести информацию по студенту в свой «черный блокнотик». - Студент в роли студента получает очередное задание, решает ручкой на бумажке (или еще как-нибудь), фотографирует и (при наличии достаточного количества баллов на счету) выставляет работу на проверку. Возможно, в случае плохо оформленной работы не найдется желающих ее проверять, и тогда студенту придется либо согласиться с большей ценой, либо выставить на проверку другое решение.
- Студент в роли проверяющего получает на проверку работу другого студента вместе с предложением об оплате и
a) либо соглашается с оплатой, проверяет работу, и посылает оценку (правильно/неправильно);
b) либо (в случае сложной задачи или плохо оформленной работы) отказывается и требует повысить оплату. В этом случае проводится «аукцион второй цены», и работа повторно высылается на проверку уже по большей цене.
Практическая реализация такой системы на базе мессенджера может быть хорошей дипломной работой студента – программиста.
Финансирование
У этой образовательной услуги есть естественный, заинтересованный в ней клиент – работодатель, который заинтересован в специалистах, способных работать по специальности. В нынешней реальности этим работодателям приходится самостоятельно проводить экзамен при приеме на работу, затрачивая на это свои ресурсы. Сертификат на студента (или читера) в виде комплекта выполненных работ – ценная для работодателя информация, вполне естественно, если работодатели будут платить за неё, оплачивая тем самым работу системы.
Организации, оплачивающие так называемый «целевой набор», вероятно, нуждаются в контроле над своими студентами, и предлагаемая система будет для них вполне уместна.
Долговременные последствия внедрения
- Очевидно, читеры начнут попадать в затруднительное положение (или, по крайней мере, будут бояться попасть в затруднительное положение) при приеме на работу, и эта очевидность уменьшит ценность услуг консультантов, которые вернутся к более полезному занятию – репетиторству.
- Студенты не смогут больше жить по принципу «выучил – сдал – забыл», так как когда-то решенные задачи останутся с ними навсегда.
- Эта система позволит отказаться от порочной практики оценивать успеваемость студента по размеру пробелов в знаниях [2].
- Через эту систему возможен диалог между работодателями и преподавателями без посредников в виде разного рода надзорных организаций.
Заключение
Война между преподавателями и читерами, похожая на соревнование брони и снаряда, хорошо известна всем, кто достаточно долго работал со студентами. В этой войне «броня» защищала репутацию вуза и связанную с ней академическую ренту [15]. В настоящее время, в условиях подушевого финансирования, годичных контрактов, опросов студентов на предмет «удовлетворенности качеством оказываемой образовательной услуги», у «брони» исчезли всякие причины что-либо защищать. Вряд ли существуют какие либо зарубежные аналоги сложившейся ситуации.
Предлагается не пытаться остановить то, что нельзя остановить, а уменьшить наносимый ущерб.
Описанная выше система обучения не революционна, она предлагается как компьютерный инструмент, соответствующий уже сложившейся «де факто» ситуации, в которой преподаватели вынуждены игнорировать читеров, а работодатели вынуждены самостоятельно проводить эрзац экзамен.
Компоненты предлагаемой системы (самопроверка работ студентами и накопление портфолио) сами по себе не новы:
Новизна предлагаемой системы заключается в принципиально новом взаимодействии вышеописанных компонентов:
Предлагается не пытаться остановить то, что нельзя остановить, а уменьшить наносимый ущерб.
Описанная выше система обучения не революционна, она предлагается как компьютерный инструмент, соответствующий уже сложившейся «де факто» ситуации, в которой преподаватели вынуждены игнорировать читеров, а работодатели вынуждены самостоятельно проводить эрзац экзамен.
Компоненты предлагаемой системы (самопроверка работ студентами и накопление портфолио) сами по себе не новы:
- В существующей ситуации, в которой студенты считают себя «клиентами, получающими услугу», написание проверочных работ воспринимается ими как нечто бесполезное, всего лишь нужное для того, чтобы «пробить броню из преподавателей», и как то, что всё равно в конечном итоге отправится в мусорную корзину.
- Портфолио обычно предполагает коллекционирование успехов (но не провалов) в виде наград в рамочке и дипломов с печатью, что в условиях избытка читеров порождает то же самое соревнование брони и снаряда, следовательно, не особенно отличается от обычного диплома об образовании и не представляет информативной ценности для работодателей. Преподаватели могли бы сами собирать все работы студентов и прикладывать их к диплому, но, разумеется, никто этого делать не будет.
- Рассчитывать на добросовестность студентов при проверке чужих работ в условиях подушевого финансирования абсурдно. Если обосновать «незачет» неправильно решенной задачей преподаватель еще как-то может, то поставить «незачет» за то, что студент некачественно «выполнил работу преподавателя», невозможно. Разумеется, самопроверки имеют некоторый смысл как еще одна образовательная процедура, но соотношение (образовательный эффект)/(усилия преподавателей на организацию и проверку проверок) вряд ли лучше, чем аналогичное соотношение для более традиционных образовательных процедур.
Новизна предлагаемой системы заключается в принципиально новом взаимодействии вышеописанных компонентов:
- Автоматическое составление портфолио изменит ценность контрольных работ для студентов, поскольку они превратятся в нечто вроде «первоначального капитала», полезного при трудоустройстве.
- Необходимость посылать работы на проверку другим студентам изменит отношение к их оформлению (так как их теперь будут видеть равные по социальному положению «получатели образовательной услуги») и сделает возможным автоматическое накопление портфолио.
- В конечном итоге, основное назначение предлагаемой системы отделить мир преподавателей со студентами от мира читеров с консультантами. Разумеется, в мире преподавателей и студентов проверки контрольных работ должны делаться преподавателями, и неважно, что происходит в мире читеров с консультантами. Но граница между этими мирами трудноопределима. Предполагается, что система самопроверок с принуждением к проверке с помощью начисления баллов поможет избежать деградации на границе между мирами.
Литература и ссылки
[1] Чиков Н. В. Инженерная культура, которую мы потеряли?
[2] Финогенов А.А. Использование генератора задач для контроля знаний по высшей математике у студентов младших курсов // Вестник Югорского государственного университета № 2/41, 2016. — с. 65–67.
[3] Окишев С.В. Проблема создания и использования генераторов и решателей математических задач // Интернет-журнал «Мир науки», 2018 №3.
[4] Зорин Ю.А., Посов И.А. Инструментальные системы построения и получения многовариантных тестовых заданий // Компьютерные инструменты в образовании. 2014. № 1. С. 14–25.
[5] Кручинин В.В., Морозова Ю.В., Зорин Ю.А. Построение и использование генераторов тестовых заданий в системах дистанционного обучения // Открытое и дистанционное образование. 2018. № 3 (71). С. 5–11.
[6] Зорин Ю.А. Использование алгоритмов комбинаторной генерации при построении генераторов тестовых заданий // Дистанционное и виртуальное обучение, 2013. № 6. С. 54–59.
[7] Коновалов Я.Ю., Соболев С.К., Ермолаева М.А. Методические аспекты автоматической генерации задач по линейной алгебре // Инженерный журнал: наука и инновации. 2013. № 5(17). 14 с. Режим доступа: engjournal.ru/catalog/pedagogika/hidden/740.html (дата обращения: 06.12. 2019).
[8] Швецов А. Н., Мамадкулов Ю. О., Сорокин С. И. Система синтеза учебных тестов на основе формальных грамматик // Программные продукты и системы. 2013. № 2. С. 181–185.
[9] Личаргин Д. В., Усова А. А., Сотникова В. В., Липман С. А., Бутовченко В. В. Разработка приложения по генерации учебных заданий к тексту на естественном языке на основе порождаемых шаблонов // Современные проблемы науки и образования. 2015. № 2 (2). URL: www.science-education.ru/ru/article/view?id=22636 (дата обращения: 21.01.2019).
[10] Юдин С. В. Генератор контрольных (расчетно-графических) работ по математике для студентов первых курсов университетов // Научно-методический электронный журнал «Концепт». – 2016. – № 8 (август). – С. 9–14. – URL: http://e-koncept.ru/2016/16158.htm.
[11] Курдубов С. Л., Курдубова В. В. Гибкий генератор автономных тестов по дискретной математике // Компьютерные инструменты в образовании. 2019. № 2. С. 65–71; doi: 10.32603/2071-2340-2019-2-65–71
[12] Финогенов А.А. Генератор заданий по высшей математике.
[13 ] Сепетов Д.П, Генератор заданий по физике.
[14] Посов И.А. Обзор генераторов и методов генерации учебных заданий // Образовательные технологии и общество. 2014. Т. 17. № 4. С. 593–609.
[15] Балацкий Е. В поисках академической ренты // Капитал страны (федеральное интернет издание) [Электронный ресурс].
[2] Финогенов А.А. Использование генератора задач для контроля знаний по высшей математике у студентов младших курсов // Вестник Югорского государственного университета № 2/41, 2016. — с. 65–67.
[3] Окишев С.В. Проблема создания и использования генераторов и решателей математических задач // Интернет-журнал «Мир науки», 2018 №3.
[4] Зорин Ю.А., Посов И.А. Инструментальные системы построения и получения многовариантных тестовых заданий // Компьютерные инструменты в образовании. 2014. № 1. С. 14–25.
[5] Кручинин В.В., Морозова Ю.В., Зорин Ю.А. Построение и использование генераторов тестовых заданий в системах дистанционного обучения // Открытое и дистанционное образование. 2018. № 3 (71). С. 5–11.
[6] Зорин Ю.А. Использование алгоритмов комбинаторной генерации при построении генераторов тестовых заданий // Дистанционное и виртуальное обучение, 2013. № 6. С. 54–59.
[7] Коновалов Я.Ю., Соболев С.К., Ермолаева М.А. Методические аспекты автоматической генерации задач по линейной алгебре // Инженерный журнал: наука и инновации. 2013. № 5(17). 14 с. Режим доступа: engjournal.ru/catalog/pedagogika/hidden/740.html (дата обращения: 06.12. 2019).
[8] Швецов А. Н., Мамадкулов Ю. О., Сорокин С. И. Система синтеза учебных тестов на основе формальных грамматик // Программные продукты и системы. 2013. № 2. С. 181–185.
[9] Личаргин Д. В., Усова А. А., Сотникова В. В., Липман С. А., Бутовченко В. В. Разработка приложения по генерации учебных заданий к тексту на естественном языке на основе порождаемых шаблонов // Современные проблемы науки и образования. 2015. № 2 (2). URL: www.science-education.ru/ru/article/view?id=22636 (дата обращения: 21.01.2019).
[10] Юдин С. В. Генератор контрольных (расчетно-графических) работ по математике для студентов первых курсов университетов // Научно-методический электронный журнал «Концепт». – 2016. – № 8 (август). – С. 9–14. – URL: http://e-koncept.ru/2016/16158.htm.
[11] Курдубов С. Л., Курдубова В. В. Гибкий генератор автономных тестов по дискретной математике // Компьютерные инструменты в образовании. 2019. № 2. С. 65–71; doi: 10.32603/2071-2340-2019-2-65–71
[12] Финогенов А.А. Генератор заданий по высшей математике.
[13 ] Сепетов Д.П, Генератор заданий по физике.
[14] Посов И.А. Обзор генераторов и методов генерации учебных заданий // Образовательные технологии и общество. 2014. Т. 17. № 4. С. 593–609.
[15] Балацкий Е. В поисках академической ренты // Капитал страны (федеральное интернет издание) [Электронный ресурс].
