Устные экзамены у 36 студентов за $15 через свой агент с голосовым интерфейсом
Профессор принимал устные экзамены через свой агент с голосовым интерфейсом. За 9 дней агент опросил 36 студентов, расшифровки оценивал совет из нескольких LLM, а всё обошлось в $15.
Сделано со своим агентом
Что сделали
Профессор принимал устные экзамены по студенческим проектам через голосового агента. Расшифровки оценивал совет из нескольких LLM, которые сначала обсуждали оценку между собой. Агент опросил 36 студентов за 9 дней, примерно по 25 минут на каждого. По каждому экзамену остались полная расшифровка и журнал для проверки.
Что получилось
Всё стоило $15 (около $0,42 на студента). Экзамены показали, что вся группа плохо разбирается в A/B-тестировании. Устный экзамен с ИИ предпочли 13% студентов.
Пояснение
Совет LLM (LLM council) это схема, в которой несколько моделей оценивают одно и то же, обсуждают результат и сходятся на общем решении. A/B-тестирование это сравнение двух вариантов на разных группах пользователей.
Кому пригодится
Преподавателям, которые хотят вернуть устные экзамены, но не успевают опросить всех сами.
Попробуйте сами
Помоги мне организовать устные экзамены по курсу [название курса] для [число] студентов. Напиши сценарий голосового интервью, который задаёт [число] вопросов по темам [темы], уточняет расплывчатые ответы и сохраняет расшифровку по каждому студенту. Затем оцени каждую расшифровку по этим критериям [критерии оценки] и кратко опиши, какие понятия вызвали трудности у всей группы. Покажи мне оценки на проверку, прежде чем что-то увидят студенты.
Нужна помощь с запуском? Вступайте в сообщество AI Pack ↗
Источник: x.com ·