Помічник на базі ШІ дляуроків хімії

Дослідницький проєкт AG Chemiedidaktik при Universität Oldenburg: Chemie.KI оцінює відповіді учнів за схемою оцінювання, яку Ви визначаєте та затверджуєте — критерій за критерієм, з частковими балами замість узагальненої оцінки.

Взяти участь зараз Познайомитись з проєктом
  • науково обґрунтовано
  • для вчителів
  • Universität Oldenburg

Новина: Chemie.KI була суттєво оновлена та розширена. Оцінювання базується на кращій основі, власні задачі тепер можна створювати самостійно — і реєстрація наразі відкрита для всіх вчителів хімії.

Принцип

Як працює Chemie.KI?

Для кожної задачі з хімії ми зберігаємо фіксовану схему оцінювання з окремими критеріями — наприклад: чи був термін використаний правильно? чи була обґрунтована логічна аргументація? Мовна модель перевіряє відповідь учня потім критерій за критерієм і надає часткові бали замість узагальненої оцінки.

Щоб ШІ оцінювала як досвідчений учитель, ми додатково тренуємо її тисячами реальних відповідей учнів, оцінених експертами. Так модель вчиться працювати з неповними або мовно нечіткими відповідями — і в перших оцінках досягає якості оцінювання, близької до людських експертів.

Керована демонстрація Наука за Chemie.KI
Зворотний зв’язок

Кожен бал має підтверджувальний фрагмент

Оцінюється не відповідь загалом, а кожен критерій окремо. До кожного наданого часткового балу належить місце в тексті відповіді, на яке він спирається — кольорово виділене й відтворюване для учнів і для вас.

Те, що критерій не охоплює, залишається видимим відкритим: позначене пунктиром, з підказкою, чого бракувало б для повної кількості балів. Оцінюється при цьому лише те, що вимагає завдання.

Спробуйте самі

Виберіть завдання, напишіть відповідь і оцініть її. Результат з’явиться на картці поруч.

Поясніть, чому розчин содового розчину лужний. Вкажіть також, як змінюється значення pH порівняно з чистою водою.

Säure-Base · AFB II · 3 бали

Поясніть, чому розчин содового розчину лужний. Вкажіть також, як змінюється значення pH порівняно з чистою водою.

Natriumhydroxid розпадається у воді на Na+ та OH−K1. Через це зростає концентрація гідроксид‑іонівK2 порівняно з оксоній‑іонами, тому змінюється значення pH розчинуK3.

Кольорово виділене — це місце, на яке спирається оцінка критерію. Проведіть курсором по критерію внизу, щоб підсвітити його підтверджувальний фрагмент.

  • K1

    Дисоціація твердого тіла у воді правильно названо обома іонами.

    Дисоціацію описано

    1/1
  • K2

    Названо надлишок гідроксид‑іонів як причину.

    Обґрунтовано співвідношення іонів

    1/1
  • K3

    Вказано, що pH змінюється — але не вказано, у який бік порівняно з чистою водою.

    Вказано pH · Підказка: значення pH вище 7, ніж у чистої води

    0/1

Набрані бали2 з 3

Створення завдання

Від задачі до зворотного зв’язку

Чотири кроки — від власної постановки задачі до аналізу всієї навчальної групи.

  1. 1

    Визначити задачу та критерії

    Ви записуєте завдання та кожну вимогу оцінювання в окремому рядку з кількістю балів. Загальна кількість балів визначається автоматично.

    учитель
  2. 2

    Затвердити інструкцію з оцінювання

    Chemie.KI створює на її основі зразок розв’язку, правила часткових балів і граничні випадки. Ви читаєте, виправляєте та затверджуєте їх. Без затвердження оцінювання не відбувається.

    учитель
  3. 3

    Редагувати тест через код

    Затверджені завдання ви об’єднуєте в тест. Ваша навчальна група відкриває його п’ятизначним кодом – без облікового запису, без імені.

    Навчальна група
  4. 4

    Зворотний зв’язок та оцінювання

    Кожна відповідь отримує часткові бали, обґрунтування для кожного критерію та підтверджувальний фрагмент. Ви бачите клас одним поглядом – включно з позначеними граничними випадками.

    Обидва
Переглянути чотири кроки у вигляді керованої демо
Станом на сьогодні

Цифри та факти

Чотири показники, за якими має оцінюватися проєкт.

17.693 анотовані випадки

Від експертів оцінені відповіді учнів — основа будь-якої оцінки.

κ = 0,87 Відповідність золотому стандарту

Учителі досягають 0,90. До дослідження

кілька секунд до отримання зворотного зв’язку

Зворотний зв’язок з’являється під час виконання завдання — не через дні.

без імен Участь за кодом

Учні виконують тести за п’ятизначним кодом — без облікового запису та без персональних даних.

Розпочати

Прочитали до кінця? Чудово

Тоді почніть — це нічого не коштує. Створіть обліковий запис, затвердьте завдання, дозвольте навчальній групі взяти участь за кодом. Решта стане зрозумілою під час випробування.

Зареєструватися Спочатку переглянути демо

безкоштовно в межах дослідницького проєкту дані навчальної групи не потрібні можна видалити будь-коли

Надійність

Контроль залишається за вами

Штучний інтелект, який оцінює роботи, має залишатися перевіреним. Чотири встановлення, що це забезпечують.

Нічого не працює без затвердження

Завдання оцінюється лише після того, як ви прочитали та затвердили інструкцію з оцінювання.

Chemie.KI пропонує зразок розв’язання, правила часткових балів і граничні випадки — нічого з цього не стає обов’язковим, доки Ви не підтвердите. До цього моменту завдання залишається невидимим для навчальної групи.

Ваші критерії залишаються Вашими критеріями

Кількість, порядок і бали перевіряються при кожному виклику моделі. Відхилення призводять до припинення — не до прихованої корекції.

Отже, модель може оцінювати, але не переписувати те, що оцінюється. Критерій, якому Ви призначили один бал, не може раптом стати вартим двох.

Кожне оцінювання перевіряється повторно

Часткові бали не можуть перевищувати максимумів, сума має бути правильною. Обидва перевіряє система сама.

Розрахунок є арифметикою, а не оцінкою — тому він не належить до мовної моделі, а виконується до і після неї.

Граничні випадки повертаються до Вас

Сумнівні випадки позначаються для перевірки замість автоматичного пропуску. Власні відповіді, оцінені вручну, можна зберегти як еталон.

Так із часом змінюється не оцінювання, а лише кількість випадків, які Вам ще потрібно переглядати самостійно.

А якщо ШІ помилиться? Ви це побачите: до кожного часткового бала належить підтверджувальний фрагмент у тексті відповіді та обґрунтування одним реченням. Оцінювання, якого Ви не можете зрозуміти, у разі сумніву не є оцінюванням.

Наскільки добре це вдається в середньому, виміряно й опубліковано.

До дослідження
Завдання

Два шляхи до оцінюваного завдання

Ви можете використати перевірений фонд або створити власні завдання — обидва шляхи закінчуються в одному й тому самому тесті.

Готово підготовлено

Завдання з фонду

За 13 темними полями доступні 65 перевірених завдань з готовою інструкцією з оцінювання — підкріплені тисячами відповідей учнів, оцінених експертами.

  • Обрати завдання й одразу додати в тест
  • Переглянути інструкцію з оцінювання та скопіювати для власних завдань
  • Готові до використання без підготовки
Переглянути в демо
Власноруч створено

Власні завдання

Внести власне формулювання завдання, визначити критерії, згенерувати інструкцію з оцінювання, перевірити та затвердити – для теми зі зразка або власної теми.

  • Критерії та бальні значення визначаєте Ви
  • Можливі тонкі налаштування для Operator, AFB та суворості
  • Власні оцінені відповіді можна використовувати як калібрування
Створити обліковий запис

Обидва шляхи завершуються однаково: затверджені завдання Ви об’єднуєте в тест, який навчальна група відкриває за п’ятизначним кодом — без облікового запису та без імені. Завдання, взяті з наявних, перед цим можна ще адаптувати; інструкція з оцінювання при цьому залишається Вашою.

Спочатку можна переглянути, а рішення прийняти пізніше — для демо обліковий запис не потрібен.

Керована демонстрація
Цифри та факти

Що стоїть за чотирма цифрами

Звідки походять показники, що вони означають — і де їхні межі.

17.693 анотовані випадки

Справжні відповіді учнів, оцінені людьми

Цифра показує поточний стан нашої бази даних — це не оцінка, а кількість записів, підрахована під час відкриття цієї сторінки. Кожен випадок — це фактично написана відповідь з уроку хімії, оцінена фахівцями за кожним критерієм.

На основі цих даних модель навчається розуміти, чого варта відповідь на практиці: з орфографічними помилками, неповними реченнями, правильними думками, висловленими незвичними словами. Тому вона оцінює м’якше, ніж простий пошук ключових слів, і суворіше, ніж поблажливе поверхове читання.

κ = 0,87 Узгодженість

Близько до оцінювання двома вчителями

Cohen’s κ вимірює, наскільки збігаються два оцінювання — з урахуванням збігів, які можна пояснити самим випадком. 1,0 означає повну одностайність, 0 — вгадування.

Коли двоє досвідчених учителів незалежно оцінюють ті самі відповіді, у наших зборах даних вони отримують близько 0,90. Chemie.KI досягає 0,87 порівняно із золотим стандартом. Різниця невелика, але вона є — саме тому затвердження залишається за Вами, а граничні випадки позначаються.

кілька секунд до отримання зворотного зв’язку

Зворотний зв’язок, поки запитання ще відкрите

Оцінювання створюється під час виконання: надіслати, трохи зачекати, прочитати зворотний зв’язок. Точна тривалість залежить від довжини відповіді та завантаження — це секунди, а не хвилини.

Дидактична відмінність полягає не у швидкості, а в часі: той, хто дізнається лише через тиждень, у чому була причина, уже давно забув власне міркування. Той, хто дізнається про це одразу, ще може повернутися до нього.

без імен Участь за кодом

Учням не потрібен обліковий запис

Тест відкривається за п’ятизначним кодом. Обліковий запис не створюється, ім’я не запитується, адреса електронної пошти не зберігається — відповідь зберігається в базі даних без прив’язки до особи.

Для Вас це означає: Ви бачите навчальну групу загалом і кожну відповідь окремо, але прив’язка до імені виникає лише там, де Ви створюєте її самі — у класі, а не в системі.

Стан і обмеження: Поточні показники підраховуються заново під час кожного завантаження сторінки. Відповідність отримано під час збору даних для фіксованого набору завдань і вона не поширюється автоматично на кожне нове завдання — для власних завдань це орієнтир, а не гарантія.

Метод, основи даних і аналіз докладно описано.

Наукові засади