Эта страница переведена ИИ и может содержать неточности. Английская версия является основной. Открыть английскую версию

Research / Lexa 3.0

Lexa

Собственная модель интервальных повторений (SRS) от Mibuki. На трёх публичных бенчмарках она с большим отрывом обходит настройки по умолчанию отраслевого стандарта FSRS-7 — давая высокую персонализированную точность ещё до какой-либо оптимизации под пользователя.

← Назад к LangDict
3
public benchmarks
+0.095
Duolingo
0
per-user fitting
01

Кросс-карточный in-context

Ваши привычки памяти общие для всех карточек — поэтому лучшая подсказка это ваши другие карточки.

Сердце планировщика интервальных повторений — предсказание того, насколько хорошо вы вспомните карточку; от него зависит, когда её повторять. Отраслевой стандарт FSRS персонализируется, подгоняя параметры под каждого пользователя (per-user fitting), — мощно, но требует настройки для каждого пользователя.

Lexa идёт противоположным путём. Такие черты, как скорость забывания, манера выставлять оценки и ритм повторений, общие для всех ваших карточек. Lexa читает не только целевую карточку, но и историю повторений ваших других карточек как in-context вход, поэтому одна общая модель персонализируется без какой-либо настройки под пользователя.

Другими словами — вместо того чтобы учить «склонности других пользователей», она читает, как забываете именно вы, прямо по остальным вашим карточкам. Это и есть новизна Lexa.

02

Как это работает

Она читает историю ваших других карточек, оценивает, насколько хорошо удерживается каждая карточка, и назначает дату следующего повторения.

  1. 01

    История повторений ваших других карточек (в хронологическом порядке)

    banana · cat · apple ?

  2. 02

    Lexa Transformer

    Одна глобальная модель · ~19K параметров

  3. 03

    Оценить силу памяти

    насколько трудно забыть каждую карточку

  4. 04

    Время следующего повторения

    показывается прямо перед тем, как вы забудете

03

Точность

Lexa обходит FSRS-7 «из коробки» (с настройками по умолчанию) на всех трёх публичных бенчмарках — до какой-либо оптимизации под пользователя.

Anki

0.646
0.682

Duolingo

0.577
0.672

maimemo

0.488
0.538
Оценка предсказания памяти (1 − Log Loss, выше — лучше)

Lexa не требует настройки или обучения под пользователя и точна без фазы подгонки под пользователя. «Из коробки» — до того, как хоть одна из моделей подогнана под вас, — она уже обходит настройки FSRS-7 по умолчанию на всех трёх наборах данных. Отрыв неодинаков: +0.095 на Duolingo, +0.050 на maimemo, +0.036 на Anki.

FSRS развивается быстро. Здесь опубликовано сравнение по состоянию на указанные выше даты; более новый FSRS может дать другие оценки. База сравнения — конфигурация FSRS-7 по умолчанию, а приведённые ниже базовые значения пересчитаны из сохранённого прогона в репозитории LangDict (research/srs-benchmark/result) и совпадают с ним.

Оценка предсказания памяти (1 − Log Loss, выше — лучше). В скобках — сырой Log Loss (ниже — лучше). Сравнение с настройками FSRS-7 по умолчанию.
Набор данныхFSRS-7 (default)Lexa 3.0
Anki0.646 (.3543)0.682 (.3184)
Duolingo0.577 (.4231)0.672 (.3280)
maimemo0.488 (.5121)0.538 (.4621)
04

Как мы оцениваем

Оценка проведена на трёх реальных наборах данных.

01Anki
~727M повторений / 10 000 пользователейСтандартные карточки
02maimemo
~226M повторений / лексикаПриложение для китайской лексики
03Duolingo
~13M повторений / посессионноНабор данных HLR

Метрика: per-user weighted Log Loss (ниже — лучше).

05

Что это даёт пользователям LangDict

Точность — не просто число в бенчмарке: она напрямую формирует ваше обучение.

  1. 01

    Меньше запланированных повторений

    Lexa точно определяет момент, когда вы вот-вот забудете. Слишком рано — повторения скучны; слишком поздно — приходится учить заново. Lexa сужает это окно. В приложении отчёт показывает, насколько сократилось число повторений, запланированных за последние 7 дней. Это число получено проигрыванием той же истории занятий через SM-2 и сравнением — это оценка нагрузки планирования, а не измерение результатов обучения.

  2. 02

    Ноль настройки, работает с первого дня

    Никаких параметров для настройки и никакого ожидания обучения под пользователя. Просто откройте приложение и занимайтесь — оно планирует под вас с самого начала.

  3. 03

    На устройстве и приватно

    Персонализация полностью выполняется на вашем устройстве. Приватность и точность вместе.

  4. 04

    Постоянно улучшается

    Мы продолжаем экспериментировать на собственном бенчмарк-конвейере и постоянно улучшаем модель, которую поставляем.

06

References

  1. 01

    open-spaced-repetition. FSRS: Free Spaced Repetition Scheduler. GitHub ↗

  2. 02

    open-spaced-repetition. srs-benchmark: Benchmark of Spaced Repetition Algorithms. GitHub ↗

  3. 03

    open-spaced-repetition. anki-revlogs-10k: Anki review logs from 10,000 users. Hugging Face ↗

  4. 04

    Settles, B., & Meeder, B. (2016). A Trainable Spaced Repetition Model for Language Learning. Proceedings of the 54th Annual Meeting of the ACL.

  5. 05

    Ebbinghaus, H. (1885). Über das Gedächtnis: Untersuchungen zur experimentellen Psychologie. Leipzig: Duncker & Humblot.

← Назад к LangDict