Вышла Mistral NeMo — многоязычная 12B модель с поддержкой русского
50
Mistral AI представила Mistral NeMo, 12-миллиардную модель, разработанную в сотрудничестве с NVIDIA.
Mistral NeMo предлагает большой контекст до 128 тысяч токенов. Модель выпущена по лицензии Apache 2.0, что разрешает её коммерческое использование.
Модель тренировалась на многоязычных данных, и, что довольно приятно, графики включают в себя оценки эффективности на русском языке.
Также Mistral NeMo использует новый токенизатор, Tekken, основанный на Tiktoken, который был обучен на более чем 100 языках и более эффективно сжимает текст на естественном языке и исходный код, чем токенизатор SentencePiece, используемый в предыдущих моделях Mistral. В частности, он примерно на 30% эффективнее при сжатии исходного кода, китайского, итальянского, французского, немецкого, испанского и русского языков.
