Обзор olmOCR: распознавание сложных PDF в Markdown с открытой моделью

olmOCR — не настольный PDF-ридер и не редактор. Это открытый инструментарий Allen Institute for Artificial Intelligence (Ai2), который превращает PDF, PNG и JPEG в структурированный текст, прежде всего Markdown, с помощью визуально-языковой модели. Он рассчитан на сложные страницы: колонки, таблицы, формулы, старые сканы и рукописные фрагменты. Основной рабочий сценарий использует Python, командную строку, NVIDIA GPU либо удалённый сервер инференса.

Скачать olmOCR

Для обычной установки разработчики публикуют пакет olmocr в PyPI; там указаны текущая версия 0.4.27 и Python 3.11+. Исходный код и changelog находятся в официальном GitHub-репозитории Ai2, веса olmOCR 2 — в коллекции Ai2 на Hugging Face. Для контейнерного развёртывания есть официальные Docker-образы, в том числе вариант с включённой моделью.

Отдельных EXE, DMG или мобильного приложения нет: официальная поставка — Python-пакет, модель и контейнеры. Старый адрес демо сейчас перенаправляет в Ai2 Playground. Для воспроизводимой среды лучше фиксировать пакет, репозиторий и точный model id.

При загрузке модели важно не спутать поколения. Модель olmOCR-2-7B-1025 относится к релизу olmOCR 2 октября 2025 года и построена на Qwen2.5-VL-7B-Instruct. В официальной карточке модели полная BF16-версия предназначена в том числе для дальнейшего дообучения, а FP8-вариант рекомендован авторами для практического инференса. Старые модели 0725 и более ранние остаются частью истории проекта, но не должны автоматически восприниматься как предпочтительный выбор для новой установки.

Что такое olmOCR

olmOCR решает задачу, которую точнее называть не просто OCR, а линеаризацией документа. Страница PDF сначала рассматривается как визуальная сцена, затем модель восстанавливает естественный порядок чтения и выдаёт пригодный для дальнейшей обработки текст. Такой подход нужен там, где символы в PDF расположены по координатам, а логическая последовательность абзацев, колонок, таблиц и формул не хранится в виде готовой структуры.

Проект поддерживает AllenNLP team при Ai2. После публичного запуска в феврале 2025 года в октябре вышел olmOCR 2: обучение усилили синтетическими данными и RL с проверяемыми «unit test rewards» для сложных структур. На olmOCR-Bench FP8-версия набрала 82,4 балла. Это результат конкретного benchmark, а не гарантия качества на любом архиве.

По состоянию на 14 сентября 2026 года проект не выглядит снятым с поддержки. В PyPI текущим релизом остаётся 0.4.27 от 12 марта 2026 года, а официальный репозиторий продолжает принимать изменения и запросы на исправления. Одновременно пакет в метаданных PyPI всё ещё классифицируется как Development Status :: 3 — Alpha. Для производственной эксплуатации это важнее маркетинговых формулировок: API и детали конвейера следует закреплять версиями и проверять на собственном корпусе.

Хронология развития и поддержки

Номер пакета и номер модели — разные сущности. Установка olmocr 0.4.27 не означает, что внутри автоматически фиксируется один и тот же модельный checkpoint на все будущие запуски. В рабочих конвейерах разумно явно задавать модель и версию контейнера, чтобы обновление Python-пакета не смешивалось с заменой весов.

Основные функции olmOCR

Порядок чтения и сложная верстка

Главная задача olmOCR — не перечислить распознанные строки, а восстановить порядок, в котором страницу читает человек. В официальном описании отдельно упомянуты многоколоночные страницы, вставки, рисунки и сложное форматирование. Для научных статей это важно: обычное извлечение текстового слоя может перемешать колонки и подписи.

Таблицы, формулы и рукописный текст

Модель умеет представлять таблицы и математические выражения в текстовой форме, пригодной для Markdown, а также обрабатывать рукописные фрагменты. В olmOCR 2 математика и таблицы были одними из целей дополнительного RL-обучения. Результат остаётся генеративным, поэтому критичные числа, знаки и формулы необходимо сверять с оригиналом.

Document anchoring

Перед вызовом VLM конвейер использует доступный текст и метаданные PDF вместе с изображением страницы. Такой «document anchoring» позволяет опираться на уже существующие сигналы born-digital PDF, а не распознавать всё только по пикселям. В новых моделях часть старых параметров anchor text больше не используется, но сочетание визуальной страницы и документного контекста остаётся характерной чертой проекта.

Автоповорот и повторные попытки

Инструментарий рендерит страницы, умеет корректировать ориентацию и повторять обработку при сбоях. В CLI есть максимальное число повторов и допустимая доля неудачных страниц; в справке указан порог по умолчанию одна неудачная страница на 250. Это позволяет не останавливать всю очередь из-за единичного проблемного листа.

Пакетная и удалённая обработка

Входные файлы можно задавать шаблоном, а workspace хранить локально или в S3. Несколько узлов способны забирать задания из общей S3-очереди. Если локальной GPU нет, базовый пакет может обращаться к внешнему vLLM или другому OpenAI-совместимому серверу. В таком режиме изображения страниц уходят на удалённую инфраструктуру, что меняет требования к приватности.

olmOCR-Bench

Репозиторий содержит benchmark более чем из 7000 тестов на примерно 1400 документах: математика, таблицы, старые сканы, колонтитулы, многоколоночная верстка и мелкий текст. Текущая таблица проекта уже включает системы с результатом выше 82,4, поэтому заявление о state of the art из анонса 2025 года относится к моменту релиза, а не к постоянному лидерству.

Карта критических зависимостей

Эта карта показывает главное отличие от обычной OCR-программы: olmOCR — часть вычислительного стека. Сломаться может не только распознавание, но и рендерер PDF, версия CUDA, сервер модели, доступ к S3 или квота удалённого API. Поэтому эксплуатация требует версионирования окружения, а не только хранения исходных PDF.

Интерфейс и удобство использования

У локального olmOCR нет полноценного оконного интерфейса. Основная рабочая зона — терминал, а единицей проекта служит workspace: каталог, где конвейер хранит результаты и служебные данные. Параметры задаются ключами командной строки: входные файлы, модель, число workers, параметры повторов, генерация Markdown, адрес внешнего сервера, ограничения памяти vLLM и настройки параллелизма.

Такой интерфейс удобен разработчику, потому что команды легко повторить в shell-скрипте, CI-задаче или контейнере. Для офисного пользователя он, наоборот, сложнее привычных приложений уровня ABBYY FineReader: нет визуального редактора зон распознавания, панели исправления символов, предпросмотра страниц бок о бок и экспорта в Word через диалог.

Для первого знакомства существует браузерное демо в Ai2 Playground. Оно снижает порог входа, но не меняет природу продукта: производительный пакетный сценарий строится вокруг CLI и модели. Отдельная русская локализация команд, сообщений и документации не заявлена. Названия параметров и справка англоязычные, поэтому базовое чтение технического английского практически необходимо.

Порог освоения

Пользователю, который уже работал с Conda, pip, Docker и CUDA, логика проекта понятна: создать изолированную среду, установить системные зависимости, выбрать локальную или удалённую модель, сформировать workspace и проверить Markdown. Новичку сначала придётся освоить сразу несколько уровней — Python-окружение, драйверы NVIDIA, командную строку и диагностику GPU. Это не недостаток алгоритма распознавания, а следствие позиционирования инструментария как исследовательской и инженерной платформы.

Поддерживаемые форматы и совместимость

Входные файлы

В официальном README явно перечислены PDF, PNG и JPEG. Хотя аргумент командной строки исторически называется —pdfs, пример проекта показывает передачу PNG через тот же параметр. Поддержку TIFF, DOCX, XLSX, EPUB и других контейнеров лучше не предполагать: для них в текущем README нет такого же прямого обещания. Если исходник находится в офисном формате, его нужно либо предварительно преобразовать, либо выбрать инструмент с нативным импортом.

Выходные данные

Флаг генерации Markdown создаёт файлы в подкаталоге workspace с сохранением структуры входных путей. Одновременно рабочая область содержит данные Dolma — формат экосистемы Ai2 для дальнейшей обработки корпусов. olmOCR не заявлен как конвертер в DOCX, XLSX, PPTX или редактируемый PDF. Он также не накладывает OCR-слой поверх исходного скана, поэтому задача «сделать из скана searchable PDF с тем же внешним видом» требует другого инструмента.

Markdown удобен тем, что остаётся обычным текстом и открывается практически в любом редакторе. На sumatra-pdf.com можно отдельно посмотреть материалы о LibreOffice Writer и PDF24 Creator, если после распознавания нужен привычный офисный или PDF-этап. Это не прямые аналоги olmOCR, а инструменты следующего звена.

Интеграции

Для сервинга модели проект использует vLLM и допускает OpenAI-совместимые endpoints. Для крупного пакетного процесса поддерживается S3 как источник и рабочая область, а для внутренней инфраструктуры Ai2 предусмотрена интеграция с Beaker. Официальный Python-пакет дополнительно имеет группы зависимостей gpu, beaker и bench, что позволяет не устанавливать тяжёлый стек там, где нужен только удалённый клиент.

Языки распознавания

Карточка актуальной модели olmOCR-2-7B-1025 маркирует её языком English, а анонс olmOCR 2 говорит об английских digitized print documents. В выходной схеме модель определяет primary_language, но это не равнозначно официальной гарантии высококачественного OCR для русского, китайского или арабского. Для многоязычных архивов разумнее сначала провести корпусную проверку; если широкий список языков является обязательным требованием, PaddleOCR заявляет поддержку более чем ста языков и в этом отношении имеет более явное позиционирование.

Паспорт обратимости операций

В olmOCR нет привычной кнопки Undo для уже сгенерированного корпуса. Обратимость обеспечивается инженерно: не перезаписывать исходники, сохранять версии Markdown, фиксировать модель и параметры, а при критичных задачах — хранить контрольную выборку страниц. Именно поэтому результат лучше воспринимать как производный набор данных, а не как новую «версию PDF».

Производительность и стабильность

Актуальная модель относится к классу 7B VLM, поэтому локальный режим заметно тяжелее классических OCR-движков. README требует современную NVIDIA GPU как минимум с 12 ГБ видеопамяти и приводит проверенные примеры RTX 4090, L40S, A100 и H100. Дополнительно рекомендуется 30 ГБ свободного места. Это не означает, что любой файл стабильно займёт 12 ГБ VRAM: объём KV-cache, длина контекста, число параллельных запросов и параметры vLLM влияют на потребление памяти.

FP8-вариант текущей модели рекомендован авторами для повседневного инференса. Полная BF16-модель нужна прежде всего там, где требуется дополнительное обучение или исследовательская работа с полной точностью весов. Для масштабирования предусмотрены tensor parallel и data parallel параметры vLLM, а пакетный manager умеет распределять очереди через S3. Это делает продукт пригодным для больших архивов, но только при наличии соответствующей инфраструктуры.

Авторы указывают ориентир менее 200 долларов на миллион страниц для оптимизированного конвейера. Это оценка вычислительной стоимости из их инфраструктурного сценария, а не фиксированная цена продукта. Реальная сумма зависит от GPU, тарифа облака, числа повторных прогонов, размера страниц и стоимости хранения. При обработке десятков документов главный барьер обычно не цена лицензии, а наличие совместимой GPU и время на настройку.

Стабильность следует оценивать с учётом статуса Alpha. В истории проекта были исправления автоповорота, ложного текста на пустых страницах, очередей и тегирования. Наличие повторных попыток и порога ошибок помогает конвейеру переживать отдельные проблемные страницы, но не заменяет проверку качества. Для юридических, финансовых и научных данных безопасный процесс включает выборочную сверку с оригиналом, особенно таблиц, индексов, отрицательных знаков и формул.

Лицензирование и версии

Код olmOCR распространяется по Apache License 2.0. Актуальная модель olmOCR-2-7B-1025 также опубликована с лицензией Apache 2.0; карточка модели отдельно указывает, что она предназначена для исследовательского и образовательного использования в соответствии с Responsible Use Guidelines Ai2. Отдельной платной редакции «Pro» или лицензионного ключа для локального пакета нет.

Пробный период для локальной версии не нужен: пакет и веса можно получать напрямую из официальных репозиториев. Регистрация в Ai2 и лицензионный ключ для локального запуска не требуются. Расходы возникают на уровне GPU, диска, S3 и внешнего inference provider; его тарифы и условия обработки данных не являются ценой лицензии olmOCR.

Веб-демо и Ai2 Playground подчиняются условиям сервисов Ai2. Политика приватности Ai2 описывает prompts и другие пользовательские submissions в AI demonstrations как данные, которые могут обрабатываться для предоставления и улучшения сервисов и исследований. Поэтому конфиденциальные PDF не следует безусловно отправлять в демо только потому, что сама модель открытая. Самая контролируемая схема — локальный инференс на собственной инфраструктуре без внешнего endpoint.

Как понимать номера

• 0.4.27 — версия Python-пакета и конвейера.
• olmOCR-2-7B-1025 — поколение и checkpoint модели, выпущенный в октябре 2025 года.
• FP8 — формат весов для более практичного инференса; это не отдельный продукт.
• BF16 — полная версия той же модели, рекомендованная прежде всего для дальнейшего fine-tuning.

Системные требования

Базовый Python-клиент и удалённый инференс

Метаданные пакета требуют Python 3.11 или новее. Для режима с внешним сервером официальный README предлагает установить базовый olmocr без GPU extras. Такой вариант не подтягивает тяжёлые зависимости уровня PyTorch и позволяет использовать машину без локальной NVIDIA GPU как оркестратор. При этом сам сервер модели всё равно должен иметь подходящую вычислительную среду.

Локальный GPU-режим

• Современная NVIDIA GPU; официально проверялись RTX 4090, L40S, A100 и H100.
• Не менее 12 ГБ GPU RAM по текущему README.
• Около 30 ГБ свободного дискового пространства.
• Python 3.11+ в чистом окружении Conda рекомендуется разработчиками.
• Для документированного Ubuntu/Debian-сценария устанавливаются poppler-utils и дополнительные наборы шрифтов.
• GPU extras текущего pyproject включают PyTorch 2.7 или новее, Transformers 4.57.3 и vLLM 0.11.2.
• Инструкции проекта используют CUDA 12.8-колёса PyTorch и отдельную рекомендованную установку FlashInfer для ускорения.

Официальная инструкция не публикует эквивалентную матрицу локального GPU-запуска для Windows и macOS. PyPI-wheel самого базового пакета помечен как универсальный Python wheel, но это не превращает CUDA/vLLM-стек в официально поддерживаемое настольное приложение на любой ОС. Для Windows-пользователя практичнее отдельный Linux GPU-сервер, контейнерная инфраструктура или внешний endpoint.

Docker

Есть официальный большой образ latest-with-model, в который включены веса; README предупреждает, что он занимает примерно 30 ГБ. Есть и базовый образ без модели для тех, кто управляет загрузкой весов самостоятельно. Контейнер запускается с доступом к GPU и монтированием каталогов входа/выхода, поэтому Docker не отменяет требований NVIDIA, но упрощает фиксацию зависимостей.

Преимущества и недостатки olmOCR

Плюсы и минусы

Сравнение с аналогами

С Sumatra PDF сравнение корректно только по рабочему месту в цепочке документов. Sumatra — быстрый Windows-просмотрщик; он открывает PDF, EPUB, MOBI, DjVu, XPS, изображения и другие форматы. olmOCR — серверный или локальный OCR-конвейер, который извлекает и структурирует содержимое. Для скана без текстового слоя логична связка: распознать документ в olmOCR, затем читать исходный PDF в Sumatra и сверять его с Markdown. Заменять один продукт другим бессмысленно.

Если нужна классическая OCR-программа с редактором результата, уместнее ABBYY PDF Transformer как исторический пример класса или актуальный FineReader. Для полностью бесплатных старых OCR-сценариев на сайте есть обзор CuneiForm, однако по архитектуре это другое поколение технологий и не конкурент VLM-парсеру один в один.

Инструкция по установке

Локальный запуск на Linux

1. Проверьте NVIDIA GPU: официальный путь требует от 12 ГБ VRAM и около 30 ГБ свободного диска.
2. В Ubuntu/Debian установите системные зависимости для рендеринга PDF и шрифты, перечисленные в README, включая poppler-utils.
3. Создайте отдельное Conda-окружение с Python 3.11. Разработчики рекомендуют чистую среду из-за сложного GPU-стека.
4. Установите olmocr с группой gpu и CUDA 12.8-индексом PyTorch; текущая инструкция дополнительно рекомендует совместимый FlashInfer.
5. Для первой проверки используйте один неконфиденциальный PDF, отдельный workspace и генерацию Markdown. Сначала убедитесь, что модель загрузилась и результат появился в каталоге markdown.
6. Сверьте таблицу, формулу и переход между колонками с оригиналом, и только затем запускайте большой пакет.

Клиент с удалённым сервером

1. Создайте Python 3.11+ окружение и установите базовый пакет без gpu extras.
2. Подготовьте OpenAI-совместимый endpoint с моделью olmOCR-2-7B-1025 и, если требуется, API-ключ.
3. Укажите server, model id и ограничьте concurrency; для первого прогона достаточно одного worker.
4. Проверьте Markdown и журналы ошибок. Для чувствительных документов заранее выясните правила хранения данных у провайдера.

Docker

Официальный образ latest-with-model включает веса и занимает примерно 30 ГБ; есть и базовый образ без модели. Контейнеру нужен доступ к GPU, а вход и выход лучше монтировать раздельно. Такой путь удобен для фиксации зависимостей, но не отменяет требования NVIDIA.

Навигатор по сбоям

Перед удалением окружения сохраните исходники, Markdown и конфигурацию запуска отдельно от Conda-среды. Специального графического деинсталлятора проект не описывает; пакет, окружение и Docker-образы удаляются стандартными средствами соответствующего менеджера. Важно не удалить вместе с ними рабочий workspace.

Практические кейсы

Научная статья с колонками и формулами

Цель: получить Markdown для поиска или RAG. Подготовка: выберите PDF с двумя колонками, формулами и подписями. Шаги: запустите pipeline на одной статье с отдельным workspace. Проверка: сопоставьте порядок колонок, формулы и заголовки. Ограничение: Markdown не сохраняет точную типографику и координаты страницы.

Старый скан книги

Цель: извлечь текст из страниц без нормального текстового слоя. Подготовка: возьмите несколько листов разного качества, включая таблицу и почти пустую страницу. Шаги: обработайте выборку, оцените ошибки и только затем запускайте всю книгу. Проверка: ищите пропуски строк, ложные вставки и ошибки переносов. Ограничение: актуальная модель официально ориентирована на английские документы, поэтому для кириллицы нужен отдельный тест.

Папка отчётов на GPU-сервере

Цель: регулярно преобразовывать десятки PDF. Подготовка: зафиксируйте версию контейнера, model id и число workers. Шаги: прогоните контрольный набор, затем файловый шаблон и наблюдайте failed pages. Проверка: сравните число входных файлов и выходных Markdown. Ограничение: рост workers не даёт линейного ускорения при дефиците VRAM.

Ноутбук без GPU и внешний endpoint

Цель: использовать olmOCR без локального CUDA-стека. Подготовка: установите базовый пакет и проверьте политику провайдера. Шаги: укажите server, model id и небольшой concurrency. Проверка: убедитесь, что Markdown не обрезан. Ограничение: страницы обрабатывает третья сторона, а стоимость зависит от её тарифа.

Конфиденциальный набор локально

Цель: не отправлять документы стороннему OCR-сервису. Подготовка: заранее скачайте контейнер и модель в контролируемую среду. Шаги: используйте локальные файлы и отдельный workspace, не задавая внешний server. Проверка: сетевой мониторинг должен подтверждать отсутствие вызовов inference API после подготовки. Ограничение: безопасность зависит также от ОС, прав доступа, логов и резервных копий.

Контроль перед сохранением и передачей

• Проверьте несколько страниц разных типов, а не только первую.
• Сверьте числа, знаки, индексы, единицы и формулы.
• Убедитесь, что таблица не потеряла строку и не переставила столбцы.
• Проверьте границы колонок и подписи к рисункам.
• Зафиксируйте package version, model id и дату запуска.
• Не удаляйте исходный PDF после получения Markdown.

Такой контроль обязателен, если результат пойдёт в обучение модели, корпоративный поиск или автоматическое извлечение чисел: правдоподобная OCR-ошибка хуже заметна, чем явный сбой.

Часто задаваемые вопросы

Можно ли использовать olmOCR как PDF-reader?

Нет. Для чтения, навигации и печати нужен отдельный просмотрщик. olmOCR нужен, когда содержимое страницы требуется преобразовать в структурированный текст.

Создаёт ли olmOCR searchable PDF?

Основной официальный результат — Markdown и данные рабочего конвейера, а не новый PDF с OCR-слоем. Для searchable PDF с сохранением изображения страниц нужен другой инструмент.

Нужен ли интернет после установки?

Для локального инференса постоянное соединение не требуется, если пакеты и веса уже скачаны. Для удалённого сервера, S3 и первичной загрузки зависимостей интернет нужен.

Можно ли работать без NVIDIA GPU?

Да, как лёгкий клиент внешнего сервера. Документированный локальный high-performance путь рассчитан на современную NVIDIA GPU.

Поддерживает ли olmOCR русский язык?

Карточка текущей модели маркирована как English. Для русского нельзя обещать тот же уровень качества без собственного теста; при обязательной многоязычности стоит сравнить PaddleOCR или коммерческий OCR.

Почему пакет 0.4.27, а модель называется olmOCR 2?

0.4.27 — версия Python-кода и pipeline, а olmOCR 2 — поколение нейросетевой модели. В производственной среде их лучше фиксировать отдельно.

Можно ли встроить olmOCR в свой сервис?

Да. Проект предоставляет Python-код, CLI, контейнеры и OpenAI-совместимый серверный путь. Сервису всё равно понадобятся очередь, аутентификация, лимиты, мониторинг и политика хранения документов.

Что делать с PDF, где уже хороший текстовый слой?

Сначала проверьте, нужен ли VLM. Простое извлечение текста дешевле. olmOCR оправдан, когда нарушен порядок чтения, есть сложные колонки, таблицы, формулы или сканы.

Можно ли доверять benchmark как прогнозу?

Нет. Архив может отличаться по языку, шрифтам и типу сканов. Выбор стоит делать на репрезентативной контрольной выборке одинаковых страниц.

Подходит ли веб-демо для секретных документов?

Не без отдельной проверки условий. Ai2 описывает user submissions и prompts в AI demonstrations в политике приватности. Для чувствительных данных безопаснее собственная инфраструктура.

Вывод

olmOCR подходит разработчикам и data engineering-командам, которым нужно превращать сложные английские PDF и изображения в Markdown и масштабировать обработку на GPU. Сильные стороны — открытая модель, работа с таблицами и формулами, пакетный pipeline и локальный инференс.

Он хуже подходит пользователю, который ожидает настольное OCR-приложение с визуальной проверкой зон, русским интерфейсом, экспортом в Word и созданием searchable PDF. В таком случае логичнее смотреть на FineReader PDF или другой GUI-инструмент. Для многоязычного document parsing стоит отдельно оценить PaddleOCR; для более широкого набора входных форматов — Marker. А Sumatra PDF остаётся дополнением, а не конкурентом: его роль — быстро открыть и проверить документ, тогда как olmOCR занимается преобразованием содержимого в машинно-обрабатываемый текст.