TableNet: как устроено распознавание таблиц в изображениях документов

TableNet — исследовательская нейросетевая архитектура TCS Research для поиска таблиц и восстановления их базовой структуры на изображениях документов. Она представлена на ICDAR 2019: общая сеть сегментирует область таблицы и колонки, а строки затем восстанавливаются правилами с опорой на координаты слов из OCR. Поэтому TableNet корректно оценивать как компонент document AI-конвейера, а не как PDF-редактор, просмотрщик или облачный сервис.

Скачать TableNet

У TableNet нет официального установщика, магазина приложений или подтверждённого пакета с готовыми весами от TCS Research. Официальный первоисточник — публикация IEEE по ICDAR 2019 и её препринт arXiv: они описывают архитектуру и эксперименты, но не являются дистрибутивом для Windows, macOS, Linux, Android или iOS.

Публичные репозитории с TableNet в названии — независимые реализации. Некоторые прямо помечены как unofficial и отличаются фреймворком, энкодером, размером входа и интерфейсом. Безопасный путь для воспроизведения — выбрать один репозиторий с явной лицензией, зафиксировать commit, проверить происхождение весов и работать в изолированном окружении. Требования такого проекта нельзя выдавать за официальные требования TableNet.

Что такое TableNet

TableNet предложена исследователями Tata Consultancy Services как модель, которая совместно решает две связанные задачи на сканированных документных изображениях: локализует таблицу и сегментирует её колонки. Общий энкодер обучается по сигналам обеих задач, а два отдельных декодера формируют соответствующие маски.

Термин end-to-end в названии статьи не означает, что одна нейросеть сразу выдаёт готовый XLSX. До и после сегментации работают другие стадии: Tesseract OCR даёт слова и координаты, правила восстанавливают строки, затем значения распределяются по найденным строкам и колонкам. Это гибрид компьютерного зрения, OCR и постобработки.

Чем TableNet не является

TableNet не связана с Tabula или tabula-java: те извлекают таблицы из текстовых PDF, а TableNet анализирует растр. Она также не равна конкретному Streamlit-, Flask- или notebook-проекту из GitHub. Официального версионированного SDK или пользовательского приложения TCS для TableNet не опубликовано.

Актуальный статус

Основная работа относится к 2019 году, arXiv-препринт имеет версию v1 от 6 января 2020 года. Продуктовой дорожной карты и релизного канала нет. При этом метод продолжает использоваться в исследованиях: в 2025 году вышла работа о повторной оценке TableNet с синтетическими данными и разными разрешениями. Это подтверждает статус академического baseline, но не возобновление продуктовой поддержки.

Хронология развития и поддержки

Новые статьи, цитирования и активный патент не означают существование «TableNet 2026», службы обновлений или поддерживаемой сборки. Жизненный цикл метода и жизненный цикл программного продукта здесь принципиально различаются.

Основные функции TableNet

Сегментация таблицы

TableNet формирует пиксельную маску «таблица/фон», а не только прямоугольную рамку. В исходной схеме страница переводится в RGB и масштабируется до 1024×1024. Общий энкодер основан на предобученной VGG-19; признаки более глубоких и более детальных уровней объединяются при восстановлении пространственного разрешения.

Технически авторы заменяют полносвязные слои после pool5 свёртками 1×1 и при декодировании используют признаки более ранних уровней pool4 и pool3. Это помогает вернуть пространственную детализацию, утраченную при последовательном pooling: глубокие признаки отвечают за смысловую область таблицы, а более ранние — за точность границ. Такая схема важна при воспроизведении, потому что «VGG-19 как энкодер» само по себе не описывает весь TableNet.

Сегментация колонок

Вторая декодирующая ветвь выдаёт маску колонок и использует тот же энкодер. Совместное обучение — ключевая идея метода: признаки положения таблицы помогают колонкам, а признаки колонок уточняют общую табличную область. Выходом остаётся геометрия, а не готовая электронная таблица.

Строки и ячейки через постобработку

Строки не являются третьим нейросетевым классом. После инференса используются OCR-координаты и правила: горизонтальные разделители ищутся с помощью преобразования Радона; для многострочных ячеек анализируется уровень заполнения колонок; в простых таблицах без линий отдельный текстовый уровень может считаться строкой. Затем слова распределяются по пересечениям строк и колонок и образуют табличные кортежи.

Отсюда ограничение: итоговая структура зависит не только от масок, но и от точности OCR и пригодности эвристик. Объединённые ячейки, многоуровневые заголовки и нестандартная верстка требуют собственного контроля или другой модели структуры.

Семантические признаки

В расширенном варианте OCR-слова классифицируются регулярными выражениями по базовым типам данных, а их области кодируются цветом и накладываются на изображение. Так сеть получает одновременно визуальные и семантические подсказки. При подготовке данных часть словных областей намеренно отбрасывалась, чтобы снизить зависимость от идеального OCR.

Fine-tuning под домен

Авторы обучались на расширенной разметке Marmot и донастраивали модель на ICDAR 2013. Улучшение после fine-tuning показывает, что веса нельзя считать универсальными: счета, формы, отчёты и научные статьи требуют отдельной контрольной выборки и, при необходимости, доменной донастройки.

Интерфейс и удобство использования

Официального GUI у TableNet нет. Вместо панелей и меню есть стадии программного конвейера: подготовка изображения, OCR, инференс двух масок, восстановление строк и сборка значений. Для офисного пользователя это высокий порог входа; для ML-инженера разделение удобно тем, что каждый этап можно валидировать и заменять независимо.

Интерфейсы в сторонних репозиториях — свойства конкретных реализаций. Проект со Streamlit или DenseNet не превращает эти компоненты в часть оригинальной TableNet, так же как notebook на PyTorch не задаёт официальную платформу продукта.

Удобство работы фактически определяется качеством инструментов вокруг модели. Полезная исследовательская оболочка должна позволять отдельно увидеть исходную страницу, OCR-боксы, table mask, column mask и итоговые строки. Если реализация показывает только готовый CSV, невозможно быстро понять, произошла ошибка в распознавании текста, в сегментации или в правилах строк. Это один из главных критериев выбора стороннего проекта.

Поддерживаемые форматы и совместимость

Вход

Подтверждённый вход исходной TableNet — растровое изображение документа, приведённое к RGB 1024×1024. PDF не является нативным контейнером модели: страницу нужно предварительно отрисовать внешним PDF-движком. Если PDF уже содержит качественный текстовый слой, прямые инструменты вроде Camelot или Tabula часто логичнее, потому что не добавляют OCR.

Выход

Нейросеть возвращает маску таблицы и маску колонок; правила и OCR превращают их в строки и значения. Исходная публикация не устанавливает контракт экспорта в CSV, XLSX, JSON, HTML или XML. Такие форматы добавляет интеграционный код, поэтому совместимость с аналитическими системами зависит от реализации.

Расширения входных изображений тоже не стандартизованы архитектурой: PNG, JPEG, TIFF или BMP принимает библиотека загрузки конкретной реализации. Поэтому при миграции между репозиториями нужно проверять не только расширение файла, но и порядок каналов, нормализацию, сохранение пропорций и преобразование координат OCR после resize.

PDF, OCR и языки

TableNet не редактирует PDF, не управляет формами, подписями и вложениями. Для обычного чтения документов уместен отдельный просмотрщик, например описанный на сайте Adobe Acrobat Reader DC. Для OCR полезно отдельно сравнить ABBYY FineReader и CuneiForm OCR. Язык текста определяется OCR-компонентом; отдельной официальной матрицы языков TableNet нет.

Карта критических зависимостей

Поэтому нельзя универсально утверждать, что «TableNet облачная» или «TableNet локальная». Модель может быть встроена в локальный скрипт либо сторонний сервер. Приватность определяется развёртыванием и зависимостями, а не названием архитектуры.

Производительность и стабильность

Исходная работа публикует метрики качества, но не универсальное время обработки, RAM/VRAM или минимальный GPU. Для базовой TableNet на ICDAR 2013 указаны Recall 0,9501, Precision 0,9547 и F1 0,9547 для обнаружения таблиц; для structure recognition/data extraction — Recall 0,8987, Precision 0,9215 и F1 0,9098. В варианте с семантическими признаками и fine-tuning F1 достигает 0,9662 и 0,9151 соответственно.

Эти числа описывают конкретный датасет и эксперимент, а не гарантированную точность на любом скане. В обучении использовались 5000 итераций, batch size 2, learning rate 0,0001 и Adam; это параметры опыта, не системные требования.

Воспроизводимость обучения

В исходном описании первые примерно 500 итераций вычисления ветвей распределялись в отношении 2:1 в пользу table decoder, затем использовалось 1:1. Для тестовой пиксельной классификации указан порог 0,99. Эти параметры важны при попытке повторить опубликованные метрики: изменение баланса потерь, порога или preprocessing способно изменить маски даже при тех же данных. Поэтому сравнивать две реализации корректно только после фиксации не одной архитектуры, а всей экспериментальной конфигурации.

Разрешение и крупные страницы

Фиксированный resize страницы может терять мелкие линии и текст. Повторная оценка 2025 года показала, что большее разрешение не автоматически лучше: на синтетическом тесте XOR-error составил 4,04% при 256×256 и 4,33% при 1024×1024; лучший результат на Marmot в той постановке также был при 256×256. Следовательно, разрешение нужно выбирать по своей выборке, а не повышать без проверки.

Стабильность структуры

Наиболее уязвимая часть — переход от масок к ячейкам. Качество изображения, OCR, объединённые ячейки, слабые разделители и многоуровневые заголовки меняют результат постобработки. Для производственного контроля недостаточно смотреть на красивую маску: необходимо измерять ошибки конечных строк, колонок и значений на репрезентативных документах.

Лицензирование и версии

У оригинальной TableNet нет редакций Free, Pro или Enterprise, цены, подписки, пробного периода и регистрации. В программном смысле нет и линейки версий: есть конференционная публикация 2019 года и arXiv v1 от 6 января 2020 года.

Отдельно существует патент US11651150B2, выданный 16 мая 2023 года Tata Consultancy Services Limited; патентная запись указывает active status. Патент на способ нельзя смешивать с лицензией исходного кода. Лицензия стороннего GitHub-репозитория распространяется только на содержимое этого проекта и не делает его официальным релизом TCS. Для коммерческого внедрения правовые условия конкретной реализации и патентные риски проверяются отдельно.

Системные требования

Что подтверждено

• В исходной схеме вход переводится в RGB и масштабируется до 1024×1024.
• Энкодер основан на VGG-19 с ImageNet-предобучением; используются два декодера.
• Tesseract OCR нужен для слов и координат, а в семантическом варианте — и для дополнительных признаков.
• Для обучения требуются размеченные маски таблиц и колонок.
• Публикация не задаёт минимальные CPU, RAM, VRAM, объём диска или конкретную GPU.

Операционные системы

Официальной матрицы Windows/macOS/Linux нет, поскольку нет официальных бинарных сборок. Системные требования нужно брать из выбранной реализации. Например, публичное стороннее демо, тестировавшееся с TensorFlow 2.6, Python 3.7.11, pytesseract 0.3.8 и Streamlit 0.86, использовало DenseNet121 вместо исходной VGG-19; эти версии описывают только тот проект.

Важно отличать переносимость метода от поддержки ОС. Нейросеть можно переписать на современный TensorFlow, PyTorch или другой стек и запустить там, где доступен этот стек, но такой порт не становится «официальной версией TableNet для Linux/Windows». Для долгоживущего проекта разумно выбирать реализацию, чьи зависимости ещё поддерживаются, и иметь тестовый набор для проверки после обновлений.

Паспорт обратимости операций

Практичный конвейер не перезаписывает исходный PDF или скан и хранит промежуточные артефакты. Тогда OCR, правила или формат экспорта можно заменить независимо. Для воспроизводимости нужны не только входные данные, но и точные веса, preprocessing и порог; в исходном тестировании использовался пиксельный threshold 0,99.

Преимущества и недостатки TableNet

Плюсы и минусы

Сравнение с аналогами

Microsoft Table Transformer ближе всего по ML-задаче: официально опубликованные модели и явные классы структуры делают его более прямым стартом для нового нейросетевого проекта, особенно при сложных ячейках. PP-StructureV3 шире: он объединяет layout, таблицы, формулы и другие элементы документа.

Camelot и Tabula предпочтительнее, когда PDF уже содержит качественный текстовый слой: они не вводят лишний OCR. TableNet логичнее для растра. Sumatra PDF — не конкурент TableNet: он нужен для чтения, навигации и визуальной проверки документов, тогда как TableNet — backend для извлечения табличной геометрии. Один инструмент может использоваться до и после другого, но задачи у них разные.

При выборе между этими решениями сначала определяется природа источника. Для born-digital PDF с доступным текстом TableNet создаёт лишний цикл «рендер → OCR → сегментация». Для скана Camelot и Tabula, напротив, лишаются своего главного преимущества. Table Transformer уместен, когда нужен современный ML-baseline структуры, а PP-StructureV3 — когда таблицу надо понимать вместе с остальной страницей. Такая классификация полезнее сравнения по числу функций, поскольку продукты работают на разных уровнях документного стека.

Инструкция по установке

Официальная установка отсутствует

TCS Research не публиковала подтверждённый EXE, DMG, Linux-пакет, мобильное приложение или официальный контейнер TableNet. Поэтому установка относится только к выбранной независимой реализации, а статья IEEE/arXiv служит спецификацией исходного метода.

Воспроизводимый запуск сторонней реализации

1. Зафиксировать источник. Выбрать один репозиторий, проверить автора, LICENSE и сохранить commit/release.
2. Сверить архитектуру. Убедиться, какой энкодер, размер входа и preprocessing использует код; модификации не следует выдавать за исходную TableNet.
3. Создать изолированное окружение. Версии Python, ML-фреймворка, библиотек изображений и OCR должны быть воспроизводимы.
4. Настроить OCR. Для конвейера, повторяющего статью, нужен Tesseract и языковые данные для целевых документов.
5. Проверить веса. Зафиксировать их источник, архитектуру и датасет; неизвестные бинарные файлы не использовать как доверенный baseline.
6. Сверить preprocessing. RGB, resize, нормализация и координаты OCR должны соответствовать ожиданиям модели.
7. Запустить один контрольный документ. Сначала сохранить маску таблицы, маску колонок и OCR-боксы, а уже затем подключать правила строк и экспорт.

Первый запуск и удаление

Успешный первый запуск подтверждают не кнопка или окно, а согласованные промежуточные данные: маски совпадают с геометрией страницы, OCR-боксы попадают в нужные колонки, а строки собираются воспроизводимо. Для удаления исследовательской среды убирают репозиторий, виртуальное окружение, локальные веса и кэш, если они не нужны другим проектам; системный Tesseract или драйверы удаляют средствами ОС только при отсутствии других зависимостей.

Практические кейсы

Сканированный счёт

Цель: получить строки из скана без текстового слоя. Подготовка: сохранить оригинал, исправить ориентацию, выбрать зафиксированные веса и OCR-язык. Шаги: выполнить OCR, подготовить вход, получить две маски, применить правила строк и распределить слова по колонкам. Проверка: сопоставить количество строк, артикулы и суммы с изображением. Ограничение: многострочные описания и слабые разделители могут потребовать адаптации правил.

Сканированный многостраничный PDF

Цель: обработать PDF, состоящий из изображений. Подготовка: выбрать внешний rasterizer и единые параметры рендера. Шаги: отрисовать страницы, сохранить соответствие номеров, обработать каждое изображение TableNet и объединить результат на уровне приложения. Проверка: сверить номера страниц и координаты таблиц. Ограничение: сама TableNet не управляет PDF и не склеивает продолжение таблицы между страницами.

Выбор маршрута для текстового PDF

Цель: не добавлять ненужный OCR. Подготовка: проверить, выделяется ли текст внутри таблицы. Шаги: при хорошем текстовом слое сначала использовать Camelot или Tabula; TableNet оставить для растровых или повреждённых страниц. Проверка: сравнить полноту ячеек и чисел. Ограничение: разные методы дают разные типы ошибок, поэтому результаты нельзя смешивать без общей схемы валидации.

Fine-tuning под корпоративную форму

Цель: повысить качество на повторяющемся макете. Подготовка: разметить таблицы и колонки и заранее отделить тестовую выборку. Шаги: сравнить базовые веса с дообученной моделью на одном тесте. Проверка: считать не только F1 масок, но и ошибки конечных строк/ячеек. Ограничение: специализация под один шаблон может ухудшить перенос на другие.

Контроль перед пакетной обработкой

Цель: не запускать большой архив с неизвестной моделью ошибок. Подготовка: собрать небольшую контрольную выборку из таблиц с линиями и без них, многострочных ячеек, мелкого шрифта, перекоса и низкого контраста. Шаги: сохранить выход каждого этапа и вручную разметить ожидаемые таблицы на контрольных страницах; отдельно проверить detection, колонки, правила строк и OCR-текст. Проверка: кроме метрик масок сравнить количество логических строк, пропущенные ячейки и критичные числовые поля; для счетов можно добавить проверку арифметических сумм. Ограничение: хороший результат на нескольких удобных страницах не характеризует редкие макеты, если они отсутствуют в контрольном наборе.

Навигатор по сбоям

Реестр проверяемых утверждений

Часто задаваемые вопросы

TableNet и Tabula — это один проект?

Нет. Совпадение части названия случайно: TableNet — модель TCS Research для растровых страниц, а Tabula — отдельный инструмент для извлечения таблиц из PDF с текстовым слоем. У них разные разработчики, входные данные, алгоритмический подход и жизненный цикл.

Нужно ли распознавать текст до TableNet?

Для исходного полного конвейера — да: Tesseract даёт слова и координаты, которые нужны постобработке строк, а в семантическом варианте ещё формирует дополнительные признаки. Сама сегментационная сеть не заменяет OCR текста ячеек.

Можно ли применять TableNet к фотографиям?

Архитектура принимает растровое изображение, поэтому технически фотография может быть входом. Но исходные метрики получены на документных наборах, а перспектива, тени и фон камеры создают доменный сдвиг. Такой сценарий требует собственной проверки и часто дополнительной геометрической коррекции.

Есть ли у TableNet готовый CSV или Excel?

Нет стандартизованного экспорта оригинальной архитектуры. После построения строк и значений интеграция может сериализовать их в CSV, JSON или XLSX, но схема, типы данных и обработка объединённых ячеек будут свойствами этого кода.

Поддерживается ли русский язык?

Сегментация таблиц не имеет меню языков; текст зависит от OCR-компонента и его языковых моделей. Поэтому корректнее говорить о поддержке русского выбранным OCR, а не о подтверждённой русскоязычной редакции TableNet.

Обязательна ли GPU?

Публикация не задаёт минимальную GPU или VRAM. Обучение VGG-подобной сегментационной сети требует ML-ресурсов, но конкретный минимум зависит от реализации, размера входа, batch size и фреймворка. Это нужно измерять на выбранном коде.

Нужен ли интернет и можно ли работать с конфиденциальными документами?

Архитектура не требует облачного API. Полностью локальный rasterizer, OCR, модель и постобработка могут работать без передачи страницы третьей стороне. Но публичное демо или удалённый API имеют собственную политику хранения и телеметрию, которую нужно проверять до загрузки конфиденциальных файлов.

Как TableNet относится к объединённым ячейкам?

В исходной сети нет отдельного класса spanning cell: модель выделяет таблицу и колонки, строки строятся правилами. Для таблиц с многочисленными объединениями современная structure-модель, явно предсказывающая такие элементы, обычно удобнее.

Когда TableNet всё ещё имеет смысл в новом проекте?

Когда требуется воспроизвести работу 2019 года, сравнить новый алгоритм с историческим baseline или исследовать сегментационный подход на собственном наборе. Для production-разработки стоит сначала оценить Table Transformer и PP-StructureV3, где есть более современные официальные модели и документация.

Вывод

TableNet подходит исследователям и ML-инженерам, которым нужна понятная сегментационная схема для сканов: общий VGG-19-энкодер, отдельные маски таблицы и колонок, OCR и правила строк. Она полезна для воспроизведения ICDAR-работы, экспериментов с доменной донастройкой и сравнений с современными table-structure моделями.

Как готовая программа TableNet не подходит: официального приложения, системной матрицы, тарифа, аккаунта и стандартного экспорта нет. Для текстовых PDF практичнее Camelot или Tabula; для полноценного document AI — PP-StructureV3; для современной нейросетевой структуры таблиц — Microsoft Table Transformer. Sumatra PDF остаётся просмотрщиком и средством проверки документа, а не заменой TableNet.