分类推理

[zkq-afk]

你好，我想在识别完模型后能进行一个分类推理，通过关键字的形式，比如出租车车票，看到显示是发票联或者出租车这些关键字，能识别并且分类成出租车车票。看到身份证，能识别并且分类成身份证这一类，该怎么处理呢？

[GreatV]

要实现通过关键字识别并分类特定类型文档（例如“出租车车票”或“身份证”），可以基于PaddleOCR的关键信息抽取功能（SER和RE）进行解决。以下是详细的处理步骤：

---

1. 问题分解

您希望分类推理过程能够：

• 识别文档中的关键字（例如“出租车”、“发票联”）。
• 根据这些关键字判断文档类别（例如“出租车车票”或“身份证”）。
• 忽略无关文本，专注于标注的关键信息。

---

2. 解决方案

使用PaddleOCR的多模态表单识别和关键信息抽取（SER）功能，可以实现基于关键字的文档解析和分类。以下是实现步骤：

2.1 数据准备

1. 标注关键字段

   • 为每种文档类型（如“出租车车票”、“身份证”）标注关键字段。关键字段可以包括：
     • 出租车票：如“发票联”、“出租车”、“金额”等。
     • 身份证：如“身份证号码”、“姓名”等。
   • 标注格式参考PaddleOCR中的train.json文件：

     {
       "ocr_info": [
         {
           "text": "发票联",
           "label": "出租车",
           "bbox": [100, 200, 300, 400]
         },
         {
           "text": "出租车",
           "label": "出租车",
           "bbox": [150, 250, 350, 450]
         }
       ]
     }

     将所有关键字段标注为对应的类别。

2. 创建类别文件

   • 定义一个class_list.txt文件，列出所有类别：

     other
     出租车
     身份证
     

3. 组织数据集

   • 数据目录结构示例：

     train_data/
       ├── imgs/   # 存放图片
       ├── train.json  # 训练集标注文件
       ├── val.json    # 验证集标注文件
       └── class_list.txt  # 类别列表
     

---

2.2 模型配置与训练

1. 修改配置文件
   基于PaddleOCR的ser_vi_layoutxlm_xfund_zh.yml配置文件，修改以下内容：

   • 类别数目和类别文件路径：

     Architecture:
       Backbone:
         num_classes: 3  # 类别数（other, 出租车, 身份证）
     PostProcess:
       class_path: train_data/class_list.txt  # 类别文件路径

   • 训练集和验证集：

     Train:
       dataset:
         data_dir: train_data/imgs
         label_file_list:
           - train_data/train.json
     Eval:
       dataset:
         data_dir: train_data/imgs
         label_file_list:
           - train_data/val.json

2. 开始训练
   执行以下命令进行训练：

   python3 tools/train.py -c configs/kie/vi_layoutxlm/ser_vi_layoutxlm_xfund_zh.yml

---

2.3 模型预测与分类

1. 使用训练好的模型进行预测
   执行以下命令进行推理：

   python3 tools/infer_kie_token_ser.py \
       -c configs/kie/vi_layoutxlm/ser_vi_layoutxlm_xfund_zh.yml \
       -o Architecture.Backbone.checkpoints=output/ser_model/best_accuracy \
       Global.infer_img=path/to/test_image.jpg \
       Global.infer_mode=True

   • Architecture.Backbone.checkpoints：替换为训练好的模型路径。
   • Global.infer_img：替换为待分类的图片路径。

2. 结果解析

   • 模型输出每个文本框的类别（例如“出租车”、“身份证”）。
   • 根据关键字段出现的类别，判断文档属于哪种类型。
   • 示例代码（伪代码）：

     if "出租车" in predicted_labels:
         doc_type = "出租车车票"
     elif "身份证" in predicted_labels:
         doc_type = "身份证"
     else:
         doc_type = "未知类型"

---

3. 优化与注意事项

• 忽略无关文本：
  • 在标注时，未标注的文本默认被分类为other，训练模型时会学习只关注标注的关键字段。
  • 确保标注数据的完整性，避免遗漏关键字段。
• 提升分类泛化能力：
  • 如果文档类型较多，建议为每种类型准备更多样化的标注数据，覆盖常见的关键字和布局。

---

4. 相关讨论

如果在预测时发现非关键字段被误分类，可以参考以下讨论中的解决方案：

• 如何忽略非标注文本

---

通过以上步骤，您可以实现基于关键字的文档分类推理。最终，模型会根据文档中的关键字段自动对文档进行分类，例如“出租车车票”或“身份证”。

---

Response generated by 🤖 feifei-bot | chatgpt-4o-latest

[zkq-afk]

谢谢，那如果我是想基于paddlecls去进行处理，应该怎么做呢

[GreatV]

可以试试paddlex中分类模型

[zkq-afk]

我这里是内网，不能下载模型，只能用之前的模型，请问还有什么办法吗

[zkq-afk]

我这相当于是让我做一个后处理，就是训练完模型以后，用这个后处理去解决

[GreatV]

是的