向量化文档时是否需要chunk

AI 与应用开发者专区 Agent
#1

根据workshop（https://gitee.com/oceanbase-devhub/ai-workshop-2024#2-安装依赖）

其中：

poetry run python embed_docs.py --doc_base . --table_name my_table --echo

看起来应该是一个md文章对应数据库一条 数据库表my_table中的一条记录。

2024-10-16 03:17:13,439 INFO sqlalchemy.engine.Engine
CREATE TABLE my_table (
        id VARCHAR(4096) NOT NULL,
        embedding VECTOR(1024),
        document LONGTEXT,
        metadata JSON,
        component_code INTEGER NOT NULL,
        PRIMARY KEY (id, component_code)
)
...

那么我想请教一下是不是就不再需要之前工具（dify、fastgpt、dbgpt等）的chunk成更小单元的过程了（如400个字）。是不是对于用户来说只需要把一篇文章（无论大小），全部放到表一条记录中即可？

3 个赞
#2

顶一下

1 个赞
#3

谢 顶 :rofl:

1 个赞
#4

顶一下

1 个赞
#5

个人理解如果长度超过某个上限值，肯定是需要切片的。
你想，longtext 数据类型也是有长度上限的呀，哈哈~
以下是你贴出来的链接里的截图：

image
image1724×782 93.5 KB

#6

从代码看：

loader = MarkdownDocumentsLoader(
    doc_base=args.doc_base,
    skip_patterns=args.skip_patterns,
)

貌似是没有进行chunking的，所以我才比较好奇，这是为了教学的简化，还是工程师有其他的考量，比方说这种类型的文档本身不大？或者vs的能力足以很精确的在整篇文章中找到有用的内容？（对比其他chunking切块默认值都是400或500）我倒是觉得OB工程师不会因为而故意不加chunking功能，很有可能真的是有考量的。 :palm_down_hand:

#7

点赞支持