长文本上使用大语言模型的方法

林一二2023年03月26日 00:40

问答:先检索再重排

  1. 文本切成小块,方便转成向量形式,用 fasttext 足矣
  2. 问题也转成向量搜索最近的几个文本
  3. 获得的文本拼成中等长度问题,向大语言模型提问对
要构建一个智能问答系统,应该从哪些知识方面入手? - 严昕的回答 - 知乎

总结:层层归纳

分而治之,一小块一小块总结,对每个小总结再进一步写大总结。

分层

用便宜一点的模型来运行批量搜索,但是又需要高于向量搜索的指令,例如对大量工具的使用

Code
!! 问答:先检索再重排

<<<
# 文本切成小块,方便转成向量形式,用 fasttext 足矣
# 问题也转成向量搜索最近的几个文本
# 获得的文本拼成中等长度问题,向大语言模型提问对
<<<[[要构建一个智能问答系统,应该从哪些知识方面入手? - 严昕的回答 - 知乎|https://www.zhihu.com/question/19646132/answer/2931462599]]

!! 总结:层层归纳

分而治之,一小块一小块总结,对每个小总结再进一步写大总结。

!! 分层

用便宜一点的模型来运行批量搜索,但是又需要高于向量搜索的指令,例如对大量工具的使用