智慧启迪绘不仅仅是一个应用程序，它是一位能引领孩子们踏上奇妙求知之旅的伙伴，带领孩子们进入神奇知识世界的导航员，帮助父母陪伴自己孩子一起阅读《十万个为什么》系列丛书和解答阅读过程中更多疑问的知识助手。
本项目为我们公开的项目开发初期的迭代版本，包含了基本的问答功能，文生图和文生视频做了简化处理， 还请理解。
- 借由RAG技术与多模态生成技术的力量，我们倾心打造了一款既具娱乐性又富含教育意义，充满趣味性和互动性的视频生成平台，在孩子们阅读《十万个为什么》系列丛书时，进一步激发他们的好奇心，培养更好的观察能力、思考能力和表达能力，成为开启孩子智慧大门的一把钥匙。
- 两种LLM{appbuilder+ERNIEBot}接口: 充分运用百度文心一言的AIGC能力
- 两种RAG框架: Langchain & LlamaIndex
- RAG创新点: 新型向量数据库存储策略
- 多模态生成: 文本、语音和视频，也支持语音输入
- 流式输出交互UI: 在线生成，快速响应
- 预生成图片， tts和视频， 提高体验
以上亮点为我们项目的完整功能，并没有完全开源，请为我们的项目Star以便关注最新更新
-
开源版本demo：https://openxlab.org.cn/apps/detail/chg0901/Public_QiDiHui
-
AI Studio一键跑通教程： https://aistudio.baidu.com/projectdetail/8185249
-
requirements.txt: 相关实验环境所需依赖包
GPU环境只需把faiss-cpu改为faiss-gpu即可, 可以加快建库
web_demo.py: Gradio Demodata_full/dataset/Astronomical_dataset.json: 展示了示例数据， 我们只放置了10个QA数据，由于十万数据有数据隐私协议，书中包含的图片并没有开源，该数据只是展示我们的数据结构faiss_index_langchain_full_ernie/bm25retriever.pkl: 采用 BM 25 Retriever方案的数据库，这里我们只开源了使用Langchain建的库rag_full/rag_langchain.py: Langchain建库代码
《智慧启迪绘》项目介绍与【LIC2024 RAG赛道第一名方案】大揭秘！：https://aistudio.baidu.com/projectdetail/8185249
- 【最新版本进展】https://www.bilibili.com/video/BV1yT8SejEQ8/
- 【产品说明】https://www.bilibili.com/video/BV1kn4y1o7VY/
- 【中期设计demo和进展】https://www.bilibili.com/video/BV1rb421q7xe/
- 【智慧启迪绘】流式输出 超快响应 https://www.bilibili.com/video/BV1ss8qejEQ5/
这里建议使用conda重新建立一个测试环境
# 搭建环境
conda create -n QiDiHui python=3.10
conda activate QiDiHui
# 克隆本项目
git clone https://github.com/chg0901/Public_QiDiHui.git
# 安装软件库
cd Public_QiDiHui
pip install -r requirements.txt
# 启动WebDemo
python web_demo.py
QiDiHui的整体功能逻辑可以用下图表示：
QiDiHui支持直接通过一个问题生成有声绘本。
- 若您体验的是OpenXLab上部署的版本：
您可以直接在输入框中输入问题（下图1.a）或者在示例问题中选择问题（下图1.b）之后直接点击“输入问题，生成有声绘本”即可，在线文生图可能需要等待较长时间。
- 若您体验的是星河社区上部署的版本：
我们为了适配星河社区的部署环境，解耦了有声绘本生成的各个步骤。问题的输入方式不变，但您需要按照下图中的数字顺序依次点击按钮，才可以看到生成的有声绘本。
注意：您的故事长度需要在50字以上才能触发剧本生成操作。
QiDiHui还支持通过现有的故事生成绘本。
- 若您体验的是OpenXLab上部署的版本：
您需要在输入框中输入您的故事，之后按照下图中数字顺序依次点击按钮，就可以看到生成的有声绘本了。
- 若您体验的是星河社区上部署的版本：
同样地，您需要按照下图中的数字顺序依次点击按钮，就可以看到生成结果了。
请点击此处跳转到B站观看高清视频和其他合集视频, 欢迎给我们点赞收藏投币一键三连!
- 智慧启迪绘 基于文心erniebot 和千帆appbuilder 最新体验链接】
1.AIStudio主体验链接https://aistudio.baidu.com/application/detail/40487 2. OpenXLab 全功能版本https://openxlab.org.cn/apps/detail/chg0901/QiDiHui_appbuilder_V2
- 【开发版本1：智慧启迪绘 基于文心erniebot 体验链接】https://openxlab.org.cn/apps/detail/chg0901/QiDiHui
- 【开发版本2：智慧启迪绘 基于千帆appbuilder 体验链接】https://openxlab.org.cn/apps/detail/chg0901/QiDiHui_appbuilder
-
- 来自韩国光云大学的 计算机工程博士生 程宏
-
- 来自 复旦大学的 NLP准研究生 高杨帆
-
- 来自上海海洋大学的 NLP本科毕业生 彭文博
-
- 毕业于南京大学的 算法工程师 房宇亮
-
- 来自昌吉学院 计算机科学与技术专业大三的 郭志航
-
- 程宏和郭志航是Datawhale鲸英助教团成员