Skip to content

Latest commit

 

History

History
195 lines (162 loc) · 16.8 KB

README_DE.md

File metadata and controls

195 lines (162 loc) · 16.8 KB

Bild

Comfyui_llm_party beabsichtigt, basierend auf comfyui, einer äußerst minimalistischen Benutzeroberfläche, eine vollständige Bibliothek von Knoten für den Aufbau von LLM-Workflows zu entwickeln. Dies ermöglicht es den Benutzern, ihre eigenen LLM-Workflows schneller und einfacher zu erstellen und diese nahtlos in ihre Bild-Workflows zu integrieren.

Effektpräsentation

EN.mp4

Projektübersicht

ComfyUI LLM Party bietet Ihnen von den grundlegendsten LLM-Multitoolaufrufen und der schnellen Einrichtung Ihres eigenen AI-Assistenten bis hin zu branchenspezifischen Lösungen wie Wortvektor-RAG und GraphRAG zur lokalen Verwaltung von Wissensdatenbanken eine umfassende Palette. Von einfachen Agenten-Pipelines bis hin zu komplexen Interaktionsmodellen zwischen Agenten, wie radialen und zirkulären Interaktionen; von den Anforderungen individueller Nutzer, ihre sozialen Apps (QQ, Feishu, Discord) anzubinden, bis hin zu den Bedürfnissen von Streamern nach einem One-Stop-LLM+TTS+ComfyUI-Workflow; von den einfachen Einstiegsmöglichkeiten für gewöhnliche Studierende bis zu den verschiedenen Parametereinstellungs-Interfaces, die von Forschenden häufig genutzt werden, und der Modellanpassung – all dies finden Sie in der ComfyUI LLM Party.

Schnellstart

  1. Wenn Sie ComfyUI noch nie verwendet haben und beim Installieren von LLM Party in ComfyUI auf einige Abhängigkeitsprobleme stoßen, klicken Sie hier, um das Windows-Portable-Paket mit LLM Party herunterzuladen. Achtung! Dieses tragbare Paket enthält nur die beiden Plugins Party und Manager und ist nur für das Windows-System geeignet.(Wenn Sie LLM party auf einem bestehenden ComfyUI installieren müssen, kann dieser Schritt übersprungen werden.)
  2. Ziehen Sie die folgenden Workflows in Ihr comfyui und verwenden Sie dann comfyui-Manager, um die fehlenden Knoten zu installieren.
  1. Wenn Sie die API verwenden, füllen Sie im API LLM-Ladeknoten Ihre base_url (es kann eine Relay-API sein, stellen Sie sicher, dass sie mit /v1/ endet) und api_key aus. Beispiel: https://api.openai.com/v1/
  2. Wenn Sie ollama verwenden, aktivieren Sie die Option is_ollama im API LLM-Ladeknoten, ohne base_url und api_key auszufüllen.
  3. Wenn Sie ein lokales Modell verwenden, geben Sie im lokalen Modell-Ladeknoten Ihren Modellpfad ein, z.B.: E:\model\Llama-3.2-1B-Instruct. Sie können auch die Huggingface Modell-Repo-ID im lokalen Modell-Ladeknoten eingeben, z.B.: lllyasviel/omost-llama-3-8b-4bits.
  4. Aufgrund der hohen Nutzungsschwelle dieses Projekts hoffe ich, dass Sie sich die Zeit nehmen, die Projektseite gründlich zu lesen, auch wenn Sie den Schnellstart gewählt haben.

Neueste Updates

  1. Das MCP Tool wurde aktualisiert. Sie können die Konfiguration in der Datei 'mcp_config.json' im Party-Projektordner ändern, um den MCP-Server anzupassen, mit dem Sie sich verbinden möchten. Hier finden Sie verschiedene Konfigurationsparameter für MCP-Server, die Sie hinzufügen möchten: modelcontextprotocol/servers. Die Standardkonfiguration dieses Projekts ist der Everything-Server, der dazu dient, zu überprüfen, ob der MCP-Server ordnungsgemäß funktioniert. Referenz-Workflow: start_with_MCP. Hinweis für Entwickler: Der MCP-Toolknoten kann sich mit dem von Ihnen konfigurierten MCP-Server verbinden und die Werkzeuge des Servers in direkt verwendbare Werkzeuge für LLM umwandeln. Durch die Konfiguration verschiedener lokaler oder Cloud-Server können Sie alle LLM-Werkzeuge erleben, die es auf der Welt gibt.

Gebrauchsanweisung

  1. Bitte beziehen Sie sich auf die Anweisungen zur Verwendung der Knoten: 怎么使用节点

  2. Bei Problemen mit dem Plugin oder anderen Fragen freuen wir uns über Ihren Beitritt zur QQ-Gruppe: 931057213 | discord：discord.

  3. Weitere Workflows finden Sie im Ordner workflow.

Video-Tutorials

octocat octocat

Modellunterstützung

  1. Unterstützung aller API-Aufrufe im OpenAI-Format (in Kombination mit oneapi können nahezu alle LLM-APIs aufgerufen werden, ebenso alle Transfer-APIs). Die Auswahl der base_url erfolgt nach config.ini.example. Bisher getestete Modelle sind:
  1. Unterstützung aller API-Aufrufe, die mit aisuite kompatibel sind:
  1. Kompatibel mit den meisten lokalen Modellen in der Transformer-Bibliothek (der Modelltyp auf dem lokalen LLM-Modellkettenknoten wurde in LLM, VLM-GGUF und LLM-GGUF geändert, was dem direkten Laden von LLM-Modellen, dem Laden von VLM-Modellen und dem Laden von LLM-Modellen im GGUF-Format entspricht). Wenn Ihr VLM- oder GGUF-Format-LLM-Modell einen Fehler meldet, laden Sie bitte die neueste Version von llama-cpp-python von llama-cpp-python herunter. Derzeit getestete Modelle umfassen:
  1. Modells download:

Download

Verwenden Sie eine der folgenden Methoden zur Installation

Methode eins:

  1. Suchen Sie im ComfyUI-Manager nach comfyui_LLM_party und installieren Sie es mit einem Klick.
  2. Starten Sie ComfyUI neu.

Methode zwei:

  1. Navigieren Sie zum Unterordner custom_nodes im Hauptordner von ComfyUI.
  2. Klonen Sie dieses Repository: git clone https://github.com/heshengtao/comfyui_LLM_party.git

Methode drei:

  1. Klicken Sie oben rechts auf CODE.
  2. Klicken Sie auf download zip.
  3. Entpacken Sie das heruntergeladene Zip-Archiv in den Unterordner custom_nodes des Hauptordners von ComfyUI.

Umgebungsbereitstellung

  1. Navigieren Sie zum Projektordner von comfyui_LLM_party.
  2. Geben Sie im Terminal pip install -r requirements.txt ein, um die benötigten Drittanbieterbibliotheken in der ComfyUI-Umgebung zu installieren. Bitte beachten Sie, ob Sie in der ComfyUI-Umgebung installieren, und achten Sie auf pip-Fehlermeldungen im Terminal.
  3. Wenn Sie den ComfyUI-Launcher verwenden, müssen Sie im Terminal Pfad im Launcher-Konfigurationsdatei\python_embeded\python.exe -m pip install -r requirements.txt eingeben, um die Installation durchzuführen. Der Ordner python_embeded befindet sich in der Regel auf derselben Ebene wie Ihr ComfyUI-Ordner.
  4. Wenn Sie auf einige Umgebungsprobleme stoßen, können Sie versuchen, die Abhängigkeiten aus requirements_fixed.txt zu verwenden.

Konfiguration

  • Die Sprache kann in der Datei config.ini konfiguriert werden, derzeit sind nur Chinesisch (zh_CN) und Englisch (en_US) verfügbar, standardmäßig wird die Sprache deines Systems verwendet.
  • Du kannst eine der folgenden Methoden verwenden, um den APIKEY zu konfigurieren.

Methode Eins:

  1. Öffne die Datei config.ini im Projektordner von comfyui_LLM_party.
  2. Gib in der config.ini deinen openai_api_key und base_url ein.
  3. Wenn du das Ollama-Modell verwendest, trage in base_url http://127.0.0.1:11434/v1/ ein, in openai_api_key schreibe ollama und in model_name gib deinen Modellnamen ein, z. B.: llama3.
  4. Wenn du Google Search oder Bing Search Tools verwenden möchtest, gib in der config.ini deinen google_api_key, cse_id oder bing_api_key ein.
  5. Wenn du Bildeingaben für LLM verwenden möchtest, wird empfohlen, den Bilddienst imgBB zu nutzen. Trage in der config.ini deinen imgbb_api ein.
  6. Jedes Modell kann in der Datei config.ini separat konfiguriert werden. Du kannst die Datei config.ini.example als Referenz verwenden. Nachdem du alles konfiguriert hast, musst du nur noch model_name im Knoten eingeben.

Methode Zwei:

  1. Öffne die Benutzeroberfläche von ComfyUI.
  2. Erstelle einen neuen LLM-Knoten und gib direkt in den Knoten deinen openai_api_key und base_url ein.
  3. Wenn du das Ollama-Modell verwendest, benutze den LLM_api-Knoten, trage in base_url http://127.0.0.1:11434/v1/ ein, in api_key schreibe ollama und in model_name gib deinen Modellnamen ein, z. B.: llama3.
  4. Wenn du Bildeingaben für LLM verwenden möchtest, wird empfohlen, den Bilddienst imgBB zu nutzen. Gib in dem Knoten deinen imgbb_api_key ein.

Änderungsprotokoll

Click here

Nächste Schritte:

  1. Mehr Modellanpassungen;
  2. Mehr Möglichkeiten zum Aufbau von Agenten;
  3. Mehr Automatisierungsfunktionen;
  4. Mehr Funktionen zur Verwaltung von Wissensdatenbanken;
  5. Mehr Werkzeuge, mehr Personas.

Haftungsausschluss:

Dieses Open-Source-Projekt und seine Inhalte (im Folgenden „Projekt“) dienen nur zu Informationszwecken und bedeuten keine ausdrückliche oder stillschweigende Garantie. Die Projektbeitragsleistenden übernehmen keine Verantwortung für die Vollständigkeit, Genauigkeit, Zuverlässigkeit oder Anwendbarkeit des Projekts. Jegliche Handlungen, die auf den Inhalten des Projekts basieren, erfolgen auf eigenes Risiko. Unter keinen Umständen haften die Projektbeitragsleistenden für indirekte, spezielle oder zufällige Verluste oder Schäden, die aus der Nutzung der Inhalte des Projekts resultieren.

Besonderer Dank

octocat octocat octocat

Entlehnungen

Einige Knoten in diesem Projekt basieren auf den folgenden Projekten. Wir danken ihnen für ihren Beitrag zur Open-Source-Community!

  1. pythongosssss/ComfyUI-Custom-Scripts
  2. lllyasviel/Omost

Unterstützung:

Treten Sie der Gemeinschaft bei

Wenn es Probleme mit dem Plugin gibt oder Sie andere Fragen haben, sind Sie herzlich eingeladen, unserer Gemeinschaft beizutreten.

  1. QQ-Gruppe: 931057213

  1. WeChat-Gruppe: we_glm (Fügen Sie den kleinen Assistenten zu WeChat hinzu, um der Gruppe beizutreten)

  2. Discord:discord链接

Folgen Sie uns

  1. Wenn Sie die neuesten Funktionen dieses Projekts kontinuierlich verfolgen möchten, heißen wir Sie herzlich willkommen, unseren Bilibili-Account zu abonnieren: 派对主持BB机
  2. youtube@comfyui-LLM-party

Unterstützung durch Spenden

Wenn meine Arbeit Ihnen einen Mehrwert bietet, ziehen Sie bitte in Betracht, mir einen Kaffee auszugeben! Ihre Unterstützung belebt nicht nur das Projekt, sondern erwärmt auch das Herz der Kreatoren.☕💖 Jede Tasse zählt!

Sternenverlauf

Star History Chart