Shifu Plugin für ChatGPT

Das Shifu Plugin ist das leistungsstarke Werkzeug, das die Fähigkeiten von ChatGPT erweitert und es ermöglicht, mit allen Arten von Internet der Dinge (IoT)-Geräten zu interagieren. Dieses Plugin schließt die Lücke zwischen KI und der realen Welt und ermöglicht es den Nutzern, ihre Geräte mit natürlichsprachlichen Befehlen zu steuern und zu interagieren.

Demo 📺

Hier ist ein Einblick hinter die Kulissen, wie das alles funktioniert.

Zuerst verbinden wir eine RTSP-Kamera mit Shifu. Einmal verbunden, verwandelt Shifu dieses Gerät in ein digitales Zwillingsmodell, eine virtuelle Darstellung, die die Fähigkeiten und den Status des Geräts in der digitalen Welt widerspiegelt. Shifu kommuniziert dann die Mikroservice-APIs dieser digitalen Zwillinge mit ChatGPT. Diese APIs dienen als Brücke zwischen den Fähigkeiten zur natürlichen Sprachverarbeitung von ChatGPT und den Funktionalitäten der IoT-Geräte. Wenn ein Nutzer einen Befehl in natürlicher Sprache gibt, tritt ChatGPT in Aktion, um die Anweisung zu analysieren. Unter Ausnutzung seiner fortschrittlichen KI-Fähigkeiten übersetzt es den Befehl des Nutzers in einen API-Aufruf. Dieser Aufruf wird dann an den entsprechenden digitalen Zwilling gerichtet, was die entsprechende Aktion am tatsächlichen IoT-Gerät auslöst.

Wenn Sie von diesem Prozess fasziniert sind, sind Sie herzlich eingeladen, es selbst auszuprobieren, indem Sie der untenstehenden Anleitung folgen!

Vorbereitung 🎯

Shifu Shifu ist ein Kubernetes-natives IoT-Entwicklungsframework. Um es zu nutzen, müssen wir zuerst einen Kubernetes-Cluster bereitstellen. In einer Demoumgebung empfehlen wir die Verwendung von kind.(https://kind.sigs.k8s.io/docs/user/quick-start/).

Verwenden Sie den folgenden Befehl, um einen kind-Cluster zu erstellen:

kind create cluster

Installieren Sie anschließend die neueste Version von Shifu in Ihrem Kubernetes-Cluster mit einem einzigen Befehl:

kubectl apply -f  https://raw.githubusercontent.com/Edgenesis/shifu/v0.18.0/pkg/k8s/crd/install/shifu_install.yml

Jetzt können Sie Shifu verwenden, um den digitalen Zwilling Ihres Geräts in Ihrem Kubernetes-Cluster bereitzustellen. In diesem Fall werden wir den digitalen Zwilling einer RTSP-Kamera mit einem einzigen Befehl bereitstellen:

kubectl apply -f examples/camera_shifu.yaml

Verwenden Sie anschließend den port-forward-Befehl, um Ihre digitalen Zwillinge außerhalb von Kubernetes auf localhost freizugeben, wo ChatGPT mit Ihrem Gerät interagieren kann. Wenn Ihr Gerätename Kamera ist, verwenden Sie den folgenden Befehl:

kubectl port-forward svc/deviceshifu-camera-service -n deviceshifu 3000: --address=0.0.0.0

Bereiten Sie schließlich alle Python-Abhängigkeiten vor:

python3 -m pip install -r requirements.txt

Glückwunsch! Sie sind jetzt fertig und bereit loszulegen! Jetzt ist es an der Zeit, den Spaß zu genießen, mit der Kamera zu interagieren, indem Sie nichts weiter als natürlichsprachliche Befehle verwenden!

Anleitung 🕹️

Um die Anwendung zu starten, führen Sie diesen Befehl aus:

python3 main.py

Sie können den ChatGPT-Dokumenten folgen, um das Shifu Plugin in ChatGPT hinzuzufügen. Standardmäßig ist das Domain localhost:3333.
Fügen Sie das Shifu Plugin zu Ihrem ChatGPT hinzu.
Da diese Demo die Anzeige von Fotos im Chat erfordert, müssen Sie auch das WebPilot Plugin installieren.

Jetzt können Sie mit ChatGPT chatten und mit Ihrer Kamera interagieren.

Sie können ChatGPT bitten, "ein Foto zu machen" oder "nach links zu bewegen", lassen Sie sich nicht von meiner Vorstellungskraft einschränken.

Lizenz

Dieses Projekt ist unter der Apache-2.0-Lizenz lizenziert.(https://github.com/Edgenesis/shifu-plugin-for-chatgpt/blob/main/LICENSE).

Neuigkeiten 📰

Für weitere Informationen sind Sie herzlich eingeladen zu lesen: ChatGPT bet Breaks into the Physical World: Introducing Shifu Plugin for ChatGPT.

You can also checkout https://github.com/Edgenesis/shifu and https://shifu.dev/ for more information related to Shifu.