ChatGPT用のShifuプラグイン

Shifuプラグインは、ChatGPTの機能を拡張する強力なツールであり、さまざまなインターネット・オブ・シングス（IoT）デバイスと対話できるようにします。このプラグインは、AIと現実世界とのギャップを埋め、ユーザーが自然な言語コマンドを使用してデバイスを制御し、対話することを可能にします。

デモ 📺

これがその全貌です。

まず、RTSPカメラをShifuに接続します。接続後、Shifuはこのデバイスをデジタルツインに変換し、デジタルワールドでデバイスの機能とステータスをミラーリングする仮想表現にします。次に、ShifuはこれらのデジタルツインのマイクロサービスAPIをChatGPTに伝えます。これらのAPIは、ChatGPTの自然言語処理機能とIoTデバイスの機能の橋渡しとして機能します。ユーザーが自然言語でコマンドを発行すると、ChatGPTがその命令を解析します。その後、高度なAI機能を活用して、ユーザーのコマンドをAPI呼び出しに変換します。この呼び出しは、適切なデジタルツインに向けられ、実際のIoTデバイスで対応するアクションをトリガーします。

このプロセスに興味がある場合は、以下のガイドに従って自分で試してみてください！

準備 🎯

Shifuは、KubernetesネイティブのIoT開発フレームワークです。これを使用するには、まずkubernetesクラスターをデプロイする必要があります。デモ環境では、kindを使用することをお勧めします。

次のコマンドを使用して、kindクラスターを作成します：

kind create cluster

次に、1つのコマンドでKubernetesクラスターにShifuの最新バージョンをインストールします：

kubectl apply -f https://raw.githubusercontent.com/Edgenesis/shifu/v0.18.0/pkg/k8s/crd/install/shifu_install.yml

これで、Shifuを使用して、Kubernetesクラスターにデバイスのデジタルツインをデプロイできます。この場合、1つのコマンドでRTSPカメラのデジタルツインをデプロイします：

kubectl apply -f examples/camera_shifu.yaml

port-forwardコマンドを使用して、Kubernetesの外部からlocalhostにデジタルツインを公開します。デバイス名が camera の場合、次のコマンドを使用します：

kubectl port-forward svc/deviceshifu-camera-service -n deviceshifu 3000: --address=0.0.0.0

最後に、すべてのPython依存関係を準備します：

python3 -m pip install -r requirements.txt

おめでとうございます！準備が整いました！これで、自然言語コマンドを使用してカメラと対話する楽しさをお楽しみいただけます！

ガイド 🕹️

アプリケーションを起動するには、次のコマンドを実行します：

python3 main.py

ChatGPTドキュメントを参照して、ChatGPTにShifuプラグインを追加。します。デフォルトでは、ドメインは localhost:3333 です。
ShifuプラグインをChatGPTに追加します。
このデモではチャットで写真を表示する必要があるため、WebPilot Pluginもインストールする必要があります。

これで、ChatGPTと対話しながらカメラと対話できます。

ChatGPTに「写真を撮って」とか「左に移動」とか言ってみてください。想像力に制限はありません。

ライセンス

このプロジェクトはApache-2.0ライセンスのもとでライセンスされています。

ニュース 📰

詳細については、次のリンクをご覧ください：ChatGPT Breaks into the Physical World: Introducing Shifu Plugin for ChatGPT。

また、Shifuに関連する詳細情報については、ShifuとShifu Docsをご覧ください。