Dev.to

DifyにAmazon Bedrockを組み込む

皆さんDifyは利用されていますでしょうか？ DifyのモデルプロバイダーにAmazon Bedrockを選択できるため、アクセスキーとシークレットアクセスキーの設定を行えば、Amazon Bedrockの幅広いモデルが利用できます。 Difyはクラウド版とオンプレミス版があり、クラウド版ではSANDBOXという無料プランでは利用できる範囲に制約があるため、セルフホスティングのCOMMUNITY版を利用することで、Amazon Bedrockを選択することができます。 社内などのローカル環境下で利用すれば、Amazon Bedrockとの通信は発生するもののローカルのRAGを作ったり、モデルに学習される心配をせずに利用した分だけを使用するということができるため、まずは慣れ親しんでみたいと思われる中小企業では最適な選択肢になります。 またローカルLLMを用意することで、インターネットとの通信を発生させないクローズドな環境で利用することができるようになります。 なお、オンプレミス版はDockerイメージで提供されているため、比較的セットアップも容易で導入が可能です。 以下はDify オンプレミス版に Amazon Bedrock/Nova Cross-Region 推論を組み込む方法を参考にして、EC2に構築したDifyにパブリックIP経由で接続していますが、ローカル環境に構築することでローカル接続することが同様にできます。 また、引用元ではオレゴンリージョンを利用した説明となっていますが、私はバージニア北部リージョンで実施してみたところ、モデルの選択では、US.Cross Region Inferenceと表示されていないモデルでも正しく応答していました。 是非皆さんも試してみてください。

Apr 15, 2025 - 07:09
 0
DifyにAmazon Bedrockを組み込む

皆さんDifyは利用されていますでしょうか？
DifyのモデルプロバイダーにAmazon Bedrockを選択できるため、アクセスキーとシークレットアクセスキーの設定を行えば、Amazon Bedrockの幅広いモデルが利用できます。

Difyはクラウド版とオンプレミス版があり、クラウド版ではSANDBOXという無料プランでは利用できる範囲に制約があるため、セルフホスティングのCOMMUNITY版を利用することで、Amazon Bedrockを選択することができます。

社内などのローカル環境下で利用すれば、Amazon Bedrockとの通信は発生するもののローカルのRAGを作ったり、モデルに学習される心配をせずに利用した分だけを使用するということができるため、まずは慣れ親しんでみたいと思われる中小企業では最適な選択肢になります。

またローカルLLMを用意することで、インターネットとの通信を発生させないクローズドな環境で利用することができるようになります。

なお、オンプレミス版はDockerイメージで提供されているため、比較的セットアップも容易で導入が可能です。

以下はDify オンプレミス版に Amazon Bedrock/Nova Cross-Region 推論を組み込む方法を参考にして、EC2に構築したDifyにパブリックIP経由で接続していますが、ローカル環境に構築することでローカル接続することが同様にできます。

また、引用元ではオレゴンリージョンを利用した説明となっていますが、私はバージニア北部リージョンで実施してみたところ、モデルの選択では、US.Cross Region Inferenceと表示されていないモデルでも正しく応答していました。

Image description

是非皆さんも試してみてください。

Read More

Tags:

Previous Article

Robust WebSocket Reconnection Strategies in JavaScript With Exponential Backoff

Next Article

Developing a CLI Tool to Evaluate Code Cognitive Complexity with LLMs(AI)

Related Posts

Any devs actually getting a leg up using AI tools?

Any devs actually getting a leg up using AI tools?

Feb 21, 2025  0

Feb 26, 2025  0

Feb 26, 2025  0