Osmantic/ODS

単体のツールではなく、ローカルでAIを動かすのに要るものを丸ごと束ねた導入システムです。推論（llama-server）、チャット画面（Open WebUI）、APIゲートウェイ（LiteLLM）、埋め込み、音声認識（Whisper）と音声合成（Kokoro）、ベクターデータベース（Qdrant）、自前の検索（SearXNG）、画像生成（ComfyUI）、ワークフロー自動化（n8n）まで入っています。

手が入っているのは、導入の摩擦を消すところです。ハードウェア検出が NVIDIA / AMD / Intel Arc / Apple Silicon / CPUのみ を見分け、使うモデルとコンテキスト長を自動で決めます。既定では 1.5B の小さいモデルを1分足らずで先に落とし、2分以内に会話を始められるようにして、本命のモデルは裏でダウンロードする、という順番になっています。

OS によって構成が変わります。Linux はすべてコンテナ。macOS（Apple Silicon）は llama-server だけネイティブで動かし、他は Docker。Windows は WSL2 と Docker Desktop が前提です。いずれも Docker が入っていることが条件になります。

ローカルAIを始めたいが、何をどう繋ぐかで止まっているとき

推論エンジン、UI、ベクターDB、埋め込み——どれも単体では見つかるのに、組み合わせで詰まる、というのがこの領域のいちばん多い足止めです。そこを既に決めてある状態から始められます。

手元のGPUに合う設定を、自分で調べたくないとき

VRAM がいくつなら何Bのモデルが載るか、コンテキストはどこまで伸ばせるか。この対応表を自分で作らずに済みます。

軽さは目指していません。 llama.cpp や Ollama を単体で使うような最小構成とは方向が逆で、一式そろっていることが前提の作りです。「モデルをひとつ動かしたいだけ」なら、明らかに過剰です。合う人と合わない人がはっきり分かれます。

導入がインストールスクリプトの流し込みです。 ネットから取ってきたスクリプトをそのまま実行する形なので、中身を読んでから実行するかどうかは各自の判断になります。手動で clone してから実行する道も用意されています。

環境ごとの個別の但し書きがあります。 Windows は管理者権限での実行を推奨していない（パスの権限の問題）、AMD の Strix Halo では特定のモデルを正確性の問題で避けている、といった記述が README にあります。自分の環境が該当しないかは、先に見ておいたほうがいいです。

未解決の issue とプルリクエストが、合わせて1,400件あります。 スター4,886に対しては多い部類です。中身までは確かめていないので断定はしませんが、これだけ広い範囲を束ねる作りである以上、組み合わせの数だけ問題が出るのは自然でもあります。導入を決める前に、自分の環境に近い issue が立っていないかを見ておくと安全です。

ライセンスは Apache-2.0、安定版は v2.6.0、貢献者は65人です。