🤖mdx.jp上のvLLMをCloudflare Tunnel経由でOpenAI互換APIとして公開する
mdx.jp 上で動かした vLLM を Cloudflare Tunnel 経由で外部公開し、OpenAI 互換 API として利用できるようにした手順と注意点
cloudflaretunnelzero-trustvllm
mdx.jp 上で動かした vLLM を Cloudflare Tunnel 経由で外部公開し、OpenAI 互換 API として利用できるようにした手順と注意点
mdx.jp の A100 40GB x2 サーバで LLM-jp-4-32b-a3b-thinking 公式版を動かし、Transformers の OOM から vLLM サーブへ切り替えた記録