dou5515110

連線中…

逆向工程・漏洞分析・安全程式碼審查・日誌告警分流・截圖與 Ghidra / IDA 畫面解讀
262K 長上下文・深度思考・工具呼叫・OpenAI 相容 API

即時生成速度

–tok/s

所有請求合計・Prefill –

使用中位置

–

排隊中請求 –・額滿自動排隊

每請求上下文

–tokens

每個位置獨立保證，不共用

GPU

–%

VRAM –

即時狀態

生成吞吐量（近 10 分鐘，tok/s）

生成Prefill ÷ 20

GPU 使用率 / 使用中位置（%）

GPU使用中位置

並行位置（– 個，每個 – tokens）

累計

Prompt / 生成 tokens–

Prompt 快取命中–

平均每請求生成速度–

推測解碼接受率–

接入

Base URL–

模型名稱–

認證Authorization: Bearer <API 金鑰>

端點/v1/chat/completions・/v1/completions・/v1/models

每請求上下文上限–

並行–

最大輸出不另設上限，到上下文用滿為止（262,144 − prompt）

工具呼叫–

輸入模態–

Thinking預設開啟、不限思考長度・關閉用 "chat_template_kwargs":{"enable_thinking":false}

思考內容message.reasoning_content

建議取樣–

Prompt 快取同一專案請保持開頭不變（系統提示與專案檔案在前、問題在後），命中後只補讀新內容

首 token 等待（實測）命中快取 3–20 秒・262K 冷讀約 5 分鐘・3 人同時冷讀約 15 分鐘

串流建議開啟 "stream": true，思考過程即時送出

建議逾時≥ 3600 秒

系統

GPU

主機

CPU–

CPU 使用率–

RAM–

磁碟–

網路 ↓ / ↑–

負載–

推論設定

引擎llama.cpp

推測解碼–

並行 / 總上下文–

KV cachef16（不量化）

主機 RAM 快取–

檢查點–

批次–

Prompt 排程–

Flash Attention–

視覺–

Build–

運行

服務–

/health–

服務已運行–

主機已運行–

費用–

租用時間 / 累計–