重排序(Rerank)
Do Rerank V2
重排序V2
AuthorizationBearer <token>
In: header
Header Parameters
Authorization?string
modelstring
querystring
documentsarray<string>
top_ninteger
Response Body
curl -X POST "https://loading/v2/rerank" \ -H "Authorization: string" \ -H "Content-Type: application/json" \ -d '{ "model": "bge-reranker-v2-m3", "query": "vLLM是什麼?它主要解決什麼問題?", "documents": [ "Transformers 是由 Google 開發的一個深度學習模型,主要用於自然語言處理任務。", "vLLM 是一個高效的函式庫,專為大型語言模型(LLM)的推理和服務設計,它透過 PagedAttention 技術顯著提高了吞吐量。", "PyTorch 是一個開源的機器學習框架,廣泛應用於電腦視覺和自然語言處理領域。", "PagedAttention 是 vLLM 的核心技術之一,它能有效管理 LLM 推理過程中的 key-value 快取,解決了記憶體浪費的問題。", "vLLM 專案的目標是讓大型語言模型的服務變得更快速、更容易,降低部署成本。" ], "top_n": 3 }'"{\n \"object\": \"list\",\n \"data\": [\n {\n \"object\": \"embedding\",\n \"embedding\": [\n 0.0023064255,\n -0.009327292,\n .... (1536 floats total for ada-002)\n -0.0028842222\n ],\n \"index\": 0\n }\n ],\n \"model\": \"text-embedding-ada-002\",\n \"usage\": {\n \"prompt_tokens\": 8,\n \"total_tokens\": 8\n }\n}"