Retell 運用 OpenAI 模型支援每月 1 億次通話

Retell AI⁠（在新視窗中開啟） 是專為客戶聯絡中心營運而設的語音 AI 平台，協助企業建立智能代理，回答問題、採取行動，並在有需要時將來電者轉接至真人客服。其平台現時為超過 4,000 家企業提供服務，每月通話量由 2026 年初的 3,000 萬次，增至同年 9 月的逾 1 億次。

隨着 Retell 為更多工作流程複雜的企業提供服務，它運用 OpenAI 模型維持高通話質素及可靠性。如今，Retell 平台上 80% 的通話由 OpenAI 模型產生回應，客戶的問題解決率超過 80%。Retell 在各款 OpenAI 模型上的累計 token 用量亦已突破 1 萬億，反映其應用規模。

Retell 的工程師在整個開發過程中使用 Codex，從研究不熟悉的程式碼，到開發功能及除錯，並使用 GPT‑6 Astra 測試前端介面。

企業語音智能代理即使面對不斷變化的對話，也必須遵守公司政策，並在獲指派的職責範圍內行事。Retell 建立了 vCX 基準測試，以取自實際運作場景的高難度多輪對話，比較數十款模型。

測試評估模型遵循指示、根據所獲資訊作答、呼叫正確工具，以及使用自然對話語言的表現。在 Retell 於 2026 年 10 月 13 日進行的基準測試中，GPT‑6 Astra 以 89.7% 的指示遵循率排名第一。

Retell 亦分享了在 GPT‑6 Astra 模型推出前進行的評估。結果顯示，啟用推理時，GPT‑5.5 的無幻覺率 (88.0%) 和工具呼叫正確率 (88.3%) 均在各模型中排名第一，兩項指標都優於 Gemini‑3.1‑Pro 和 Claude‑4.6。關閉推理時，其無幻覺率同樣領先。

Retell 表示，選用 OpenAI 模型的新客戶都會持續使用。客戶亦可透過 Realtime API 使用 OpenAI Realtime 模型，並以 OpenAI 文字轉語音功能作為語音引擎。Retell 會在 OpenAI 新模型推出當日提供支援，並隨着模型改進重新執行基準測試。

客戶聯絡中心團隊使用 Retell，為智能代理設定業務背景、目標和規則。開發人員可以進一步設定工作流程和系統整合。

通話期間，Retell 的任務執行框架會執行音訊模型、追蹤對話，並管理智能代理何時說話、聆聽或回應插話。GPT‑6.1 Sol、GPT‑6 Astra 和 GPT‑5.5 等 OpenAI 模型會根據客戶的指示和對話脈絡產生回應，並提出工具呼叫請求。Retell 透過與客戶系統整合來執行這些呼叫，並可將處理結果寫入客戶記錄。

當需要人手判斷時，語音智能代理會向客服人員交代背景、回答其跟進問題，並在確認對方準備就緒後，才為客戶轉接。通話結束後，Retell 會使用 GPT‑5.6 Terra 分析逐字稿，擷取處理結果和其他資料。

Retell 表示，採用這種方式後，客戶問題解決率超過 80%。電子產品公司 Anker 使用智能代理處理美國和英國的第一線售後支援，包括訂單追蹤、保養資格查詢及疑難排解。Anker 表示，個案解決率達 80.4%，淨推薦值 (NPS) 為 63。其團隊亦指出，智能代理的語氣、節奏和親切感均達到他們對真人客服的要求。

在 Pine Park Health，Retell 智能代理負責預約提醒及主動安排預約，並將結果記錄在病人的病歷中。團隊節省了相當於 2.1 個全職職位的醫療助理工時，並將這些時間轉用於照顧病人。其預約智能代理在成功聯絡病人後，預約成功率達 55.7%。

Retell 平台的日間流量可達夜間最低流量的 50 多倍。為了在需求高峰期仍能保持通話回應迅速，Retell 使用 OpenAI 提供的專用伺服器，由旗下客戶共用。在 Retell 於 2026 年 10 月 13 日進行的基準測試中，GPT‑6 Astra 和 GPT‑6 Sol 的首句回應延遲中位數均為 883 毫秒，而 GPT‑5.6 Luna 則以 497 毫秒名列第一。

OpenAI 的區域 API 端點讓開發人員將流量路由至指定地區，有助 Retell 縮短網絡傳輸時間，並滿足醫療及金融服務等行業客戶的資料駐留要求。

Retell 亦在服務的每一層設有備援機制。Retell 自行營運電話通訊技術堆疊，另設第二套隨時接手，並為語音及模型服務提供備援，以便在服務故障時維持通話。

隨着 Retell 的企業業務增長，客製化工作流程及系統整合的需求亦隨之增加，工程師經常需要處理程式碼庫中不熟悉的部分。編寫程式碼前，他們會先向 Codex 提出概括的需求。Codex 會檢視程式碼，對照實際資料加以核查，並說明需要修改之處。一位工程師表示，Codex 做這類研究比他做得更好，也快得多。

工程師表示，在實作過程中，Codex 經常能發現他們未曾考慮的細節。除錯時，Codex 會將日誌和資料庫記錄與程式碼交叉比對，以查明問題所在。Retell 的工程師在協助客戶以 OpenAI 模型開發應用程式時，也會使用 Codex 加快各項工作，例如編寫指示，引導模型在客戶的應用程式中如何回應。

Retell 依靠 GPT‑6 Astra 的電腦操作能力，測試網頁介面的變更。工程師建立前端 pull request 後，GPT‑6 Astra 會開啟介面、逐一點擊操作、測試流程、嘗試找出會令流程出錯的情況，並回報發現的問題。Retell 表示，較早期的模型無法可靠地完成這項工作。

Retell 持續招聘，但工程團隊已無需以與業務相同的步伐擴張。Retell 表示，每名員工的年化營收達 160 萬美元。

每家企業都清楚自己希望如何服務客戶。Retell 的目標是透過先進的語音 AI，以及可供建立、測試和改進自家智能代理的平台，讓最熟悉這項工作的人直接運用其專業知識。接下來，Retell 計劃擴展品質保證和模擬測試功能、支援更多語言，並開發知識庫自動學習功能。

隨着 OpenAI 模型持續進步，Retell 期望客戶能以自己的方式，為數以百萬計的來電者提供世界級服務。

「沒有人比企業本身更了解它的客戶。我們讓企業能夠運用這些專業知識，直接改進 AI 智能代理。目標是讓企業建立自己的工程團隊，由內部工程師全權負責及營運整套系統。」Bing 說。