设计与架构

理解 Agentic AI 平台的架构，识别技术挑战，然后通过 AWS Native 托管方案和 EKS 开放架构逐步解决。先了解平台是什么，再理解为什么难，最后比较如何构建的两种方案。在推理网关层面，涵盖 2-Tier 架构和智能 Cascade Routing 策略。

🏗️

平台架构

Agentic AI Platform 的 6 大核心层（Client、Gateway、Agent、Model Serving、Data、Observability）与设计原则。提供独立于具体实现的平台蓝图。

⚡

技术挑战

GPU 资源管理、推理路由、LLMOps 可观测性、Agent 编排、模型供应链——分析构建平台时面临的 5 大核心挑战。

☁️

AWS Native 平台

利用 Amazon Bedrock、Strands Agents SDK、AgentCore，无需 GPU 管理即可专注 Agent 开发的托管服务方案。快速启动的最佳选择。

🔧

EKS 开放架构

Amazon EKS Auto Mode + 开源生态实现 Open Weight 模型自托管、混合架构、精细化 GPU 成本优化。

🔀

推理网关与 Cascade Routing

kgateway + Bifrost/LiteLLM 2-Tier 架构、基于复杂度的 Cascade Routing（LiteLLM 原生、Bifrost CEL Rules、vLLM Semantic Router）、Hybrid Routing 模式、agentgateway MCP/A2A。

推荐学习顺序

按照平台架构（是什么）→技术挑战（为什么）→ AWS Native 或 EKS 开放架构（如何实现）→推理网关（流量路由）的顺序阅读，可以最有效地理解全貌。