近日，武漢多輛“蘿卜快跑”無人駕駛出租車在道路上停駛，引發部分路段交通擁堵。這一事件揭示了自動駕駛技術規模化落地過程中需要面對和解決的風險問題。

與當前市售的智能駕駛輔助系統不同，無人駕駛出租車主要依賴“云端大腦”進行集中控制，以實現規模化運營。然而，一旦云端系統發生故障，所有受其控制的車輛可能給道路安全帶來相應的隱患。

AI系統已不再是單純的工具，而是逐步演變為在物理世界或認知空間中自主行動的“代理”。當代理出錯，就可能在真實道路上產生安全問題，或在信息流中輸出不可控的結果。此次事故提醒我們，AI不是被動工具，而是環境中的“總代理”，負責行駛過程中的各類信息處理與執行。傳統軟件出錯，通常只是信息流動的中斷；而AI代理出錯，則會在真實的物理與社會空間中產生實質性后果。因此，對其安全冗余的要求必須遠高于傳統系統。

從發展AI的目的來看，無人駕駛出租車意在替代人力、提升經濟效率。為確保AI不出錯，在當前階段仍然需要投入一定規模的人力進行監控、標注、干預與客服；而一旦出現系統錯誤，也需要大量人員參與現場的物理處置。

因此，在自動駕駛從測試邁向商用的進程中，應重視安全建設與公共責任，踐行“有克制的技術進取與場景應用”。應建立類似金融系統的多模型、多云備份與自動熔斷機制，確保在主模型出現故障時，備用模型或規則引擎能夠無縫接管，保證服務的連續性。或者，每輛無人駕駛汽車都應具備獨立的、本地化的“安全模式”，使其能夠在異常情況下自動駛入安全區域停靠。

監管部門也應對涉及公共安全的AI系統（如自動駕駛、醫療診斷、金融風控等）實施強制性的紅隊測試與極限場景認證，模擬云端失聯、傳感器遮擋、極端天氣等條件下的系統處置能力，只有通過測試方可投入運營。此外，對于類似的事故，誰來承擔事故責任？乘客的權益如何保障？這些法律問題應盡快明確，立法的必要性已刻不容緩。

“十五五”規劃綱要提出，完善人工智能領域法律法規、政策制度、應用規范、倫理準則，健全算法備案、透明度管理、安全評估等制度，探索建立人工智能生成物權利歸屬和開發者經營者使用者權責認定規則。此外，中央還提出推動建立人工智能全生命周期風險管理制度，健全覆蓋安全監測、風險預警、應急響應的風險防控體系。

此次偶發故障是AI產業從實驗室走向真實社會場景過程中的一次陣痛，也是技術進步的必經試錯。但它同樣提醒我們：在將大量資源投入AI技術和算力的同時，必須同等重視系統的魯棒性（系統在異常、干擾或不確定條件下仍能正常運行的能力）與確定性。技術可以快跑，但安全的護欄必須同步跟進。

AI的真正成熟，不在于它在理想條件下跑得多快、答得多妙，而在于它犯錯時——因為它終將犯錯——能夠最大限度減少代價，并讓人類能夠及時、安全地接過控制權。人工智能賦能千行百業的時代正在到來，應以更大力度統籌兼顧促進發展和規范管理，加強人工智能治理，營造有益、安全的發展環境。