LLM 崩潰與研究3:gemini
一般使用者並不會像我使用你這種 AI頁面進行連續提問，LLM也不可避免的在特定長度後會崩潰或幻覺，現在有無研究，AI通常在頁面內容達到多少後，就會開始崩潰 gemini答： 根據 2025 至 2026 年針對大語言模型（LLM）長文本與連續對話性能的研究，AI 在頁面內容達到特定長度時確實會發生「智能退化」（Intelligence Degradation）或「上下文腐爛」（Context Rot）。研究明確指出了幾個關鍵的崩潰臨界點： 1. 宣稱長度的 40% – 50%：斷崖式崩潰臨界點 2026 年的研究《長文本 LLM 的智能退化》指出，當連續對話的內容達到模型宣稱最大容量（例如常見的 128K tokens）的 40% 到 50% 時（約 5 萬至 6.4 萬 tokens），AI 的性能並非逐漸下滑，而是發生 災難性的斷崖式崩潰 。在此窄幅區間內，模型的任務正確率（F1 分數）會直接暴跌約 45.5%。這種現象被稱為「淺層長文本適應」（Shallow Long-Context Adaptation），意味著模型雖然名義上支援大容量，但內部的注意力機制在處理該長度後半段資訊時會直接失焦。 2. 主流模型的「50% 法則」 針對主流大模型（如 Llama 3.1、Qwen2 等）的評測顯示，它們的 實際有效上下文長度通常不超過訓練長度的 50% 。例如標榜 128K 的模型，在達到約 64K tokens 時就會開始失效。主要原因在於「左偏位置頻率分布」（Left-skewed position frequency distribution）——模型在訓練階段，後半段長度的位置編碼（Position Indices）嚴重訓練不足，導致推理時只要對話跨度過長，模型就無法有效整合遠端資訊。 3. 複雜對話任務中的「1,000 Tokens 衰退點」 如果連續對話涉及高度複雜的邏輯推理、多個干擾資訊（Distractors）或精確的多輪問答，模型的「最大有效上下文視窗（MECW）」會急遽縮小。研究指出，在混雜大量歷史對話的真實場景中，許多頂級模型在對話內容僅超過 1,000 個 tokens （約數百字）後，精準度就會因為上下文中的文字干擾而開始顯著下滑，並大幅提高幻覺率。 4. 空間分布上的崩潰點：「迷失中央（Lost in the Middle）」 崩潰與...