| 6月8日消息，蘋果近日發表了一篇研究論文，稱推理模型全都沒真正思考，無論DeepSeek、o3-mini還是Claude 3.7都只是另一種形式的“模式匹配”，所謂思考只是一種假象。
有人總結到：蘋果剛剛當了一回馬庫斯，否定了所有大模型的推理能力。
蘋果團隊認為，現有評估主要集中在既定的數學和編碼基準上，看模型最終答案是否正確，但可能存在模型訓練時見過類似題目。
并且，這些評估大都缺乏對“思考過程質量”的分析，比如中間步驟是否邏輯一致、是否繞彎路等。
為了更客觀測試推理模型的推理能力，他們設計了4類謎題環境：漢諾塔、跳棋交換、過河問題、積木世界，并且這4類謎題的難度可以精確控制.
隨著問題變難，推理模型初始會延長思考，但隨后思考深度反而下降，盡管仍有充足token預算，它們卻在最需要深入思考時選擇了放棄!
并且，當問題復雜度繼續增加并超過某個臨界點時，無論是推理模型還是標準模型都會經歷完全的性能崩潰，準確率直線下降至零。
對此，有網友諷刺到：“蘋果擁有最多的資金，2年了也沒有拿出像樣的成果，現在自己落后了，卻來否定別人的成果。”
據悉，Apple Intelligence在2024年WWDC正式亮相，在這一年里，蘋果宣傳中的許多功能都經歷延期、不夠完善甚至被下架。
不過也有人指出，這篇論文沒有看上去那么消極，而是呼吁設立更好的推理機制和評估辦法。
|
