How Agents Decide: Goodfire's Eric Bigelow on Critical Tokens, Phase Shifts, & In-Context Learning

Description and use

<p> <iframe src="https://www.youtube.com/embed/LgX0QF2D9y0?start=1" width="710" height="399"> </iframe> <br> <a href="https://www.youtube.com/watch?v=LgX0QF2D9y0&amp;t=1s" rel="noopener noreferrer">https://www.youtube.com/watch?v=LgX0QF2D9y0&t=1s</a></p> <h1> 大模型如何做决策｜Goodfire Eric Bigelow访谈：关键Token、相变、上下文学习与可解释性危机 </h1> <h2> 一、通俗易懂整体解读（打比方理解） </h2> <p>这是一期播客访谈，嘉宾是Goodfire的Eric（哈佛心理学博士，研究大模型可解释性），核心探讨<strong>大模型AI是怎么做出最终回答、做出选择的</strong>，可以用生活化比方理解核心概念：</p> <ol> <li> <strong>关键分叉Token（临界Token）</strong>：好比写故事，写到某一个词的时候，如果这个词换一个，后面整个故事结局就彻底跑偏。不一定是重要实词，甚至一个括号符号，都能成为这个“命运转折点”。Eric做实验：推理的每一步都重新

Problem

<p> <iframe src="https://www.youtube.com/embed/LgX0QF2D9y0?start=1" width="710" height="399"> </iframe> <br> <a href="https://www.youtube.com/watch?v=LgX0QF2D9y0&amp;t=1s" rel="noopener noreferrer">https://www.youtube.com/watch?v=LgX0QF2D9y0&t=1s</a></p> <h1> 大模型如何做决策｜Goodfire Eric Bigelow访谈：关键Token、相变、上下文学习与可解释性危机 </h1> <h2> 一、通俗易懂整体解读（打比方理解） </h2> <p>这是一期播客访谈，嘉宾是Goodfire的Eric（哈佛心理学博士，研究大模型可解释性），核心探讨<strong>大模型AI是怎么做出最终回答、做出选择的</strong>，可以用生活化比方理解核心概念：</p> <ol> <li> <strong>关键分叉Token（临界Token）</strong>：好比写故事，写到某一个词的时候，如果这个词换一个，后面整个故事结局就彻底跑偏。不一定是重要实词，甚至一个括号符号，都能成为这个“命运转折点”。Eric做实验：推理的每一步都重新

Outcome

<p> <iframe src="https://www.youtube.com/embed/LgX0QF2D9y0?start=1" width="710" height="399"> </iframe> <br> <a href="https://www.youtube.com/watch?v=LgX0QF2D9y0&amp;t=1s" rel="noopener noreferrer">https://www.youtube.com/watch?v=LgX0QF2D9y0&t=1s</a></p> <h1> 大模型如何做决策｜Goodfire Eric Bigelow访谈：关键Token、相变、上下文学习与可解释性危机 </h1> <h2> 一、通俗易懂整体解读（打比方理解） </h2> <p>这是一期播客访谈，嘉宾是Goodfire的Eric（哈佛心理学博士，研究大模型可解释性），核心探讨<strong>大模型AI是怎么做出最终回答、做出选择的</strong>，可以用生活化比方理解核心概念：</p> <ol> <li> <strong>关键分叉Token（临界Token）</strong>：好比写故事，写到某一个词的时候，如果这个词换一个，后面整个故事结局就彻底跑偏。不一定是重要实词，甚至一个括号符号，都能成为这个“命运转折点”。Eric做实验：推理的每一步都重新

Evidence

How Agents Decide: Goodfire's Eric Bigelow on Critical Tokens, Phase Shifts, & In-Context Learning

Source