Ps:
- 這些技巧無法真正訓練模型,只是利用現有能力產生更好的輸出
- 模型的能力仍有極限,適當的提示和資訊有助於發揮潛力
1. 神奇咒語
提升大型語言模型能力的一些技巧(咒語)
Chain of Thought (COT) - 讓模型思考步驟 (Let’s think/work this out step by step),可提高解題准確率
情緒勒索 (告知模型某件事對你很重要),可提高正確率 - Principle Instruction Are All You Need
驗證各種神奇咒語的有效性,如對模型有禮貌無效、明確要求較佳、承諾獎勵或處罰有用等
使用增強式學習訓練另一個語言模型來找出神奇咒語
- 例如:找出讓模型回答越長越好的咒語 (如「喂喂喂喂喂」對GPT-3有效)
2. 提供更多資訊
補充前提資訊,讓模型更精確回答
- 例如:告知你是台灣人,NTU才會被認為是台灣大學
提供相關資料或範例,讓模型學習新知識(In-Context Learning)
提供範例可讓模型明白要做什麼,但早期研究認為模型未真正讀懂範例
近期研究發現大型模型(如PALM)確實能夠讀懂錯誤範例並做出正確回應
例如:提供語言教科書,讓模型能翻譯罕見語言(Gemini 1.5 语言翻译案例)
3. 拆解复杂问题
將大型任務拆解為較小、簡單的子任務
例如:撰寫長篇報告時,先列大綱、逐章節撰寫
模型較易完成每個子任務,從而解決整體問題
4. 自我检查
在任務結尾加入自我檢查步驟(检查是否有错相比于回答正确更加简单)
讓模型檢查自己的輸出是否正確
利用模型的自我反省能力修正錯誤
5. Self-Consistency
對同一問題生成多個答案,取最常見者作為正確答案
6. 使用外部工具
透過呼叫搜尋引擎獲取額外資訊 (Retrieval Augmented Generation, RAG)
- 使用搜尋結果作為輸入,模型較易產生正確答案
寫程式並執行程式
- 例如解聯立方程式,寫程式呼叫solver比直接文字接龍更準確 (Program of Thought)
呼叫文字生成圖像AI (DALL-E)
- 將模型的文字描述轉換為對應圖像
使用GPT Plugin呼叫其他外部工具
- Plugin收集上千種工具,模型可選擇適合的工具使用
操作流程:模型以特殊符號標記呼叫工具的開始與結束,中間輸出指令操控工具
7. 模型相互讨论(Agent)
- 让模型彼此讨论,可以提高模型输出结果的准确性。
- 多模型的讨论方式(Memory,Report,Relay,Debate)
- Memory:多个模型共用一份记忆状态
- Report:向上级汇报
- Relay:流水线
- Debate:多个模型互相质疑,一个裁判来Judge