- 言語モデルを効率的に使用するためのプロンプトの開発と最適化をおこなうこと
- LLMのパラメータ
- temperature, Top_p
- この値が低いほど確率の高い答えを出す
- この値が高いほどランダム性が増し、多様なアウトプットを出す
- Max Length
- Stop Sequences
- Frequency Penalty
- Presence Penalty
- プロンプトのコンポーネント
- 命令
- 文脈
- 入力データ
- 出力指示子
- プロンプトのタスクの例
- テキスト要約
- 情報抽出
- 質問応答
- テキスト分類
- 会話
- コード生成
- 推論
- プロンプトエンジニアリングのテクニック
- zero-shot prompting
- few-shot prompting
- Chain-of-Thought(CoT) prompting
- Zero-shot CoT Prompting
- Self-Consistency
- Prompt Chaining
- タスクをサブタスクに分割してプロンプトの連鎖を作る方法
- Tree of Thoughts(ToT)
- Retrieval Augmented Generation(RAG)
- Automatic Prompt Engineering(APE)
- Active-Prompt
- Directional Stimulus Prompting
- Program-Aided Language Models(PAL)
- プロンプトを設計するTips
- 簡単にはじめ、結果を良くするために要素や文脈を追加する
- 具体的で直接的な指示をする
- しないことよりもすることを言う
- プロンプトのリスク
- 敵対的prompting
- 方法
- プロンプトインジェクション
- プロンプトリーク
- ジェイルブレイク
- 防御策
- 指示に防御を追加する
- 引用符と追加の書式
- でっちあげた応答を生成する可能性がある
- バイアス
- few-shot prompting でサンプルの分布に偏りがあるとモデルにバイアスをかけることがある
- 参考リンク
- https://www.promptingguide.ai/jp