読んでおくべき！LLM 関連の論文を集めてみた

はじめに

備考

※この記事は AI によって書かれた内容をもとに作成したものになります。Hakky では自社の取り組みの一環として、記事作成に AI を導入しています。

AI 技術の進化に伴い、ビジネスシーンでの ChatGPT の活用が広がってきています。この記事では、大規模言語モデル（LLM）の一つである ChatGPT にて、LLM を活用するプロンプトエンジニアリングに関する論文を集めて紹介ます。

プロンプトエンジニアリングとは何かについてはこちらの記事でも解説していますので、併せてご覧ください。

• Hakky | プロンプトエンジニアリングとは【ビジネスパーソンが知るべき ChatGPT の活用術】

LLM の論文

プロンプトエンジニアリングの開発には目覚ましいものがあります。その論文を読むことで、技術開発の背景や、技術的な詳細、得られる結果について知ることができ、プロンプトエンジニアリングに非常に有用です。

この記事では、LLM に関する論文をリスト化して情報提供します。

概要

• Editing Large Language Models: Problems, Methods, and Opportunities （May 2023）
• Nature Language Reasoning, A Survey （May 2023）
• Is Prompt All You Need? No. A Comprehensive and Broader View of Instruction Learning (opens in a new tab) （Mar 2023）
• Larger language models do in-context learning differently (opens in a new tab) （Mar 2023）
• Fundamentals of Generative Large Language Models and Perspectives in Cyber-Defense （Mar 2023）
• Augmented Language Models: a Survey （Feb 2023）
• A Survey for In-context Learning （Dec 2022）
• Towards Reasoning in Large Language Models: A Survey （Dec 2022）
• Reasoning with Language Model Prompting: A Survey （Dec 2022）
• Large Language Models Are Human-Level Prompt Engineers (opens in a new tab) （Nov 2022）
• Emergent Abilities of Large Language Models （Jun 2022）
• A Taxonomy of Prompt Modifiers for Text-To-Image Generation （Apr 2022）
• Prompt Programming for Large Language Models: Beyond the Few-Shot Paradigm (opens in a new tab) （Feb 2021）

テクニック

• Enhancing In-Context Learning with Answer Feedback for Multi-Span Question Answering （Jun 2023）
• Multi-Task Training with In-Domain Language Models for Diagnostic Reasoning （Jun 2023）
• Bridging the Gap: A Survey on Integrating (Human) Feedback for Natural Language Generation （May 2023）
• Self-Refine: Iterative Refinement with Self-Feedback （Mar 2023）
• kNN Prompting: Beyond-Context Learning with Calibration-Free Nearest Neighbor Inference （Mar 2023）
• Visual-Language Prompt Tuning with Knowledge-guided Context Optimization （Mar 2023）
• Fairness-guided Few-shot Prompting for Large Language Models （Mar 2023）
• UPRISE: Universal Prompt Retrieval for Improving Zero-Shot Evaluation (opens in a new tab) （Mar 2023）
• Model-tuning Via Prompts Makes NLP Models Adversarially Robust (opens in a new tab) （Mar 2023）
• Structure Pretraining and Prompt Tuning for Knowledge Graph Transfer (opens in a new tab) （Mar 2023）
• CoTEVer: Chain of Thought Prompting Annotation Toolkit for Explanation Verification (opens in a new tab) （Mar 2023）
• Dynamic Prompting: A Unified Framework for Prompt Tuning (opens in a new tab) （Mar 2023）
• Multitask Prompt Tuning Enables Parameter-Efficient Transfer Learning (opens in a new tab) （Mar 2023）
• GraphPrompt: Unifying Pre-Training and Downstream Tasks for Graph Neural Networks (opens in a new tab) （Feb 2023）
• The Capacity for Moral Self-Correction in Large Language Models (opens in a new tab) （Feb 2023）
• SwitchPrompt: Learning Domain-Specific Gated Soft Prompts for Classification in Low-Resource Domains (opens in a new tab) （Feb 2023）
• Evaluating the Robustness of Discrete Prompts (opens in a new tab) （Feb 2023）
• Multimodal Chain-of-Thought Reasoning in Language Models (opens in a new tab) （Feb 2023）
• Large Language Models Can Be Easily Distracted by Irrelevant Context (opens in a new tab) （Feb 2023）
• Synthetic Prompting: Generating Chain-of-Thought Demonstrations for Large Language Models (opens in a new tab) （Feb 2023）
• Progressive Prompts: Continual Learning for Language Models (opens in a new tab) （Jan 2023）
• Batch Prompting: Efficient Inference with LLM APIs (opens in a new tab) （Jan 2023）
• Demonstrate-Search-Predict: Composing retrieval and language models for knowledge-intensive NLP (opens in a new tab) （Dec 2022）
• On Second Thought, Let's Not Think Step by Step! Bias and Toxicity in Zero-Shot Reasoning (opens in a new tab) （Dec 2022）
• Successive Prompting for Decomposing Complex Questions (opens in a new tab) （Dec 2022）
• Large Language Models are reasoners with Self-Verification (opens in a new tab) （Dec 2022）
• Discovering Language Model Behaviors with Model-Written Evaluations (opens in a new tab) （Dec 2022）
• Recitation-Augmented Language Models (opens in a new tab) （Oct 2022）
• ReAct: Synergizing Reasoning and Acting in Language Models (opens in a new tab) （Oct 2022）
• PPT: Pre-trained Prompt Tuning for Few-shot Learning (opens in a new tab) （Mqy 2022）
• Toxicity Detection with Generative Prompt-based Inference (opens in a new tab) （May 2022）

リスク

• On the Reliability of Watermarks for Large Language Models （Jun 2023）
• Beyond the Safeguards: Exploring the Security Risks of ChatGPT （May 2023）
• Context-faithful Prompting for Large Language Models (opens in a new tab) （Mar 2023）
• Constitutional AI: Harmlessness from AI Feedback (opens in a new tab) （Dec 2022）
• Prompting GPT-3 To Be Reliable (opens in a new tab) （Oct 2022）
• The Unreliability of Explanations in Few-shot Prompting for Textual Reasoning (opens in a new tab) （May 2022）
• PromptChainer: Chaining Large Language Model Prompts through Visual Programming (opens in a new tab) （Mar 2022）
• Self-Consistency Improves Chain of Thought Reasoning in Language Models (opens in a new tab) （Mar 2022）
• Training language models to follow instructions with human feedback (opens in a new tab)
• Rethinking the Role of Demonstrations: What Makes In-Context Learning Work? (opens in a new tab) （Feb 2022）
• Chain of Thought Prompting Elicits Reasoning in Large Language Models (opens in a new tab) （Jan 2022）

ガイド

• PromptBench: Towards Evaluating the Robustness of Large Language Models on Adversarial Prompts （Jun 2023）
• ChatGPT is fun, but it is not funny! Humor is still challenging Large Language Models （Jun 2023）
• A Short Survey of Viewing Large Language Models in Legal Aspect （Mar 2023）
• Unlocking the Potential of ChatGPT: A Comprehensive Exploration of its Applications, Advantages, Limitations, and Future Directions in Natural Language Processing （Mar 2023）
• In-Context Instruction Learning (opens in a new tab) （Feb 2023）
• Structured Prompting: Scaling In-Context Learning to 1,000 Examples (opens in a new tab) （Dec 2022）
• Ask Me Anything: A simple strategy for prompting language models (opens in a new tab) （Oct 2022）
• Promptagator: Few-shot Dense Retrieval From 8 Examples (opens in a new tab) （Sep 2022）
• Learning to Transfer Prompts for Text Generation (opens in a new tab) （May 2022）
• Reframing Instructional Prompts to GPTk's Language (opens in a new tab) （Sep 2021）
• Design Guidelines for Prompt Engineering Text-to-Image Generative Models (opens in a new tab) （Sep 2021）
• Pre-train, Prompt, and Predict: A Systematic Survey of Prompting Methods in Natural Language Processing （Jul 2021）
• Calibrate Before Use: Improving Few-Shot Performance of Language Models (opens in a new tab) （Feb 2021）

応用

• StudentEval: A Benchmark of Student-Written Prompts for Large Language Models of Code （Jun 2023）
• ModuleFormer: Learning Modular Large Language Models From Uncurated Data （Jun 2023）
• Advancing Medical Imaging with Language Models: A Journey from N-grams to ChatGPT （Apr 2023）
• Prompt Engineering for Healthcare: Methodologies and Applications （Apr 2023）
• PaLM 2 Technical Report (opens in a new tab) （May 2023）
• BloombergGPT: A Large Language Model for Finance (opens in a new tab) （Mar 2023）
• Medical Intervention Duration Estimation Using Language-enhanced Transformer Encoder with Medical Prompts (opens in a new tab) （Mar 2023）
• Soft-prompt tuning to predict lung cancer using primary care free-text Dutch medical notes (opens in a new tab) （Mar 2023）
• TaskMatrix.AI: Completing Tasks by Connecting Foundation Models with Millions of APIs (opens in a new tab) （Mar 2023）
• Larger Probes Tell a Different Story: Extending Psycholinguistic Datasets Via In-Context Learning (opens in a new tab) （Mar 2023）
• Linguistically Informed ChatGPT Prompts to Enhance Japanese-Chinese Machine Translation: A Case Study on Attributive Clauses (opens in a new tab) （Mar 2023）
• Knowledge-augmented Frame Semantic Parsing with Hybrid Prompt-tuning (opens in a new tab) （Mar 2023）
• Debiasing Scores and Prompts of 2D Diffusion for Robust Text-to-3D Generation (opens in a new tab) （Mar 2023）
• Zero-shot Model Diagnosis (opens in a new tab) （Mar 2023）
• Prompting Large Language Models to Generate Code-Mixed Texts: The Case of South East Asian Languages (opens in a new tab) （Mar 2023）
• SPeC: A Soft Prompt-Based Calibration on Mitigating Performance Variability in Clinical Notes Summarization (opens in a new tab) （Mar 2023）
• The Science of Detecting LLM-Generated Texts （Feb 2023）
• Mathematical Capabilities of ChatGPT （Jan 2023）

まとめ

今回の記事では、LLM に必須のプロンプトエンジニアリングの論文を紹介しました。このような論文を参考に最新技術を常にキャッチアップして、ビジネスチャンスの創出に役立ててください。

参考

• arXiv
• Prompt Engineering Guide（論文）
• Chain-of-ThoughtsPapers
• PromptPapers

備考

ChatGPT を業務で活用したい場合、機密情報を入力することがセキュリティの観点から NG だったり、自社のシステムに組み込まないと効率が悪かったりする場合があります。Hakky では、ChatGPT を用いた企業独自のシステムを構築するご支援を行っています。 ソリューションサイト：https://www.about.st-hakky.com/chatgpt-solution

「どんなことが出来るのか」「いま考えているこのようなことは本当に実現可能か」など、ご検討段階でも構いませんので、ぜひお気軽にフォームよりお問い合わせくださいませ。