Dev.to

DualRAG: A Dual-Process Approach to Integrate Reasoning and Retrieval for Multi-Hop Question Answering

選定理由と所感 Tianjin Universityの研究 paper: https://arxiv.org/abs/2504.18243 code: N/A Blog: https://zenn.dev/knowledgesense/arti./cles/10b2b5f772b810 概z要 【社会課題】 っっmっk・＿b¥r 【技術課題】 知識の動的変化への対応：推論の進行に伴う新たな情報ニーズに柔軟に対応できない。情報の組織化と活用：取得した情報のノイズや断片化により、推論の一貫性が損なわれる。 【提案】 DualRAGは、以下の2つのプロセスを密接に連携させることで、複雑な質問に対する高精度な回答を実現します： Reasoning-augmented Querying (RaQ)：推論の進行に応じて、動的に情報検索クエリを生成します。 progressive Knowledge Aggregation (pKA)：取得した情報を体系的に統合し、推論の一貫性を保ちます。 これにより、知識の強化と推論の洗練が相互に促進される好循環が生まれます。 【効果】 HotpotQAでEM 65.0・F1 78.3を達成し、従来手法より最大+2.7 EM、+3.7 F1向上。小型モデルでもF1が+5.4改善し、オラクル知識なしでも高精度を維持 DualRAG 3.2 Fine-Tuning for Compact Models ハイエンドなLLMは利用コストも高いため、ロウエンドモデルを Finetuneもしくは知識蒸留 して用いる。 実験

May 17, 2025 - 10:22
 0
DualRAG: A Dual-Process Approach to Integrate Reasoning and Retrieval for Multi-Hop Question Answering

選定理由と所感

Tianjin Universityの研究

paper: https://arxiv.org/abs/2504.18243
code: N/A
Blog: https://zenn.dev/knowledgesense/arti./cles/10b2b5f772b810

概z要

【社会課題】
っっmっk・＿b¥r

【技術課題】
知識の動的変化への対応：推論の進行に伴う新たな情報ニーズに柔軟に対応できない。情報の組織化と活用：取得した情報のノイズや断片化により、推論の一貫性が損なわれる。

【提案】
DualRAGは、以下の2つのプロセスを密接に連携させることで、複雑な質問に対する高精度な回答を実現します：
Reasoning-augmented Querying (RaQ)：推論の進行に応じて、動的に情報検索クエリを生成します。
progressive Knowledge Aggregation (pKA)：取得した情報を体系的に統合し、推論の一貫性を保ちます。
これにより、知識の強化と推論の洗練が相互に促進される好循環が生まれます。

【効果】
HotpotQAでEM 65.0・F1 78.3を達成し、従来手法より最大+2.7 EM、+3.7 F1向上。小型モデルでもF1が+5.4改善し、オラクル知識なしでも高精度を維持

DualRAG

fig2

3.2 Fine-Tuning for Compact Models

ハイエンドなLLMは利用コストも高いため、ロウエンドモデルを Finetuneもしくは知識蒸留 して用いる。

tb1

実験

Read More

Tags:

Previous Article

Understanding Postfix Mail Server Setup for Beginners

Next Article

Developers and the Cisco 300-715 SISE Certification: A Match You Didn’t Know You...

Related Posts

Readme

Readme

May 16, 2025  0

Web Scraping to SQL: How to Effectively Store and Analyze Your Scraped Data

Web Scraping to SQL: How to Effectively Store and Analy...

May 12, 2025  0

How to Change Code Snippet Selection in VS Code for C#?

How to Change Code Snippet Selection in VS Code for C#?

May 10, 2025  0