https://2022.naacl.org/program/accepted_papers/ Entity NER Wu+'22 - Robust Self-Augmentation for Named Entity Recognition with Meta Reweighting (NAACL) [arXiv] Fetahu+'22 - Dynamic Gazetteer Integration in Multilingual Models for Cross-Lin…

本ページの目的 Active Learning (Pool-based Sampling) 参考 SMALL-TEXT クイックスタート PoolBasedActiveLearner [doc] [code] データの初期選択 / Initialization Strategy [doc] [code] e.g. random_initialization 注釈対象データの選択 / Query Strat…

https://arxiv.org/abs/2012.14610 https://github.com/facebookresearch/UniK-QA 1. どんなもの？ オープンドメイン質問応答において、様々な知識ソース（テキスト、表、リスト、KB）を扱うための統合手法を提案。 KBQA タスクで大幅な性能改善、NQ・WebQue…

https://www.2022.aclweb.org/papers ※ 分類漏れがある可能性があります。 Entity NER Wang+'22 - MINER: Improving Out-of-Vocabulary Named Entity Recognition from an Information Theoretic Perspective (ACL) [arXiv] Ma+'22 - Decomposed Meta-Learni…

実際に学習したモデルを使用して推論（デモ）した結果等については、順次追記していきます。 本ページでは、Multi-Modal BlenderBot を学習してみたい人に向けて、その概要を紹介します（スクリプトの詳細な説明などについてはドキュメント等を参照ください…

https://arxiv.org/abs/2110.06918 1. どんなもの？ TF-IDF のような疎ベクトル表現では、レア単語や高い顕現性を持つ単語のマッチングに対して効果的であり、ドメイン外への一般化も優れる。一方で、密なベクトル表現を用いたマッチング手法ではこれらに対…

https://arxiv.org/abs/2110.06393 1. どんなもの？ QA タスクで用いられる reader において生成型・抽出型の比較。 2. 先行研究と比べてどこがすごい？ システマチックな比較としては初の試み（アーキテクチャの違いやパラメータ数の違いから比較が困難であ…

https://arxiv.org/abs/2203.08372 1. どんなもの？ 文書を multi-view として表現する Dense Retrieval 手法を提案。SQuAD, NQ, TriviaQA における検索性能で SoTA を達成。 2. 先行研究と比べてどこがすごい？ 文書を一つのベクトルで表現する従来手法に対…

https://arxiv.org/abs/2203.07847 https://github.com/SAP-samples/acl2022-self-contrastive-decorrelation/ 1. どんなもの？ 自己教師の枠組みで文の類似表現を学習する Self-Contrastive Decorrelation (SCD) を提案。STS タスクにおいて、contrastive p…

https://arxiv.org/abs/2203.06169) 1. どんなもの？ 教師なし事前学習によるテキスト検索モデル LaPraDoR (Large-scale Pretrained Dense Zero-shot Retriever) の提案。BEIR ベンチマークにおいて SoTA を達成。 2. 先行研究と比べてどこがすごい？ Traini…

[arXiv][GitHub] 1. どんなもの？ DPR のような密なベクトル表現を用いた文書検索では、検索対象のベクトル表現をインデックスとして保持する必要があり、メモリ使用量が高くなってしまう。 本研究では、① 次元数削減 ② ベクトル量子化 ③ 文書フィルタリング…

#OpenQA #DCSR 1. どんなもの？ DPR など一般的なデュアルエンコーダでは、文書 CLS と質問 CLS によるマッチングを行うため、文書内に複数文が存在するような一対多の場合は、質問に対する適切な文書を取得することが難しい（各文の内容が異なる場合は Cont…

本ページでは、ParlAI の TeacherAgent について簡単に説明する。 実際に新たなタスクを定義する場合は、本ページの記述内容では十分でない場合があるのでドキュメントやソースコードを参照されたい。 公式ドキュメント Github また ParlAI に関連する記事に…

Dense Passage Retrieval (DPR) Karpukhin+'20 - Dense Passage Retrieval for Open-Domain Question Answering (EMNLP) [ACL Anthology][arXiv][GitHub][huggingface] https://github.com/facebookresearch/dpr-scale https://github.com/cl-tohoku/AIO2_DP…

#DSRs #解説 Densify Sparse Representations Sheng-Chieh Lin, Jimmy Lin - Densifying Sparse Representations for Passage Retrieval by Representational Slicing (2020) [arXiv] Learned sparse and dense representations capture different successfu…

本ページでは、ParlAI の dictionary について簡単に説明する。 実際に新たなタスクを定義する場合は、本ページの記述内容では不十分であるためドキュメントやソースコードを参照されたい。 公式ドキュメント Github また ParlAI に関連する記事については以…

本ページでは、（自分を含む）ParlAI について日が浅い人向けに、タスクを新たに定義する場合の方針について簡単にまとめる。 実際に新たなタスクを定義する場合は、本ページの記述内容では不十分であるためドキュメントやソースコードを参照されたい。 公式…