2022-03-01から1ヶ月間の記事一覧
実際に学習したモデルを使用して推論（デモ）した結果等については、順次追記していきます。 本ページでは、Multi-Modal BlenderBot を学習してみたい人に向けて、その概要を紹介します（スクリプトの詳細な説明などについてはドキュメント等を参照ください…
https://arxiv.org/abs/2110.06918 1. どんなもの？ TF-IDF のような疎ベクトル表現では、レア単語や高い顕現性を持つ単語のマッチングに対して効果的であり、ドメイン外への一般化も優れる。一方で、密なベクトル表現を用いたマッチング手法ではこれらに対…
https://arxiv.org/abs/2110.06393 1. どんなもの？ QA タスクで用いられる reader において生成型・抽出型の比較。 2. 先行研究と比べてどこがすごい？ システマチックな比較としては初の試み（アーキテクチャの違いやパラメータ数の違いから比較が困難であ…
https://arxiv.org/abs/2203.08372 1. どんなもの？ 文書を multi-view として表現する Dense Retrieval 手法を提案。SQuAD, NQ, TriviaQA における検索性能で SoTA を達成。 2. 先行研究と比べてどこがすごい？ 文書を一つのベクトルで表現する従来手法に対…
https://arxiv.org/abs/2203.07847 https://github.com/SAP-samples/acl2022-self-contrastive-decorrelation/ 1. どんなもの？ 自己教師の枠組みで文の類似表現を学習する Self-Contrastive Decorrelation (SCD) を提案。STS タスクにおいて、contrastive p…
https://arxiv.org/abs/2203.06169) 1. どんなもの？ 教師なし事前学習によるテキスト検索モデル LaPraDoR (Large-scale Pretrained Dense Zero-shot Retriever) の提案。BEIR ベンチマークにおいて SoTA を達成。 2. 先行研究と比べてどこがすごい？ Traini…
[arXiv][GitHub] 1. どんなもの？ DPR のような密なベクトル表現を用いた文書検索では、検索対象のベクトル表現をインデックスとして保持する必要があり、メモリ使用量が高くなってしまう。 本研究では、① 次元数削減 ② ベクトル量子化 ③ 文書フィルタリング…
#OpenQA #DCSR 1. どんなもの？ DPR など一般的なデュアルエンコーダでは、文書 CLS と質問 CLS によるマッチングを行うため、文書内に複数文が存在するような一対多の場合は、質問に対する適切な文書を取得することが難しい（各文の内容が異なる場合は Cont…
本ページでは、ParlAI の TeacherAgent について簡単に説明する。 実際に新たなタスクを定義する場合は、本ページの記述内容では十分でない場合があるのでドキュメントやソースコードを参照されたい。 公式ドキュメント Github また ParlAI に関連する記事に…
