検索システム設計

総合・百科・序論 — 検索システム設計 概要

総合・百科・序論分野の検索システム設計領域の概要と入門ガイド

ブール検索

ジョージ・ブールの1854年論理代数を基に、AND・OR・NOTで検索条件を組み立てる方法を学ぶ

座標索引法

カルビン・ムーアズが1950年頃に開発したZatocodingから、複数語の組み合わせで文献を探す

転置インデックス

IBMの1950年代全文検索研究を起点に、語から出現文書一覧へ逆引きする索引構造を学ぶ

TF-IDF

カレン・スパーク・ジョーンズの1972年研究から、文書内頻度と希少性で語の重みを決める

ベクトル空間モデル

ジェラルド・サルトンの1975年モデルから、文書と質問を語の重みベクトルとして表す方法を学ぶ

コサイン類似度

SMART情報検索システムを例に、質問と文書ベクトルの角度で内容の近さを測る仕組みを読む

適合率と再現率

シリル・クレヴァードンの1960年代Cranfield実験から、検索結果の正確さと網羅性を測る

Porterステミング

マーティン・ポーターの1980年アルゴリズムから、英単語の語尾を除いて検索語を統合する

ストップワード除去

H・P・ルーンの1958年自動索引研究から、theなど高頻度語を検索索引より除く方法を学ぶ

Rocchio質問拡張

J・J・ロッキオの1971年手法から、適合文書と非適合文書を用いて質問ベクトルを修正する

適合性フィードバック

SMARTシステムの利用者評価を例に、関連ありと判断した結果から次の検索順位を改善する

BM25ランキング

スティーヴン・ロバートソンらの1994年BM25から、語頻度と文書長で検索順位を決める方法を学ぶ

PageRank

ラリー・ペイジとセルゲイ・ブリンの1998年論文から、リンク元の評価を順位へ反映する仕組みを読む

HITSアルゴリズム

ジョン・クラインバーグの1999年手法から、ハブと権威ページを相互評価する方法を学ぶ

ウェブクローリング

マシュー・グレイが1993年に作ったWorld Wide Web Wandererから、リンクを巡回してページを収集する

robots.txt

マーティン・コスターが1994年に提案したRobots Exclusion Protocolから、収集拒否を伝える方法を学ぶ

フレーズ検索

AltaVistaが1995年に提供した引用符検索を例に、複数語が連続する文書だけを探す仕組みを読む

ファセット検索

バークレー大学の2006年Flamencoから、主題・年代・形式を選びながら結果を絞る方法を学ぶ

検索語オートコンプリート

Googleが2004年に試験公開したSuggestから、入力途中の文字列より候補語を提示する仕組みを読む

綴り訂正

ウラジーミル・レーベンシュタインの1965年距離から、挿入・削除・置換回数で誤字を直す

横断検索Z39.50

米国規格協会が1988年に標準化したZ39.50から、異なる図書館目録を一括検索する方法を学ぶ

OAI-PMHメタデータ収集

Open Archives Initiativeが2001年に公開した規約から、複数リポジトリの書誌を集約する

セマンティック検索

Googleが2012年に導入したKnowledge Graphから、文字列でなく人物や場所の実体を検索する

SPARQL検索

W3Cが2008年に勧告したSPARQLから、RDF三つ組の関係パターンを指定して知識を取り出す

Learning to Rank

Microsoft Researchの2005年RankNetから、クリックや評価例を用いて検索順位を学習する方法を読む

密ベクトル検索DPR

Facebook AIの2020年DPR論文から、質問と文書を意味ベクトル化して近い文章を探す

近似最近傍探索

Metaが2017年に公開したFAISSから、大規模ベクトル群より近い項目を高速検索する方法を学ぶ

検索拡張生成

パトリック・ルイスらの2020年RAGから、検索文書を根拠として回答文を生成する仕組みを読む

検索の個人化とフィルターバブル

イーライ・パリサーの2011年著作から、閲覧履歴による順位最適化が情報範囲を狭める問題を考える

TREC評価基盤

米国NISTが1992年に始めたTRECから、共通文書・質問・正解集合で検索方式を比較する