NotebookLMにYouTubeのリスト（個別の動画のURL）をソースとして追加し、個別の動画に関して、5行程度のまとめ、10個程度のトピックに関するキーワードを付与してもらった。 Haystack US 2026カンファレンスの各セッションについて、ソース資料に基づいた解説を作成しました。
- 内容解説: AIガバナンスを「単なるデータの抽出」ではなく「価値観に基づく体験」として再定義するセッションです。 Empathy Holdingsの事例を通じ、プライバシー、倫理、データ主権を守るための自社運用のAIインフラ構築（太陽光発電サーバーなど）を紹介します。 ユーザーを単なる消費者ではなく「創造者」として扱い、AIとの対話を「人格化しない（de-anthropomorphized）」設計にする重要性を説いています。 コスト面でもクラウド依存から脱却し、50%以上のコスト削減を達成した実務的な知見が共有されます。 検索体験において、いかに組織の誠実さを技術に反映させるかを議論しています。,
- キーワード: 検索ガバナンス, AI倫理, データ主権, 自社インフラ, プライバシー保護, 太陽光発電, コスト削減, ユーザー自律性, インタラクション設計, Empathy Platform
- 内容解説: 現代の検索システムが「ランキング」に偏りすぎており、「クエリ理解」という重要な段階が欠落していると指摘します。 セマンティック・ナレッジグラフを活用し、単語間の統計的な共起関係からユーザーの意図を動的に解釈する手法を解説します。 「Wormhole Vectors」という概念を導入し、語彙表現（Lexical）とベクトル表現の間を自在に往来する次世代のリトリーバルを提唱します。 クエリ理解を深めることで、キーワードの単純一致を超えた堅牢で文脈に沿った検索結果を実現できることを実証しています。 エンジニアがLLMに依存しすぎず、インデックス自体から知識を抽出する「疑似適合性フィードバック」の価値を強調します。,
- キーワード: 検索クエリ理解, セマンティック・ナレッジグラフ, 意図モデリング, リトリーバル, 疑似適合性フィードバック, 語彙拡張, エンティティ抽出, ベクトル検索, 情報検索, 次世代検索
- 内容解説: GitHubの大規模な検索基盤において、セマンティック検索をゼロから本番環境へ導入した際の紆余曲折を共有します。 「BBQ（Better Binary Quantization）」という量子化技術を用い、メモリコストを劇的に抑えつつ検索精度を維持した実装詳細が語られます。 インデックスのセグメントマージが遅延するなどの深刻な本番課題に対し、シャードサイズの調整や更新間隔の最適化で解決した泥臭い教訓が満載です。 「単純にベクトルのスイッチをオンにすれば良い」という誤解を解き、GitHub規模での運用における現実的な制約と数学的な背景を詳述します。 ハイブリッド検索を、キーワード検索をコアとしつつベクトル検索をブーストとして利用する戦略として確立しています。,
- キーワード: GitHub検索, セマンティック検索, BBQ（バイナリ量子化）, ベクトル検索, 検索インフラ, HNSW, インデックス最適化, メモリ節約, ハイブリッド検索, Lucene
- 内容解説: ドキュメント解析の標準ツール「Apache Tika」の最新メジャーアップデートである4.xのロードマップと新機能を紹介します。 RAGやエージェント型検索のために、PDFなどの複雑なファイルから構造（タイトル、段落、表など）を維持したままテキストを抽出する機能を強化しています。 「Tika Pipes」によるスケーラブルで安全な解析プロセスの分離（フォークプロセス）により、メモリクラッシュを防ぐ手法を解説します。 VLM（Vision Language Models）をOCRエンジンとして統合し、画像内の高度な情報をテキスト化する「ニューラル増強」について詳述します。 LLMが解釈しやすいMarkdown形式での出力を標準サポートし、データの取り込み段階から検索精度を高めるアプローチです。,
- キーワード: コンテンツ抽出, Apache Tika, RAG（検索拡張生成）, エージェント型検索, ドキュメント解析, OCR, VLM（画像言語モデル）, 構造化データ, Markdown, インジェスチョン
- 内容解説: B2B検索が、一般的なB2C検索とは異なる技術的・構造的な課題（SKU、複雑なスペック、専門用語など）を抱えていることを分析します。 「クエリ理解、リトリーバル、ランキング、カタログデータ、ユーザー体験」の5つのレイヤーで適合性が損なわれるポイントを特定します。 例えば、IP68（防水規格）の製品がIP67のクエリでヒットしないといった「階層的な意味関係（Hypernyms）」の処理不足などの具体例を挙げます。 LLMを活用して非構造的な商品説明からスペックを抽出し、データそのものを「検索可能」な状態に磨き上げる重要性を説いています。 ビジネスの成果に直結する、実務者が月曜日の朝から実行できるチェックリストを提供します。,
- キーワード: B2B検索適合性, ユーザー意図, テクニカルデータ, 属性抽出, 専門用語辞書, SKU検索, 検索レイヤー, データ正規化, ハイブリッドリトリーバル, 適合性エンジニアリング
- 内容解説: AIエージェントが検索ランキングのコードを自ら生成し、精度（NDCG）を最大化する「AutoReSEARCH」という革新的なコンセプトを提案します。 エンジニアが手動でランキングを調整する代わりに、エージェントが評価用データ（判断リスト）を元に試行錯誤し、最適なコードを作成します。 エージェントが「カンニング（特定のクエリにのみ最適化する過学習）」をしないよう、検証セットやコードサイズ制限といったガードレールを設ける重要性を説きます。 単純なキーワード一致を超え、RRF（Reciprocal Rank Fusion）やベクトル検索を組み合わせた「最も無難で効果的な」解をAIが見つけ出すプロセスを示します。 将来的に、すべての検索クエリに対して動的に最適なランキングコードが生成される未来を展望しています。,
- キーワード: ランキング自動最適化, AutoReSEARCH, AIエージェント, 検索精度向上, NDCG, コード生成, ハイブリッド検索, RRF, 機械学習, 実験自動化
- 内容解説: 検索コミュニティのメンバーによる、短時間で多様な技術アイデアを共有するライトニングトークのまとめです。 GPUを用いた高速なベクトルインデックス構築、エージェントのための新プロトコル「YASP」、ユーザーの視線（Gaze）追跡による検索行動分析などが語られます。 「CalDB」のようなエージェントワークロードに特化した、ステートレスで安価な検索インフラの提案も注目されます。 現場で発生した大規模な障害（Wikipediaでの事例など）からの教訓や、LLMを使ったクエリ理解の最初の試行錯誤など、生の知見が凝縮されています。 検索技術の未来を担う多様なコンポーネントをクイックに俯瞰できるセッションです。 ソース資料に基づくと、「Haystack US 2026 – Lightning Talks」の動画内では、実際には9つのプレゼンテーションが行われています（司会者は「8つか9つ」と紹介しています）。
- キーワード: 検索技術トレンド, GPUインデックス, AIプロトコル, 視線追跡, 障害事例, CalDB, オープンソース, ライトニングトーク, エージェントインフラ, 検索ハック
- Dave Mackey：「エージェント型AIからより良いコードを得る方法」
- AIエージェントにコードを書かせる際のテストの重要性や、プロンプトの工夫、メモリ管理について。
- Suman：「CalDB：エージェントのための検索」
- ペタバイト規模のログ検索の課題と、AIエージェントのバースト的なクエリ需要に対応する新しいステートレスな検索インフラ「CalDB」の紹介。
- Peter Dixon Moses & Andy Edmunds：「クリック以上の情報：アテンショナル・フォレンジングによる学習監視の強化」
- ユーザーの視線（Gaze）データやマウスの動きを追跡し、クリックデータだけでは得られない深い意図を検索モデルの学習に活かす研究。
- Maya：「ElasticsearchにおけるGPU加速ベクトルインデックス」
- NVIDIAとElasticの提携により、GPUを使用してHNSWインデックスの構築を劇的に高速化する技術の解説。
- David Tippett：「YASP (Yet Another Search Protocol)：AIエージェントのための新プロトコル」
- エージェントがウェブサイトの検索APIを効率的に利用できるようにするための、スキーマやメタデータを提供する新しい通信規格の提案。
- Doug Turnbull：「ディープリサーチはエージェント型検索ではない」
- エージェントが自身の知識で検索を補助する「エージェント型検索」と、未知の情報を外部から補う「情報補完」を区別すべきという視点の提示。
- Nick Everett：「検索の戦記：Wikipediaの検索を壊してしまった話」
- Wikipediaの検索インフラのアップグレード中に、設定ミス（レプリカ数のタイポ）でイタリア語版Wikipediaをダウンさせてしまった失敗談と教訓。
- Trant (Rand)：「LLMベースのクエリ理解への初挑戦」
- 食料品検索においてLLMを使用してクエリ内の属性（ブランド、サイズ、食事制限など）を抽出し、検索精度を向上させた事例。
- Eric Pew：「ユニコーンはどこへ行ったのか？（インスピレーション）」
- 検索エンジンが単なる「回答（Answer）」の提示を超えて、ユーザーのために「行動（Action）」を起こすエンジンへと進化すべきだという提言。
これらのトークは、検索の適合性向上から、AIエージェント向けのインフラ、実際の運用での失敗談まで多岐にわたる知見を短時間で共有しています。
- 内容解説: AWS OpenSearchチームとの共同プロジェクトによる、検索精度調整を「オートパイロット」化するAIエージェントの取り組みを解説します。 ユーザー行動データ（UBI）を解析してパフォーマンスの低いクエリを特定し、自動でブースティングなどの改善策を提案・検証します。 人間が複雑なDSLを書く手間を省き、自然言語での対話を通じて検索結果の品質を継続的に改善できるシステムを構築しています。 オフライン評価（NDCG等の測定）をエージェントが自律的に回し、最も改善が見込める仮説を選択するプロセスをデモで示します。 「検索の専門家が不足している」という課題に対し、AIがその知識を補完し開発スピードを劇的に上げるアプローチです。,
- キーワード: OpenSearch調整, エージェント型調整, オートパイロット, 検索適合性, UBI（ユーザー行動分析）, 自動実験, NDCG評価, AI Agents, 検索最適化, 開発効率化
- 内容解説: 従来の「ドキュメントを返す検索」から、エージェントが必要な「最小限の正しい文脈（コンテキスト）を返す検索」へのシフトを論じます。 「Context Engineering」という新たな概念の下、チャンキング（分割）、多様化、トークン節約、そしてLLMを「審判（Judge）」として使う評価手法を詳述します。 単なる上位ヒットではなく、LLMが正確に回答するために必要なスニペットの質と順序をいかに制御するかを重視しています。 Elastic Agent Builderを例に、EQLやハイブリッド検索を用いてAIエージェントの「限られた作業メモリ」を最適化する戦略を提案します。 RAGにおける「情報のノイズ」がLLMのハルシネーション（幻覚）を引き起こすリスクを、高度な検索技術で軽減する手法です。,
- キーワード: 文脈エンジニアリング, 検索精度進化, エージェント型検索, LLM as a Judge, チャンキング最適化, トークン削減, ハイブリッド検索, RAG, スニペット抽出, Elastic
- 内容解説: Superhuman（メールサービス）での事例をもとに、LLMを検索の「再ランキング（Reranker）」として活用する実務的なメリットと限界を議論します。 専用のRerankerモデルと汎用LLMを比較し、LLMの方が指示への追従性が高く、ドメイン固有の複雑なルール（例：特定の種類のメールを除外するなど）に柔軟に対応できる点を挙げます。 メール検索における「高い再現率（Recall）」の要求に対し、ベクトル検索とLLMによる逐次的な解析を組み合わせた高精度なリトリーバル手法を紹介します。 レイテンシ（遅延）の増大というデメリットはあるものの、ユーザーが求める「正しい1件」を見つけ出すための品質向上が優先されるユースケースを解説します。 微調整（Fine-tuning）の難しさと、プロンプトエンジニアリングによる改善の速さのトレードオフについても触れています。,
- キーワード: LLMリランカー, メール検索, 再ランキング, ハイブリッド検索, 再現率向上, レイテンシ管理, プロンプト戦略, Superhuman, セマンティック検索, AIリトリーバル
- 内容解説: 生成AIとエージェントが台頭する中で、従来の「検索エンジン」という存在がどのように変化、あるいは存続すべきかを議論するパネルディスカッションです。 検索エンジンは「情報を探すツール」から、AIが必要な知識を高速に取り出すための「インテリジェントなキャッシュ（文脈管理システム）」へと役割がシフトすると結論づけています。 キーワード一致（転置インデックス）だけでなく、知識グラフや概念的なデータモデリングが今後より重要になるという展望が示されます。 ステークホルダーに対し、検索エンジンを「LLMに正確な記憶と文脈を供給し、ハルシネーションを防ぐための基盤」として説明する新たなロジックを提示します。 検索エンジニアのスキルセットが、単なるランキング調整から、高度な「コンテキスト・オーケストレーション」へと拡張される必要性を論じています。,
- キーワード: 検索エンジンの未来, LLM vs 検索, 知識管理, キャッシュシステム, RAGの進化, 知識グラフ, セマンティック検索, コンテキスト供給, 検索コミュニティ, 役割の変化
- 内容解説: Yelpの検索適合性チームを率いる立場から、不確実性の高い検索開発プロジェクトをいかに管理し、成功に導くかを語ります。 検索の改善は直線的な進捗ではなく「意思決定ツリー」のような試行錯誤の連続であることを認め、ステークホルダーの期待値を調整する術を共有します。 「サイド・バイ・サイド評価（新旧結果の目視比較）」を文化として定着させ、エンジニアを単なる「数値の最適化者」から「プロダクトの思考者」へ変える手法を解説します。 LLMの導入によりプロトタイプ制作が劇的に速まった一方、デモと本番（信頼性・コスト）の間の巨大なギャップをいかに埋めるかを論じます。 プラットフォームの成熟度に応じ、他チームが検索ランキングを自律的に調整できる「セルフサービス化」への道筋も提示しています。,
- キーワード: 検索チームマネジメント, 適合性文化, 意思決定ツリー, サイド・バイ・サイド評価, ステークホルダー管理, プロダクト志向エンジニア, Yelp, AIプロトタイピング, 不確実性の管理, 検索組織
- 内容解説: クエリごとにリアルタイムで検索アルゴリズムのパラメータ（lexical vs semanticの重み「alpha」など）を調整する「適応型適合性」の仕組みをデモを交えて紹介します。 LangGraphを用い、クエリの意図（検索、絞り込み、フォローアップなど）を分類し、最適なリトリーバル戦略を選択するエージェント・ワークフローを構築しています。 LLMを「判断役（Judge）」としてパイプラインに組み込み、検索結果の品質が低い場合に自動でクエリを書き換えて再試行するプロセスを解説します。 AmazonのESCIデータセットを用いた検証により、従来の手法と比較して適合性スコアが向上することを実証しています。 ハルシネーション（事実に基づかない回答）をリアルタイムで検知し、ユーザーに提供する前に修正する「品質ゲート」の実装についても詳述します。,
- キーワード: 適応型検索適合性, エージェント・ワークフロー, LangGraph, クエリ意図分類, 自動パラメータ調整, LLM as a Judge, クエリ書き換え, ハルシネーション検知, ハイブリッド検索調整, 実時間最適化
- 内容解説: 分散検索システム（MongoDB Atlas Search等）において、標準的なBM25スコアがノード間のデータのわずかな差異で狂ってしまう問題に切り込みます。 解決策として、コーパス全体の統計（IDF）に依存せず、単語の長さや文書の長さから「単語の希少性」を推定する新しいアルゴリズム「Stable TfL」を提案します。 数学的な一貫性を保証することで、レプリカ間やインデックス更新前後でも同一のドキュメントに同一のスコアが付与される「再現性」を実現します。 従来のBM25と比較して適合性が約3%低下するという学術的な誠実なトレードオフを示しつつ、その「安定性」がRAG等の後続システムでいかに重要かを論じます。 Luceneの標準インターフェースを拡張して実装されており、大規模な分散環境で検索精度と整合性を両立させたいエンジニア向けの高度な内容です。,
- キーワード: 検索スコアリング, BM25の限界, Stable TfL, 分散検索, コーパス非依存, 再現性, スコア整合性, Lucene, 情報リトリーバル, MongoDB Atlas Search