Microsoft Ignite 2021: AI Update ~ Cognitive 編

マイクロソフト本社が開催する技術カンファレンス Microsoft Ignite 2021 が 2021 年 3月 2~4 日 (現地時間) で完全オンラインで開催されています。AI | Conversation 周りの技術アップデートをご紹介します。(一通りの Ignite 2021 発表のまとめは Microsoft Ignite 2021 Book News をご覧ください。)

こちらでは Cognitive Services 関係を中心に。

Cognitive Services – Form Recognizer

見積書、請求書といった定型フォームやレシート、会員証などある程度フォーマットが決まった画像や PDF から、Key-Value 型でデータを抽出できる Form Recognizer。日本語対応最新 OCR 機能 (Read 3.2) が適用されている v2.1-preview3 が利用できるようになっています。

Form Recognizer Testing Tools Update

Form OCR Testing Tool と呼ばれる、ラベル付け～トレーニングをGUI で実行できるツールが公開されており、インストールして or Web からも利用可能です。最新の v2.1-preview3 を利用するなら Web の private review 版 (https://fott-preview-private.azurewebsites.net/) が良さそうです。

Prebuit Model:
- Invoice, Receipt, Business Card, Id を利用可能
- (Form OCR Testing Tool アップデート) 分析結果を JSON → CSV で取得
Custom Model : (v2.1-3 release から) Model Id (モデルを指定して分析), Region Labeling (OCR検出した以外の領域を指定してラベル付け) の機能追加

ドキュメント
- Form Recognizer now reads more languages, processes IDs and invoices, trains on tables, and more – Microsoft Tech Community
- Ignite 2021 Book of News: Form Recognizer

PowerPlatform AI Builder から利用可能

PowerApps などで利用できる AI Builder にも Form Recognizer による画像判定が組み込まれています。

チュートリアル:AI Builder を使用してフォーム処理アプリを作成する – Form Recognizer – Azure Cognitive Services | Microsoft Docs

Cognitive Services – Face

画像から人の顔を検出、特徴や情報、表情を判別したり、識別を行ったりすることができるのが Face API です。

マスクをつけた状態でも顔を検出し、マスクの有無や状態(鼻や口が覆われているかどうか) を判定する Mask Detection が利用可能になりました。Face Detect API でパラメーターで detection model (detectionModel=detection_03) および Attribute (returnFaceAttributes=mask) を指定して判定します。マスク以外 (ヒジャブなど) で顔を覆っている場合や、顔 or 頭の一部のみが写っているいる場合でも判定できます。

ドキュメント
- Cognitive Services APIs Reference (microsoft.com): Face – Detect

Azure Cognitive Search

Semantic Search

Cognitive Search に Semantic Search (意味検索) の機能がプレビューとして追加されました。(利用にはプレビュー申し込みが必要)

これまでは Cognitive Search Rest API で提供される検索機能は単語ベースでしたが、NLP(自然言語解析)による意味理解を行う Semantics-based ranking が採用されています。

Semantic Search による機能
- Semantic Answers: 直感的な質問文から検索を行う
- Semantic Captions: 検索したドキュメントで関連性の高い段落を抜き出す

ドキュメント