第一に、研究コミュニティは、多くのドメインにわたって様々なタイプのDPを定義することで、かなりの進歩を遂げたが[13, 18, 25, 37]、これらのパターンがソフトウェアアプリケーションでどのようにインスタンス化されるかには、まだ大きなばらつきがある可能性がある。つまり、「ダークパターン」という言葉の語源は、異なる欺瞞的なUIデザインを特徴付ける強力な意味的シグナルの存在を示唆していますが、そのようなデザインの実際の実装は大きく異なる可能性があります。このため、このようなパターンを検出するアプローチの設計は困難である。第二に、研究コミュニティは現在、DPの統一された分類法にマッピングされた、きめ細かいローカライズ情報を持つDPの大規模なデータセットを欠いている

DPの解決は、セグメントレベルの解決とUIレベルの解決の2段階

AIDUIは、UIのテキスト、アイコン、色、空間分析を行い、根本的なDPの存在を自動的に検出するアプローチ

UIレベル解像度では、視覚的手がかり検出（セクションIII-B）とセグメントレベル解像度（セクションIII-E1）の両方の結果を用いて、UI内の潜在的なDPの最終的なセットを予測する

AidUIの根底にある重要な考え方は、いくつかの視覚的およびテキスト的な手がかりが存在し、それらが（同時に）出現するとき、様々なダークパターンの存在を意味するということ

Label Studio [1]アプリケーショ ン

AIDUIは視覚データのみで動作し、ユーザーインターフェースのスクリーンショットのみを入力として必要とするため、複数のソフトウェアドメインに容易に拡張可能である

Rajuら[46]は、ロードされたウェブページのソースコードを分析し、特定のダークパターンタ イプに対応する広告を検出することを目的とした設計を提案

ONTEXTDPは、UIのスクリーンショットに完全にローカライズされたDPインスタンスの現在最大のデータセットであり、301のDPインスタンスと258のスクリーンショットを含んでいる。

Liuら[32]による別の研究は、自動アプリテストと広告トラフィック識別アプローチを活用し、不正な広告コンテンツを検出するフレームワークを提案

私たちの研究の範囲が主にウェブとモバイルのUIに関係していることを考慮し、私たちは上記のドメイン固有の分類法の多くを含めませんでした。その代わりに、私たちの統一された分類法は、主にGrayら[25]、Mathurら[37]、Brignullら[13]によって導き出された様々なカテゴリとサブカテゴリを融合したものです

Moranらは、教師なしコンピュータ・ビジョンとディープ・ラーニング技術の組み合わせを使用して、モックアップからモバイル・アプリのUIコードを自動的にプロトタイプ化するREDRAW[38]を紹介

4つの主要なフェーズを中心に設計されている：1 ビジュアルキュー検出フェーズ：ディープラーニングベースのオブジェクト検出モデルを活用し、DPのビジュアルキューを表すUIオブジェクトを識別する。テキストと非テキストコンテンツの両方を含むUIセグメントを抽出する「UI & テキストコンテンツ検出フェーズ」、抽出されたUIセグメントを分析し、潜在的なDPのセットを特定するために、テキストパターンマッチング、色および空間分析技術を使用する「DP分析フェーズ」、および視覚的手がかり検出とDP分析の両方のフェーズからの結果を使用して、与えられたUI内の根本的なDPの最終的なセットを予測する「DP解決フェーズ」です。

AIDUIは、大きく2つの点で上記の技術とは異なる。第一に、AIDUIによって特定されるスクリーン特性（DP）は、過去の研究によって推論された特性（アクセシビリティデータ、スクリーン要素など）と比べて新しい。第二に、これらのプロパティの性質上、AIDUIは異なる分析技術を採用している

異なるDPカテゴリにおける視覚的およびテキスト的手がかりに関するこれらの観察に基づき、DPを検出するために必要な5つのタスクを特定した。これらには、2つの検出タスク（すなわち、視覚的手がかり検出とテキストコンテンツ検出）と、UIコンポーネントの特性に関連する3つの分析タスク（すなわち、テキスト、色、空間分析）が含まれる。我々のアプローチの主要なフェーズは、これらの検出と分析タスクを中心に設計されている。

ダークパターンの例を手動で調達する必要があることを考えると、これは困難であり、大規模なデータ収集は困難である。したがって、AIDUIは、純粋に深層学習ベースの分類ソリューションを訓練するのとは対照的に、視覚的およびテキスト的な手がかりを処理する

我々のアプローチはディープラーニングベースのオブジェクト検出技術を活用する。この場合、Faster R-CNN[47]の実装を適応させ、ターゲットUI内の特定のタイプのアイコンを正確に識別し、ローカライズする

AIDUIの現在の実装は10のDPカテゴリーを対象としているため、他のカテゴリーを検出するための自動化技術を開発することが今後の課題である。セクションIIですでに述べたように、我々の現在のアプローチは、1つの画面上で異なる視覚的・文字的手がかりによって示されるDPカテゴリーを扱うことに焦点を当てている。したがって、将来の明確な研究の方向性の1つは、複数の画面とユーザーアクションによって特徴付けられる動的なDPカテゴリの検出メカニズムを開発すること

このモデルのトレーニングに使用した画面やアプリがCONTEXTDPデータセットに現れないように、ニューラルアイコン検出モデルをトレーニングするためのデータセットを自動的に生成する

我々の現在のテキスト分析技法は、発見的に定義されたパターンマッチングルールにのみ基づいているため、ユーザーを特定の行動に説得するための意味的に複雑なテキストパターンを含む特定のDPカテゴリー（例えば、感情をもてあそぶ）に適用することが難しいことである。セクションVで既に述べたように、現在のテキスト分析アプローチには、意味的に類似しているが語彙的に変化しているテキストを検出できないという限界もある。我々は今後の研究で、ニューラル言語モデルを活用してこれらの課題に取り組む予定

RICO[17]UI データセット

我々は、既存のタクソノミから類似のDPカテゴリを統合し、現在最大の完全にラベル付けされローカライズされたDPインスタンスであるCONTEXTDPを導き出した。さらに、CONTEXTDP上で優れた性能を発揮する、DPの完全自動検出とローカライズ技術であるAIDUIを実装した。

ICOは、モバイルアプリデザインのリポジトリーとしては圧倒的に大きく、27以上のカテゴリにまたがる9.3kの無料Androidアプリから、66kのユニークなUI画面が含まれている。

グラフィカルとテキストのUI要素を検出するための2つの部分から構成される、UIEDと呼ばれる、Xieら[54]によって導入されたアプローチの実装を適応させた

テキスト検出と抽出には、EASTテキスト検出モデル[59]を活用する

色強度の分類を行う理由は、いくつかのDPタイプ（注意力散漫やデフォルト選 択など）では、直交する明るさ/コントラストレベルがDPの存在を示す可能性が高いから