「海賊版服装」の克星生物特徴識別、図計算測定分析技術

背後にある考え方は、服装の地域的表現の検索モデルに基づいて、画像中の服装に対して地域化の類似性学習と測定を行うことである。

この研究成果はCVPR 2020に収録され、Oral論文に選ばれている。

アリ安全図霊実験室によると、この作業はアリのオリジナル保護プラットフォームを用いて、タオバオ、天猫などのアリ系電子商取引プラットフォームにオンライン化され、権利侵害検査能力を提供する。

精緻化剽窃魔は1尺高く、偽道はどうして1丈高いのか。

アパレル分野では、休暇が続いているが、海賊版の盗作問題は依然として普遍的に存在している。しかもオンラインからオフラインにかけて、パクリの手口はますます意地悪になり、偽物を作る難易度は年々高まっている。現在のところ、アパレル分野のパクリは3種類しかない。

第1類は画像盗用に集中している。海賊版の使用者は通常、自分の店舗の透かしを図に追加したり、画像処理（反転、拡大、分割など）を行ったりするなど、正規ブランドの商品図を使用したり、修正したりする権限を持っていません。

このような権利侵害のパクリはコストが低いが、プラットフォームの画像検索システムにロックされやすく、迅速に「管理」される。

2つ目はアイデアの盗用で、不良業者はオリジナル業者の全体的な商品デザインとアイデアをそのままコピーし、同型または模倣型を作る。

このような権利侵害のコストはやや高いが、商品全体の類似度メトリックに基づく同検索アルゴリズムにより、リコールとガバナンスを行うことができる。

3つ目は、襟元のデザインを変更したり、胸にプリントしたレイアウトを変更したり、服の代金を変更したりするなど、服の一部の領域を修正することです。

しかし、下図のように正規ブランドの服のスタイルやデザイン要素（左側が正規版、右側が海賊版）をパクっており、「スター同型」として売られていることもある。

このような海賊版のコストは最も高く、従来の商品同型検索に基づくアルゴリズムにロックされにくい。通常、電子商取引プラットフォームは人手による審査でしか発見できず、偽造コストが高い。

では、このようなパクリ現象をシステムに自動的にロックさせる方法はありますか。これがアリ安全図霊実験室の最新研究の方向だ。

これまで、彼らは属性感知細粒度類似度学習方法に基づいて、服飾著作権アルゴリズムを提案して局所パクリをロックし、AAAI 2020に収録された。

現在、彼らはまた1つの新しい構想を提出して、服装の区域性表現の検索モデルに基づいて、画像中の服装に対して区域化の類似性学習と計量を行って、それによってより効果的な休暇を取ることを実現します。

　袖や襟まで正確な「海賊版衣類画像」検索アルゴリズム

「海賊版衣料品」の定義は、オリジナルの衣料品のデザインとスタイルを全体的にコピーし、既存の同じ衣料品検索モデルでスクリーニングされた衣料品のサンプルから逃れるために1、2つの領域で修正することです。

アルゴリズム設計において、彼らは服装のキーが導く領域注意メカニズムを提案した。

まず、襟、袖口、肩、脇など、服装画像の各キー位置に分布するポイントを予測するために、服装キー推定ブランチを利用します。

各種類の服装のキーの数と分布には一定の違いがあり、点数は1枚あたり25 ~ 40個程度である。これらのキーに基づいて、アルゴリズムは、襟、袖、胸、腰の領域など、服の画像を複数の領域に分割することができます。

領域分割情報はROI Pooling思想に基づく方式で導入され、一体化された服装画像特徴は複数の領域化された特徴表現に解結合され、独立して特徴類似度の学習と測定を行う。

同時に、服装のキー結合領域化の表現は注意力メカニズムとして、画像検索ネットワークに導入することができ、キー部位の特徴重みが向上し、非キー部位の重みが削減され、モデルのキー部位に対する判別力を向上させることができる。

アパレルキー推定ブランチと画像検索ブランチは同じHR-Netバックボーンネットワークを使用し、その多段並列構造はマルチスケール特徴を取得しながら高解像度を維持している。

損失関数の選択において、キー推定分岐は平均分散損失関数を採用し、検索分岐は区域化設計のトリップレット損失関数を採用した。損失関数の値はピクチャ範囲全体の特徴triplet差分ではなく、各領域の特徴差分の累積結果である。

本文の方法の枠組みは下図のように、ネットワークはアパレルキー推定分岐とアパレル検索分岐に分けることができ、その中で検索ネットワークは同じアパレル検索と海賊版アパレル検索の2種類の出力形式を含む：

プラットフォームの権利侵害服装サンプルの分析を通じて、アリ研究者は、異なる種類の服装が海賊版になりやすい領域は異なることを発見した。そのため、服装画像の特徴の類似度測定過程だけをデカップリングするのは十分ではなく、また各種類の服装の複数の領域に差異化の重みを設定し、重み付けされた領域類似性計算を行う必要があり、より多くの海賊版衣料品のサンプルをリコールします。

そのため、彼らはプラットフォームの海賊版服装データに基づいて、「Fashion Plagiarism Dataset」というデータセットを構築した。このデータセットでは、各グループの「オリジナル服装」のquery画像はgallery中の複数の「海賊版服装」画像に対応し、データは半袖Tシャツ、長袖上着、コート、ワンピースの4種類のサンプルをカバーしている。

彼らはこのデータセットで、Deepfashion 2データセット上で事前に訓練された検索ネットワークに対してFine Tune訓練を行い、Coordinate Ascentアルゴリズムを用いて異なる服装カテゴリの各領域の重みを反復的に最適化し、損失関数の数値を低減した。

「海賊版服装」は訓練過程の損失関数を検索し、同様にトリップレット損失関数に基づいて設計された。最終的には、訓練後の海賊版検索ネットワークは、上図のInputアパレル画像に基づいてOutput中の緑枠内の海賊版アパレルサンプルをリコールすることができる。

　　休暇の効果はどうですか。負けない、そしてそれまでのSOTAを超える

論文の実験部分では、アリ研究者はまず「Fashion Plagiarism Dataset」でアルゴリズムの「海賊版服装画像」検索能力を評価した。

論文で提案された方法のほか、彼らは2つの方法を設定して比較した：1つは伝統的な検索方法で、同じbackboneネットワークとTripletの損失関数を使用して、しかし区域化特徴学習と表現メカニズムを含まない、もう1つは地域化特徴発現機構を含むが、非Fine Tune訓練を用いて得られた地域重みであり、評価指標はmAPである。

表の結果から、論文で使用された方法は各服装カテゴリで最適な効果を得ていることがわかる。

上述の「海賊版衣料品検索」の評価実験のほか、Deepfashionシリーズのデータセットで衣料品のキー推定と、同型の衣料品画像検索タスクの実験を行った。

アパレルキー推定部では、アリ研究者が現在最も複雑度の高いDeepfashion 2データセットで評価を行い、既存のMatch-RCNN、CPN、Simple-Baselineなどの方法に比べて、アパレルキー推定モデルは各サブセットで最も高いmAP結果を得た：

同じ服装検索実験では、FashionNet、Match-RCNN、PCBなどの方法を比較として選択し、DeepfashionとDeepfashion 2でそれぞれ実験を行った。

その中で、Deepfashionは主にIn-shop検索シーンに対して、Deepfashion 2はConsumer-to-shopシーンに対して針を打った。評価指標はそれぞれTop-N recallとTop-N accuracyであった。

結果：下図のように、アリの方法はDeepfashionデータセット上でSOTA方法に近い効果を得て、Deepfashion 2データセット上の結果は既存のbaseline方法より明らかに優れている。

アリババ、浙江工商大学、アリババ-浙江大学最先端技術共同研究センターから5人の研究者が参加した。

文章の第1著者Yining Lang、第2著者Yuan He、第3著者Fan Yangはアリ安全図解実験室から来た。アリ安全図霊実験室の薛暉責任者は、文章の通信著者だ。浙江工商大学Jianfeng Dongも論文著者の一人だ。

阿里安全図霊実験室は2016年に正式に設立され、前身は阿里安全基礎アルゴリズムチームで、主に安全とリスク方面のAIシステムの研究開発に従事し、核心技術はコンピュータ視覚、自然言語処理、生物特徴認識、図計算及び異常検出と分析などを含み、2018年までに50以上の特許を申請した。