THE UNSEEN ネットの裏側 「コンテンツ・モデレーション（適正化）」

ポルノ、自爆テロ、動物虐待、首切り…。
1日の大半をこれらの「暗黒動画」と対峙して過ごす人々がいる。
コンテンツ・モデレーターと呼ばれる彼らの仕事は、
FacebookやTwitterなどのSNSや動画サイトから、
見るに堪えないコンテンツを削除していくことだ。
苛酷さに見合わぬ薄給で人間の「闇」を見つめる、
「コンテンツ・モデレーション」の現場を訪ねた。

豪華なカフェテリア、快適な通勤バス、無料クリーニング。

テック産業は、その行き届いた社員向けサーヴィスで知られているが、その最も重要な業務は、実はシリコンヴァレーから11,000km離れた、フィリピンのマニラから南西へ20kmの港町バコールで行われている。

自動車整備店が並ぶ区画の外れにある、かつて小学校だった建物の2階がその現場だ。蒸し暑い2月の午後、その狭い吹き抜けの階段を上っていると、タバコ休憩の従業員たちがいっせいに下りてきたので、壁にくっついて彼らをやり過ごさなければならなかった。上階の暗い廊下では、眠そうな警備員がひとり、ファイルが乱雑に積み上がった木のテーブルを受付デスク代わりに座っていた。

警備員の前を通り過ぎ、広い部屋に入る。長机がいくつも置かれ、大勢の従業員がパソコンを操作しているその部屋で、マイケル・バイバヤンと会った。赤茶色の髪をカッコよく立たせた、威勢のよい21歳の若者だ。

この部屋がまったくヴェンチャー企業のオフィスっぽくないのと同じように、バイバヤンのスクリーンにも、ヴェンチャー企業の一般的なイメージとはかけ離れたものが映し出されていた。それは二股のディルドが挿さった女性器のアップだった。どう表現したらいいのかよくわからないが、まるで肉体と透明なピンクのプラスチック製品からなる、トランプカードほどの大きさの抽象画みたいだった。バイバヤンがさっとマウスを動かすと、その画像は消えた。

米国のソーシャルネットワークサイト上の、有害コンテンツを削除するのがバイバヤンの仕事だ。

 

おばあちゃんの目に触れぬよう

企業にとって、この「コンテンツ・モデレーション（適正化）」業務の重要性は高まるばかりだ。ソーシャルメディアがかつてないほどに多くの人々を親密に結びつければ結びつけるほど、企業は「おばあちゃん問題」に直面しているのである。

現代のお年寄りは、子や孫との連絡手段として日常的にFacebookなどのソーシャルサーヴィスを利用している。そのため、ネットに蔓延する悪意に満ちた誹謗中傷や人種差別、残酷画像や違法コンテンツにアクセスしてしまう危険を常にはらんでいるのだ。
家族写真の左右に、ロシアの高速道路事故のグロ画像と無修正ポルノ画像があったりしたら、二度とログインしてもらえないだろう。数十億ドル規模の巨大産業に成長したソーシャルメディアは、社会の主流層への長期的なアピールを続けるにあたり、ユーザーが投稿したコンテンツの安全性を監視する企業の助けを必要としている。

──たったいま、バイバヤンが削除したような画像がおばあちゃんの目に触れないように。

マニラ郊外の町バコール。アウトソーシング企業・TaskUsへ向かう車内から。

 

テック企業を支える10万人

 

フェイスブックやツイッターなどのソーシャルメディア企業は、インターネットから人間の負の面をぬぐい去って善良な市民を守るのに一群の労働者たちに依存しており、その業務の従事者は恐ろしい数に上る。目に見えない人海戦術だ。
 
Myspaceの前セキュリティ対策責任者で、現在オンラインセキュリティコンサル企業SSP Blueを経営するヘマンシュ・ニガムの推定では、世界のソーシャルメディアサイト、モバイルアプリ、クラウドストレージから不適切なコンテンツを取り除くモデレーターの数は「軽く10万人を超える」という。これはグーグルの全従業員数の約2倍であり、フェイスブックの約14倍だ。

削除作業の多くはフィリピンで行われている。かつて米国の植民地だったフィリピンは現在も米国との文化的共通点が多く、そのためフィリピン人は米国人がどんなコンテンツを有害とみなすかを判断しやすいと、あるコンテンツ・モデレーション業者は言う。

加えて、フィリピンでは米国よりもはるかに少ない人件費でモデレーターを雇うことができる。かつてフィリピンでマイクロソフトのモデレーターを務めたライアン・カルデノによれば、アウトソーシング企業Sykesに3年半勤めたときの月収は500ドル（およそ6万円）だったという。昨年、カルデノは別の企業から月給312ドル（4万円弱）でフェイスブックのモデレーターのオファーを受けた。業界の相場からみても非常に安い報酬だ。

マイクロソフトのコンテンツ・モデレーションを
   請け負うライアン・カルデノ。報酬は月500ドル。

バイバヤンと従業員たちがチェックするのは、ロサンゼルスを拠点とするヴェンチャー企業・Whisperのコンテンツである。Whisperのアプリは匿名で画像を投稿したり、秘密の「ささやき（whisper）」をシェアできるもので、投資ファンドから2億ドルの企業評価額を付けられている。

バイバヤンたちは米国を拠点とするアウトソーシング企業・TaskUsに勤務している。

Whisperがこのプロセスをジャーナリストに明かしたのには少しばかり驚いた。マイクロソフトやグーグルやフェイスブックは、どのようにコンテンツを適正化しているかと質問しても、ユーザーの保護に関してあいまいな説明しかせず、詳細を教えてくれることはなかった。テック企業の多くはモデレーターに厳しい守秘義務を課し、アウトソーシング企業の同業他社の従業員にも、自分の仕事の内容を話すことを禁じている。

「適正化について匿そうという明確な取り決めが業界内にあるとは思えませんが、おそらく自然とそうなってしまったのでしょう」と、カナダのウェスタンオンタリオ大学メディア学助教で、商業コンテンツ・モデレーションの数少ない専門家のひとりであるサラ・ロバーツは言う。「企業側は、ユーザーのソーシャルメディア体験を適正化するために具体的にどんな努力をしているか、あまり語りたがりません。それゆえ、わたしたちはインターネットを誤解し、テクノロジーを人間とは無関係な魔法のようなものと考えてしまいがちなのです」

Whisperがコンテンツ・モデレーションのプロセスを明らかにするのは、まさにそれこそがWhisperの要であり、このアプリのセールスポイントだと同社のCEO、マイケル・ヘイワードが考えているからだ。ユーザーから苦情が出てから初めてコンテンツの削除を行う、いわば泥縄式のモデレーションを行う企業が多いなか、Whisperは膨大な労働力を投入して1つひとつの投稿をリアルタイムでチェックする「現在進行形のモデレーション」を実行しているのだ。

「わたしたちは、ユーザーが匿名でも安心して、ありのままの自分をさらけ出せる空間をつくりたいのです」とヘイワードは言う。「一度チューブから出てしまった歯磨き粉を元に戻すのは、非常に困難ですからね」

バイバヤンの仕事ぶりを見ていれば、Whisperの歯磨き粉をチューブから漏らさないための作業にどれほどの労働力が必要かがよくわかる（わたしが見学を終えたあと、TaskUsのバコールのオフィスは、違法コピーソフト使用の疑いでフィリピンの捜査機関の強制捜査を受け、バイバヤンは退職した。TaskUsは新たにマニラでコンテンツ・モデレーションのオフィスを開いた）。

まず、サムネイルがずらっと並んだ投稿画像一覧ページを開く。ほとんどの画像には、よくあるお笑いのネタ画像のように、無造作な太い白抜きのテロップ文字が被さっている。ユーザーにとって、完全匿名で「何でもあり」のWhisperは、抑えていた衝動をぶちまけられる場であり、FacebookやTwitterで公開するにはあまりに危険な（あるいはしょうもない）秘密や暴言、人に言えない欲望のはけ口となっている。

モデレーターたちは投稿されたコンテンツをリアルタイムで監視し、次から次へと脈絡なく現れる投稿に目を光らせる。「ニューヨーク在住でバイセクシャルの女の人、お話ししない？」「アイルランド訛りはキモい」「義理のお父さんとヤッたあと、クルマ買えって脅してやったわ」等々…。

ホワイトボードには、チェックすべきカテゴリーのリストが殴り書きされている。ポルノ、グロ、未成年、性的勧誘、性器やそれを連想させる画像、人種差別。

違反の疑いがある画像を発見すると、それを開き、違反が確認できればユーザーのアカウントとウェブサイト全体から削除する。そしてまた画像一覧に戻り、チェック作業を続ける。25分間で、自撮りした男性器の画像からきわどい水着や異物挿入の画像、胸糞悪い罵倒の文句、オーラルセックスの依頼まで、感心するほど多種多様なコンテンツが削除されていった。

Whisperに投稿された自殺をほのめかすメッセージ。
TaskUsのモデレーターは削除すべきと判断した。

微妙な画像があった。ありきたりな男性の裸の上半身の彫刻の上に「ゲイ体験を求めて。当方18歳以上」と書かれている。ただ秘められた欲望を告白しているだけなのか（これは「違反」ではない）、それとも性行為の誘いなのか（これは「違反」だ）。

TaskUsの多くの社員と同様、大卒の資格をもつバイバヤンは、どうやってそれを見分けるか、慎重な口調でこう話した。「目的は何か、ということです。ただ自分の気持ちを語っているだけなのか、それとも相手を誘っているのか。その違いを見分けなければなりません」。

バイバヤンはわずか数秒でその判断を下す。画面の上部には次々に新着画像が現れ、古い画像はどんどん下へ追いやられてゆく。
バイバヤンは例の投稿を性的な誘いと判断し、削除した。性欲をもて余すどこかの若者の欲望は潰えた。バイバヤンは画面を上までスクロールし、再びチェック作業を始める。

 

 

首切り動画の鑑定人

その出来事から8年経ったいまも、ジェイク・スウェアリンジェンは自分が仕事を辞めるきっかけとなった動画を忘れることができない。

ベイエリアで失業中だったスウェアリンジェンは、24歳のとき、新進のヴェンチャー企業・VideoEgg（編註：現在のSAY Media）でモデレーターの仕事を得た。3日後、スウェアリンジェンの担当動画リストに、何者かが人間の首を切断している動画がアップロードされた。スウェアリンジェンは思わず叫んでいた。

「何てこった、首切りの動画だ！」。カジュアルな黒いパーカを着た、少し年上の同僚が椅子に座ったまま振り返った。「へえ、どれどれ？」。自分は首切り動画の目利きになどなりたくない、と彼はそのとき強く思った。

「一刻も早くその職場を出たかった。口にするのも恐ろしい出来事に巻き込まれた人たちを見慣れてしまって、軽口を叩けるような人間には絶対になりたくなかったのです」。スウェアリンジェンは現在、Atlantic Mediaでソーシャルメディアのエディターを務めている（彼は2007年には『WIRED』US版のインターンだった）。

コンテンツ・モデレーションの作業は海外で行われることも多いが、さらに多くが米国内で行われている。従業員の大半は、かつてのスウェアリンジェンのような若い大学出だ。
多くの企業は二重の適正化システムを採用している。ごく単純な適正化作業は外国にアウトソーシングし、より深い文化理解が必要とされる込み入ったチェック作業を米国で行うのだ。

米国のモデレーターの待遇は、国外の同業者に比べて格段によい。米国の有名テック企業では、新人でも1時間でフィリピンのヴェテランモデレーターの日給以上の給料を稼ぎ出す。だが、フィリピンではこのコンテンツ・モデレーションの請負業務は若者たちの憧れの的なのに対して、米国のモデレーターは、ほかに仕事がなくてやむにやまれずこの職に就いた者も多く、仕事に耐え切れずに脱落していくこともよくある。

「みな、だいたい3～5カ月で壁にぶち当たります」と、かつてYouTubeのモデレーターだったロブ（仮名）は言う。「『おれは1日いったい何をやってるんだろう。もうイヤだ』って気持ちになるんです」

ロブは2010年にコンテンツ・モデレーターとなった。大学を卒業し、ガールフレンドのあとを追ってベイエリアに移ってきたところだった。ここでは大学で取得した歴史学の学位など、顔のタトゥーほどの価値しかなかった。数カ月が経ち、ロブは自暴自棄になりつつあった。

人材派遣会社CDIからオファーの電話があったのはそのころだ。YouTubeの動画モデレーターとしてグーグルの面接を受けに行くよう、リクルーターから指示された。なんと、あのグーグルだ！　もちろん、単なる下請けの契約だが、正社員登用のチャンスもあるという説明だった。給料は時給20ドルほどだという。ファストフードのバイトに比べればはるかに高給だ。ロブは面接を受け、1年間の契約で採用された。「そりゃあ嬉しかったですよ。給料もいいし、ユーチューブでの職歴ありなんて履歴書に書けたら最高ですからね」

 

ロブはカリフォルニア州サンブルーノのユーチューブ本社で動画管理の仕事に就いた。最初の数カ月間はまったく苦にならなかった。同僚はロブと同じように新卒の若者がほとんどだったし、その多くは文系学部出身で、衛生キャップを頭にかぶらなくてもいい仕事にありつけただけでも御の字だった。上司はいい人だったし、カフェテリアで無料のランチをとれるといったささやかな特典もあった。

8時間の勤務の間、ロブはユーチューブの広々としたオフィスで2台のモニターの前に座った。1台のモニターに再生される何十本もの動画を一度に眺め、もう1台のモニターは好きに使ってよかった。ロブは「宇宙空母ギャラクティカ」の全話を片目で鑑賞しながら、もう片方の目で残酷映像やヘイトスピーチの動画をチェックし、削除した。

ユーチューブの内部事情を垣間見られるのも魅力的だった。例えば、2010年末にある政治家が刺された事件で、容疑者の英国人女性が米国出身のイスラム過激派アンワル・アウラキの暴力的な説教に影響を受けたと語ったときには、グーグルの法務部からアウラキの説教の動画を一斉削除するよう臨時の業務命令が下されたという。

だが数カ月が過ぎるうち、不適切な動画を見続けるのが苦痛になり始めた。
最悪だったのが残酷動画だ。血なまぐさい市街戦、動物虐待、自爆テロ、斬首、悲惨な交通事故。
当時「アラブの春」が最高潮を迎えており、活動家たちは政府の弾圧を世界に公表するためにYouTubeを利用した。そのような「ニュース価値のある」動画は、たとえガイドラインから逸脱するものでも警告とともに残すよう指示された。だがデモ参加者の死体や市街戦のアップは、ロブや同僚たちにとって正視に堪えないものだった。
悲惨な事件を記録したそれらの動画は、ただ病的な残酷趣味を掻き立てるばかりだった。「動物虐待の動画は、虐待した人物が自分でアップロードしているケースがほとんどでした。それで満足感を得るのです」とロブは言う。

「残虐な行為に満足感を得る人間の視点から悲惨な出来事の動画を見ることは、そのような行為を報道するニュースに触れるよりも、ある意味はるかに視聴者にとって有害です。それを目にした人の、人間に対する考えを取り返しのつかないほど歪ませ、損ないます」

ロブは仕事を離れても動画のことで悩み苦しむようになった。人付き合いを避け、イライラし、怒りっぽくなった。ユーチューブにはカウンセラーがいて、モデレーターも相談できることになってはいたが、どうやって連絡をとればいいのかは知らされなかった。周りにもカウンセリングを受けたことがある人はいなかった。自分で何とかするしかない。ロブは酒浸りになり、太っていった。

ロブは自分がグーグルの正社員になることなどほぼ不可能だという事実を知った。契約から数カ月後、グーグルの求人に応募したが、大学でのGPA（成績評価値）が不足していたため門前払いだったという（グーグルはGPAだけで採用の可否を決めることはないと否定している）。ロブが伝え聞いたところでは、GPAが足りていたとしても、下請けからグーグル社員になれることなどまずないらしい。

契約満了まで数カ月を残し、ロブは別の仕事を見つけて転職した。
最終日の午後7時に業務を終えたとき、ロブは言いようのない解放感を感じた。車に飛び乗りオレンジカウンティの実家に帰ると、3日間ぶっ通しで眠った。

 

病んでゆくモデレーターたち

 

仮にコンテンツ・モデレーターがソーシャルメディアサイトの全労働力の半分を占めているとすれば、この業務が長期的にいかなる精神的苦痛をモデレーターにもたらすかは熟考に値する。ジェーン・スティーヴンソンは2000年代前半、英国国家犯罪対策局（米国のFBIにあたる広域捜査機関）の労働衛生および福祉部門のトップに就いた。

当時、世界的に児童ポルノ撲滅運動の最初の波が起こっていた。スティーヴンソンは捜査官たちが児童ポルノ画像によって精神的被害を受けるのを目の当たりにする。
 
ポストを退いてからも、しばしば政府機関や民間団体から、捜査にともなう精神への悪影響にどう対処したらよいか意見を求められたスティーヴンソンは、高度なプレッシャーを強いられる職業を対象とする労働衛生コンサルタント企業Workplace Wellbeingを設立する。顧客には英国のソーシャルメディア企業も含まれていたが、アドヴァイスをするうち、ソーシャルメディア企業のコンテンツ・ モデレーターたちも、法執行機関で児童ポルノ摘発や対テロ捜査を行う捜査官と同じ苦痛を抱いていることがわかった。

「一目でもそのような画像を見てしまったら、もう永遠に元には戻れません」と、スティーヴンソンは言う。捜査機関には特別な治療プログラムがあるし、メンタルヘルスの専門家もいるが、ハイテク企業の多くはまだこの問題の深刻さを把握するに至っていない、と彼女は指摘する。

「それは近親者との死別や職場でのいじめと同じで、対処の方法はあると考える人もいます」とスティーヴンソンは言う。「誰でもいつかは近親者の死に直面しますし、気に障ることを言う人と一緒にいれば精神的に辛くもなるでしょう。それらはごく正常な反応です。しかし、2歳の幼児との性行為が正常といえるでしょうか？人間の首をゆっくりと時間をかけて切断することが ──あなたにトラウマを植え付けようというわけではありませんが、人の首を切り落とすのには時間がかかります── それが正常な行為でしょうか？　そんなものにどう対処しろというのですか？」

フィリピンで2つのコンテンツ・モデレーション企業のカウンセラーを務める心理学者デニス（仮名）とマニラで会った。

「それはPTSD（心的外傷後ストレス障害）に似ています」と、ひっきりなしにクルマが通り過ぎてゆく高速道路に面したオフィスでデニスは言う。「心に記憶の痕跡が残っているのです」。

デニスのチームは広範囲にわたって患者を観察できるシステムをつくり上げた。モデレーターたちに心理テストを受けさせて治療前の基準値を設定し、不快な映像の影響を最小限に留めるために面接やカウンセリングを重ねた。

だがどれほどカウンセリングに最善を尽くしても、人間の暗黒面の奥底を見つめる仕事はモデレーターの精神を蝕んだ。毎日何時間もポルノ画像を見たせいで、配偶者との性交渉に支障をきたし、辞めていったモデレーターもいる。また性欲の異常な亢進に悩む者もいる。

「毎日8時間、延々とポルノを見続けるのがどんなことなのか想像できますか？」とデニスは訊く。「そんなことにいつまで耐えられるでしょう？」

コンテンツ・モデレーションを行っているOpen Access BPO社の社員。マニラのオフィスにて。

生涯忘れることのない映像

 

その近くのショッピングモールで、ある若い女性と会った。名前を仮にマリアとしよう。勤め先のアウトソーシング企業が昼休みになり、会社を抜けてきたのだ。その企業で、マリアのチームは米国の著名なテック企業が提供するクラウドストレージサーヴィスの画像や動画の管理を担当している。マリアはその品質保証責任者で、チームの何十人ものモデレーターに見落としがないかを監督する任務を負っている。つまり、モデレーターたちが違反と判断した無数の動画を目で確認しなければならないのだ。

「児童虐待の動画を見るのは本当に辛いです」とマリアは言う。「最後まで一気に見るなんてできません。少し見ては動画を止めて、一休みしないと。スターバックスにコーヒーを買いに行ったりしてね」。陰惨な性犯罪とおしゃれなラテという奇妙な取り合わせにマリアは笑った。

そのような動画に絶え間なくさらされて、精神を病んでしまった同僚もいる。来る日も来る日も果てしなく増殖する人間の悪意の証拠を突きつけられ、しまいには現実に出会う人たちも何かおぞましい秘密をハードディスクのなかに隠しているのではないかと疑い始めてしまうのだ。

マリアの同僚には、不安のあまり自分の子どもたちをベビーシッターに預けられなくなってしまった女性が2人いる。仕事の間、子どもたちを安心して任せられる人を見つけられずに欠勤することもあるという。

あの目隠しされた少女の動画は、仕事を辞めてもずっと頭から離れないだろう、とマリアは言う。「忘れられるかどうかわかりません。あの動画を見たのはずっと前ですが、いまでも目に焼き付いています。昨日見たばかりのように」

マリアは、とりわけこの仕事を始めたばかりのころに目にした動画を忘れることができない。

「映っていたのは若い女性でした」。マリアは声をひそめる。「たぶん15～18歳くらい、どう見ても未成年でした。スキンヘッドの男も映りました。男は頭を女性のヴァギナに突っ込もうとしていました。女性は目隠しされ、手錠をはめられ、泣き叫んでいました」
その動画は30分以上もあった。1分ほど見たところで、マリアは怒りと悲しみに体が震えるのを感じた。こんなにひどいことをできるのはどんな人間だろう？　マリアは男の顔を見つめたが、スキンヘッドで中東系の顔立ちというほかには何の特徴もなかった。邪悪な男は、ショッピングモールですれ違ってもまったく記憶に残らないような顔をしていた。

マリアはこのクラウドストレージのモデレーターを2年半ほど務めているが、この年末に辞めて医学部に進学する予定だ（編注：オリジナル記事は2014年10月掲載）。

だが、あの目隠しされた少女の動画は、仕事を辞めてもずっと頭から離れないだろう、とマリアは言う。「忘れられるかどうかわかりません。あの動画を見たのはずっと前ですが、いまでも目に焼き付いています。昨日見たばかりのように」

The Laborers Who Keep Dick Pics and Beheadings Out of Your Facebook Feed

RECOMMEND

ポルノを自動識別するAIができるまで

現在そのほとんどが人力によって行われているコンテンツ・モデレーション。しかし近い将来、人工知能によって不適切画像や動画が自動的に消去される日が来るかもしれない。Twitterが試みる、ポルノを学習するAIの実装までのストーリー。