The followings are the task guidelines and user inteface screenshots used for constructing data through crowdsourcing. (The guidelines are writtern in Japanese.)
ある商品のレビューを読んでいただきます。
読んでいただいた商品レビューが、
商品についてポジティブ(好印象)なことを述べているか、ネガティブ(悪印象)なことを述べているかの2択を回答していただくタスクです。
ただし、レビュー内にポジティブな内容とネガティブな内容の両方が記述されている場合は、全体としてどちらに重きが置かれているかを判断してください。
【例１】
レビュー：４歳の子供にプレゼントとして購入しました。大変クオリティが高く子供は大喜びしておりました。
解答：ポジティブ
【例２】
レビュー：説明書が日本語対応していないし、付属のパーツも粗悪品でした。
解答：ネガティブ
【例３】
レビュー：バッテリーの持ちが少し悪いけど、デザインはすっきりしていて良い。
解答：ポジティブ
理由：主題と思われる後半で、ポジティブな内容が述べられていることからポジティブと判断できる。
２つの文を見て、どの程度似ているかを答えていただくタスクです。
２つの文の類似度を0~5のいずれかで答えてください。
数字が大きいほど２つの文は似ています。
以下の指標を参考に回答してください。
---------------------------------------------------
【類似度：５】
２つの文は意味が完全に一致している。
例
文１：熊が木の陰からこちらの様子を伺っています。
文２：木の陰から熊がこちらを見ています。
（２つの文は完全に意味が一致している。）
-----------------------
【類似度：４】
２つの文はほぼ意味が同じだが、重要でない部分で意味が異なる。
例
文１：草原で１頭のシマウマが草を食べています。
文２：シマウマが原っぱで、草を食べています。
（２文目に関して、シマウマの頭数が言及されていない。）
-----------------------
【類似度：３】
２つの文はある程度同じ意味だが、重要な部分で意味が異なる。
例
文１：山々が連なる大地に雪が積もっています。
文２：誰も居ないスキー場に、雪が積もっています。
（「雪が積もっている」という共通の意味を持つ一方で、雪が積もっている場所が異なる。）
-----------------------
【類似度：２】
２つの文は異なる意味であるが、細かい要素が共通している。
例
文１：鳥が巣から飛び立った。
文２：鳥が巣籠りを始めた。
（２つの文は意味が異なるが、単語「鳥」「巣」が共通している。）
-----------------------
【類似度：１】
２つの文は異なる意味であるが、話題に共通点がある。
例
文１：その女性がバイオリンを弾いています。
文２：ある若い女性がギターの演奏を聴いている。
（２つの文は意味が異なるが、「音楽」という話題で共通している。）
-----------------------
【類似度：０】
２つの文は全く異なる意味であり、話題も単語も共通していない。
例
文１：ベンチに座ってスマホをいじる女性がいます
文２：段ボール箱がたくさん積まれた部屋があります。
（２つの文は全く意味が異なり、話題も単語も共通していない。）
2つの文A, Bが与えられますので、
文Aの光景を想像してください。
想像した文Aの光景において、文Bの内容が成立し得るかを
以下の3つの選択肢から選んで回答してください。
・「Aである」ならば確実に「Bである」
・「Aである」ならば「Bであるかもしれない」
・「Aである」ならば確実に「Bではない」
以下の例をよく読んで回答してください。
例１
A：黒い犬が鳴いています。
B：犬が鳴いています。
答え：「Aである」ならば確実に「Bである」
理由：Aの内容から確実に犬が鳴いていると判断できるため。
例２
A：犬が鳴いています。
B：黒い犬が鳴いています。
答え：「Aである」ならば「Bであるかもしれない」
理由：Aの内容から、鳴いている犬が黒いかどうかは判断できないため。
例３
A：白い犬が鳴いています。
B：黒い犬が鳴いています。
答え：「Aである」ならば確実に「Bではない」
理由：Aの内容から、鳴いている犬は「白い犬」であり、確実に「黒い犬」ではないと判断できるため。
例４
A：１匹の犬が鳴きながら走り回っている。
B：黒い犬が鳴いている。
答え：「Aである」ならば「Bであるかもしれない」
理由：Aの内容だけでは、鳴いている１匹の犬が黒い犬かどうかは判断できないため。
例５
A：スケボーに興じる一人の男性がいます。
B：帽子をかぶった男性がスケートボードをしています。
答え：「Aである」ならば「Bであるかもしれない」
理由：Aの内容だけでは、スケボーに興じる男性が帽子をかぶっているかどうかは判断できないため。
例６
A：草原で２頭のシマウマが草を食べている。
B：シマウマが草原にいる。
答え：「Aである」ならば確実に「Bである」
理由：Aの内容から、シマウマが草原にいると確実に判断できるため。
例７
A：ベンチに座ってスマホゲームをしている男性がいる。
B：ベンチには女性だけが座っている。
答え：「Aである」ならば確実に「Bではない」
理由：Aの内容から、ベンチには男性が座っており、女性だけではないと確実に判断できるため。
1つの文が与えられます。
与えられた文と内容が矛盾している文を4つ作成してください。
この時「〜ない」「〜ず」などの否定語を用いた矛盾文は作成しないでください。ただし、どうしても難しい場合は4つの文のうち1文だけ否定語を用いても構いません。
【良い例】
文：犬が鳴きながら走り回っている。
回答１：犬が歩いている。
回答２：犬が静かに動き回っている。
回答３：犬が泳いでいる。
回答４：犬が寝ている。
※全ての回答が与えられた文と矛盾している上、否定語が用いられていないので適切。
【悪い例】
文：犬が鳴きながら走り回っている。
回答１：犬が走っている。
回答２：犬が鳴かないで動き回っている。
回答３：走らずに座っている犬がいる。
回答４：犬が歩いている。
※回答１は、与えられた文と内容が矛盾していないので不適切。
※回答２,３の二つの文において「鳴かない」「走らず」という否定語を含んでいるため不適切。（否定語を含む文がどちらか一つのみであれば可）
※回答４は適切。
数文からなる文章をよく読んで、文章を理解すれば答えられる質問を考えてください。ただし質問に対する答えは文章中の語句から抜き出す形となるものにしてください。
質問は文章中の言葉そのままではなく、なるべく言い換えなどを使うようにして、【質問記入欄】に書いてください。
答えは文章中(タイトルもしくは本文)からコピーし、【答え記入欄】にペーストしてください。
1つの文章に対して書いていただくのは1つの質問とその答えです。
以下に文章とそれに対する質問と答えの例を示します。
[タイトル] ヴィクトリア&アルバート博物館
1851年のロンドン万国博覧会の収益や展示品をもとに、1852年に産業博物館として開館した。1851年の万国博覧会で欧州諸国に比して英国の産業製品のデザインの質が著しく低いことが指摘され、公衆の「趣味」を教育によって啓蒙し高めるべきであるという議論が沸き起こり、装飾美術館（Museum of Ornament Art)と改名。1857年、現在のサウス・ケンジントンに移転し、サウス・ケンジントン博物館と名を改める。
質問: ヴィクトリア&アルバート博物館が産業博物館としてオープンしたのはいつか。
答え: 1852年
質問: 1851年にどの国の製品のデザインが悪いと指摘されたか。
答え: 英国
質問: ヴィクトリア&アルバート博物館は1857年にどこに移ったか。
答え: サウス・ケンジントン
[タイトル] 源頼朝
源 頼朝は、平安時代末期から鎌倉時代初期の武将、政治家。鎌倉幕府の初代征夷大将軍。河内源氏の源義朝の三男として生まれ、父・義朝が平治の乱で敗れると伊豆国へ流される。伊豆で以仁王の令旨を受けると北条時政、北条義時などの坂東武士らと平家打倒の兵を挙げ、鎌倉を本拠として関東を制圧する。弟たちを代官として源義仲や平家を倒し、戦功のあった末弟・源義経を追放の後、諸国に守護と地頭を配して力を強め、奥州合戦で奥州藤原氏を滅ぼす。建久3年（1192年）に征夷大将軍に任じられた。
質問: 源頼朝の父は誰か。
答え: 義朝
質問: 義朝が敗れた政変は何か。
答え: 平治の乱
質問: 源頼朝が征夷大将軍になったのはいつか。
答え: 建久3年
クイズを作ってください。
ただし、選択肢が3つ提示されており
そのうち【】で囲った選択肢のみが正解となり、
その他の選択肢は不正解となるようなクイズを作ってください。
作成に当たっては以下のルールを守ってください。
---------------------------------------------------------------
・クイズの文末は必ず"？"（全角）にしてください。
・選択肢の単語を直接クイズに使用しないでください。
・穴埋め問題は作成しないでください。
・知識または常識が無くても解けるクイズは作成しないでください。
---------------------------------------------------------------
良い例１
選択肢：【病院】, 飛行場, ジム
作成例：怪我をした時に行くところは？
良い例２
選択肢： 努力する, 【内容を理解する】, 考える
作成例：数学などの勉強においては、単なる暗記にとどまらず、最終的にどうする必要がある？
良い例３
選択肢：ロック音楽を作曲すること, 演奏, 【歌うこと】
作成例：カラオケに行ってやることは何？
悪い例１
選択肢：【教会】, コンピュータ, テキスト
作成例：お祈りやミサを行う場所はどこ
※文末に"？"が無いため不適切。
悪い例２
選択肢：コンサート, 【作曲】, 歌
作成例：作曲家の仕事は？
※選択肢の「作曲」がクイズの文に使用されているため不適切。
悪い例３
選択肢：【絶対】, 絶好, 革命的
作成例：危機的な状況を指す四字熟語「〇〇絶命」の◯に入る言葉は？
※穴埋め問題であるため不適切。
悪い例４
選択肢：ホンジュラス, 【ボリビア】, ペルー
作成例：４文字は？
※選択肢に関する知識・常識がなくても解答出来るため不適切。
悪い例５
選択肢：シャワー, 夕立, 【ファミリー】
作成例：フからはじまるのは？
※選択肢に関する知識・常識がなくても解答出来るため不適切。
3択クイズの答えとして正しくない選択肢を２つ追加してください。
３つの選択肢の内、正解の選択肢のみ【】で囲っています。
以下のルールを守って回答をお願いいたします。
-------------------------------------------------------
・2つの選択肢の間を"@"（半角）で区切って回答してください。
例えば、選択肢として「太郎」と「二郎」を追加する場合は
「太郎@二郎」と回答してください。（「」は不要です。）
・クイズの答えとして正しくない選択肢を追加してください。
・すでに存在する選択肢を回答しないでください。
・クイズの問題文に含まれている単語を追加しないでください。
・追加する選択肢はクイズの問題文と
ある程度関連するものでお願いします。
-------------------------------------------------------
良い例１
問題：甘くて赤い果物といえば何？
選択肢：【りんご】, みかん, パイナップル
回答例：ぶどう@メロン
良い例２
問題：山と山の間にあるものは？
選択肢：【谷】, 陸地, 狭間
回答例：海@森
悪い例１
問題：甘くて赤い果物といえば何？
選択肢：【りんご】, みかん, パイナップル
回答例：いちご@さくらんぼ
※「いちご」、「さくらんぼ」は問題の答えとなってしまうため不適切
悪い例２
問題：山と山の間にあるものは？
選択肢：【谷】, 陸地, 狭間
回答例：陸地@海
※「陸地」がすでに存在する選択肢であるため不適切
悪い例３
問題：1日のはじめに食べるごはんは？
選択肢：【朝飯】, おやつ, ブランチ
回答例：ごはん@ディナー
※「ごはん」が問題文に含まれているので不適切
悪い例４
問題：部屋の温度を自動で温める家電は？
選択肢：【暖房】, 煙突, 角材
回答例：バナナ@おやつ
※「バナナ」, 「おやつ」はクイズの問題文と全く関連の無い選択肢であるため不適切
５択クイズに答えてください。
クイズの答えとして正しい選択肢を一つ選んでください。
ただし
・答えがわからない
・問題文の意味がわからない
・問題文の形式がおかしい
など、クイズに答えられない際は「わからない」を選んでください。
例１
問題：簡単にクリアできるゲームはなんという？
選択：ヌルゲー, クソゲー, ネトゲ, ケーキ, ウマ, わからない
答え：ヌルゲー
例２
問題：裏の反対は何？
選択：子ネコ, 表, 向こう, 図, 横, わからない
答え：表
例３
問題： この中に数字が隠れているよ、どれかな？
選択：チューブ, 日傘, タクシー, カスタネット, 雪, わからない
答え：わからない
※問題文の意味がわからないため。
例４
問題：Sell goodsの和訳は？",
選択：買い物, お金, 商品を買うこと, 商品を販売すること, 商品を見ること, わからない
答え：わからない
※問題の形式がおかしいため
