[B! 人工知能] 「もうAIって人間と区別つかないよね……」　米研究者らがGPT-4などでチューリングテスト　結果は？

JULY 逆に、今でも Eliza を人間判定した人が 22% もいる、というところに目が行った。チューリングテスト自体がどの程度の信憑性か、ということが見えてくる。

情報科学

2024/05/29 リンク

ton-boo AIでももっとまともな応答返すだろみたいな人って現実世界には33％どころではなく体感もっと多そうな気がする。人間サンプル側、実験に参加しようと思う人…という時点である意味スクリーニングされてるような

2024/05/30 リンク

misshiki “GPT-4は54％、GPT-3.5は50％の確率で人間だと判定された。これは古典的なAIであるELIZA︵22％︶よりも高く、統計的にチャンスレベル︵50％︶と有意差がなかった。一方、実際の人間は67％の確率で人間と判定された。” ●自然言語処理 ●人工知能 ●GPT-3 ●GPT-4

2024/05/30 リンク

ratixjef さすがの天才チューリングも、コンピュータが大量のサンプル文章と確率分布学習によって、こんなにも知性の仕組みがないにも関わらず、人間みたいな文章書けるとは予測できなかっただけなのでは？

2024/05/31 リンク

2024/05/30 リンク

ku__ra__ge プロンプトでやるんじゃなく本気でチューリングテストを通るように追加学習させたモデルでやってほしい。

2024/05/30 リンク

kamei_rio "GPT-4は54％、GPT-3.5は50％の確率で人間だと判定された" "実際の人間は67％の確率で人間と判定された" "判定者は知性よりも言語的・社会的要因を重視"

2024/05/30 リンク

情報科学

2024/05/29 リンク

Seamless 文章チャット会話した結果,GPT-4を54％で人間と判断。判定理由の43%はスペルミスや口調等の文章内容と関係ない部分。[わざとらしい人格を演じてる][過度にくだけすぎている]

2024/05/29 リンク

「もうAIって人間と区別つかないよね……」　米研究者らがGPT-4などでチューリングテスト　結果は？

判定者が使った戦略を分析すると、36％が雑談を通じて相手の人となりを探ろうとした。また、25％が感情... 判定者が使った戦略を分析すると、36％が雑談を通じて相手の人となりを探ろうとした。また、25％が感情や経験、ユーモアのセンスを尋ねるなど、社会的・感情的なアプローチを取っていた。論理的思考や一般知識を問うたのは13％にとどまった。判定理由を分析した結果、43％が言語的スタイル︵スペル、文法、語調など︶に関するもので、24％が社会的・感情的要因︵ユーモアのセンス、人格など︶に関するものであった。知識や論理的思考に関する理由︵知りすぎている、知らなさすぎているなど︶は10％にとどまった。 AIだと判定した理由として﹁わざとらしい人格を演じている﹂﹁過度にくだけすぎている﹂﹁個性に欠けている﹂ことが挙げられた。逆に人間だと判定された主な理由は﹁人間らしく、くだけた言葉遣い﹂﹁もっともらしい受け答え﹂﹁スペルや文法の間違いを含むこと﹂などであった。以上の結果から、判定者は知性よりも言語的・社会的