GPTの仕組みと限界についての考察（１） - conceptualization
GPT4が登場してChatGPTが盛り上がってますね。 本記事は、GPT︵を支えるTransformerという仕組み︶をChatGPTユーザにとって分かりやすく説明し、その能力と限界についての見通しをよくしよう、という趣旨になります。 少し長くなりそうなので、全部で記事を3回に分けようと思います。 ︵1︶大まかな背景と概要‥本記事 ︵2︶GPTの能力と可能性‥実際の使用例とTransformerの仕組みを踏まえて説明 ︵3︶GPTの限界と未来展望‥Transformerの仕組みが持つ限界と研究の進展を予想 GPT3と4の違い‥ トークン長とは何か？ まずここから話を始めます。GPT-3は、パラメータ数が750億個︵850GBの容量を食う︶でトークン長が4097(GPT-3.5)でした。GPT-4は、パラメータ数は非公開でトークン長は32768ですので、ちょうど8倍になります。 さて、トーク
