GPT-4を使って言葉ダイエット: 自動添削で見つけた制約の難しさ

はじめに

私はあるスタートアップ企業でエンジニアをしています。主に、資金繰りに悩む人々をサポートするサービスの開発に取り組んでいます。

先日のブログで紹介した「言葉ダイエット」で人に伝わりやすい文章の書き方のコツを学びました。1つ問題点があり、定着しているかどうかは自分で意識して見直す必要があります。問題を解決するためにGPT-4(※ 以後GPTと呼びます)に「言葉ダイエット」のエッセンスを覚えてもらいその観点で自動添削してもらおうと考えました。

問題解決をする過程でGPTの弱点だと思う観点が出てきました。この記事では、筆者が感じたGPTの弱点について紹介したいと思います。 GPTに興味がある方や文章の添削を自動化したい方などは、是非一読してみてください。

GPTと言葉ダイエットの概要

GPT

GPTとは模擬司法試験に受験者の上位 10% 程度のスコアで合格できるような自然言語処理モデルです。(※ 専門的な知識を持たない筆者の言葉なのでご了承ください) 何も知らない人向けの言葉で伝えると、ほぼ人間のように会話できるとっても賢いチャットBotくんです。

気になる方は公式ページを見て下さい。

openai.com

言葉ダイエット

「言葉ダイエット」の基本概念は、簡潔でわかりやすい文章を書くことを目指すアプローチです。

様々な観点での文字数削減の手法が書籍には書いてありました。 一例を挙げると、「前後の文脈から主語が明らかに読み取れる場合には省略しよう」のような観点です。

より詳しく知りたい方は、書籍の購入や私が書いた記事を是非読んでみてください。

poogineer3.hatenablog.com

GPTに言葉ダイエットのエッセンスを教える

添削してもらうテンプレートを作成

実際に添削してもらうにあたり、テンプレートをGPTに与えました。 テンプレートを与えることによって、決まった形式で添削した文章を生成できます。制約を与える際も、あらかじめテンプレートを用意することで簡単になります。 以下が実際に初期に与えたテンプレートのプロンプトです。(コピー&ペーストできるように画像ではなくテキストにしておきました)

次から私が入力した文章を添削して返却するような振る舞いをしてください。
時には「制約:」プレフィクスと共に文章送ることもあるので、その際はその制約を添削の観点に付け加えてください。
添削する際は元の文章の長さや意味を保つことを意識してください。
添削結果を出力する際は以下のフォーマットに沿って出力してください。

【言葉ダイエットパーサー】

★添削した文章★
「添削した文章が入れてください」

実際に添削してもらった際に出力される内容

画像の通り、与えたフォーマットに沿って出力されます。めっちゃ賢くて便利ですね!

制約としてエッセンスを与える

「言葉ダイエット」のエッセンスを制約として取り入れ、文章を添削してもらいました。

制約を与える

実際に制約を与えている様子
画像のように制約を箇条書きで与えます。(現在与えている制約について復唱するのはとっても賢いですよね!!)

制約を取り除く

実際に制約を取り除いている様子
与えた制約が良くない場合は簡単に取り除くことができます。

GPTで制約をつけて添削する中での気づき

制約を忘れてしまう

段落の名前通り制約をたびたび忘れてしまいます。厄介なことに制約を列挙してもらうか自分で気づく以外に制約が欠けていることに気づけません。笑

忘れてしまう仕組みについてはよく分かってないので、有識者の方いたら是非教えてもらいたいです。

忘れる前に制約を追加した時の様子
画像の内容通り制約の内容復唱しているのもあり、ちゃんと生成される文章も制約に沿ったものになっていました。

何回か遊びで文章を変換させていたところ、精度が悪くなったのでどんな制約があるか聞いてみると、、、

制約がうまく反映されていなかったので、設定されている制約を聞いている様子
8つぐらい制約を与えていましたが、明らかに減っていました。笑

抽象的すぎる制約は良くない

GPTを利用して文章を添削する中で気づいたことがあります。それは、制約の内容次第ではとても細かく言語化する必要があるということです。 実際にうまく添削してくれなかった制約を事例を基に説明します。(※ 例文にはLIGさんの意識高い系文書を使用)

「専門的な横文字は禁止」という制約を設けて添削してもらった様子

「リアル」という単語は一般的に理解されている横文字です。本来であれば変換して欲しくないですが、GPTは命令や制約にはとても忠実なので修正されています。細かいニュアンスを言語化すればうまく制御できそうですが、具体的に与えると制約が膨大な量になってしまいそうですね。笑

具体性がない制約を与えると、期待している結果は返ってこないと気付かされました。

まとめ

本記事では、言葉ダイエットのエッセンスをGPTに取り入れ、自動添削を試みる過程で見つけたGPTの弱点について述べました。GPTは非常に賢い為、制約を与えることで特定の観点での添削を可能にします。しかし、制約が抽象的すぎると期待通りの結果が得られないことが分かりました。 GPTは制約を忘れることがあるため、定期的に制約を確認する必要があります。今後のGPTの改善に期待したいですね。

GPTは今後の文章作成において大きなサポーターになると筆者は思っています。皆さんもうまく活用して効率的に文章を書いていきましょう!