yuuki/writing.txt

## writing.txt
最近の生成AIの興隆は、これまでの新しいソフトウェア技術の登場よりも、直感では非常に大きなインパクトを持っているように感じている。今この瞬間できることはまだまだといえばそうだが、研究者やエンジニアでない一般の人も実際に使えるようになり、認知が一気に拡大した。そうすると、お金と人材の二次的・三次的な流動があり、新しい技術やプロダクトの登場がより加速していく。

このような状況に対して、様々な考えをもつことができる。例えば次のようなものが挙げられる。

1. 近年中にAGIが誕生し、シンギュラリティが起きる。AIに労働をすべてを任せ、AIに人間社会をコントロールしてもらう。
    1. AGIは今の生成AIの延長線上にある
    2. AGIは生成AIとは根本的に異なるアーキテクチャから生まれる
2. AGIが誕生するが、AIに強い制限をかけ、人間社会に大きな影響を与えないようにする
3. AGIレベルには達せず、現状のChatGPTの少し賢い版のレベルにとどまるが、APIを通して広く様々な製品に浸透する。ツールとして便利に使えばいい。
4. 倫理的・法的観点で、現状のChatGPTですら制約をかけられ、利用を大きく制限される。（実際にイタリアでは一次的に利用が禁止された）

このいずれかの特定の考えを自分の考えとして採用し、その他の可能性を切り捨ててもよい。しかし、単に認知負荷が高くなって考えるのがめんどくさくなったが故に、単純でありそうな結論に飛びついて、防御反応（正常性バイアスなど）を示すだけになってしまうのも、自分個人としては避けたい。

そのため、いずれの可能性もありうるとして、全ての可能性が重なり合った状態で留めておき、情報を収集したり、遊んだり、考えることをやめないようにしていこうと思った。今は、実験スクリプトの実行中とか食事中とか寝る前にキャッチアップしている。しかし、情報量が多すぎるし、プログラム書いて遊んでみたいことも山ほどあって個人の空き時間ではどうにもならんという気持ちになってきている。

最近AIの話を研究所の同僚と話をしていて盛り上がって感情を同期できる人がいることがわかってよかった。なんで僕は生成AIに興味もってるんだっけという話になった。直近の僕の研究には直接的には関係がなく、もともと予定していたことをやるだけだ。博士号取得への焦りもあるので、直近の論文化以外のことをやる気もあまりないはず。その一方で、生成AIへの好奇心と危機感が、GPT-4のアナウンスあたりから徐々に高まってきている。

1. 日々の作業の効率化あるいは遊び化。会議のアジェンダとかも機密情報に触れない範囲なら生成できるし、人事考課の文章も生成できそう。まだ気づいていない活用方法が山ほどありそう。
2. ソフトウェア開発の常識がかわるかもしれない好奇心と危機感。 実際に、副業先でも当たり前にChatGPTを使ったらどうなるかの議論がでてきて、機能のデモがでてきていたりする。前職でも、MLエンジニアでない人が最近MLを組み込んだ機能をリリースしていた。MLって専門的な人がやることで、普通のソフトウェアエンジニアは全く触れないか、書籍で勉強して砂場でモデルを動かすぐらいのことがほとんどだったのに、少なくともアプリケーションレイヤでの開発の常識が変わってしまった。
3. AIOps研究者としての好奇心と危機感。言語モデルでは時系列データは扱えなさそうなことはわかったが、テキストログやトレースログは扱えるので、研究分野に近いうちに大きな影響を与えるかもしれない。またGPTの基礎技術であるTransformerは時系列データも扱えるようなので、今後の研究方針に影響を与えそうだ。
4. AIそのものへの好奇心。AI前提で研究ビジョンを考えていたので、AI分野そのものがどう発展していくのか気になる。本当に今の延長線上のLLMだけでAGIに到達するのか、あるいはなにが足りないのかとか。 [大規模言語モデルの驚異と脅威](https://speakerdeck.com/chokkan/20230327_riken_llm)]にかかれている自然言語処理研究の近年の歴史をみると、インターフェイスが今のプロンプト形式になったのもたまたまではなく意味があることがわかっておもしろい。プロンプトであれこれするのも小手先の話に最初はみえたが、少なくともその中には過去にAI系トップ会議で論文になっているプロンプトデザインの手法もある。
5. 社会の変化の好奇心と危機感。現状のLLMだけでもある程度の社会の変化が想像できる。しかし、それ以上に、AGIが誕生するとすると、近代の西洋的な人間主義の思想は崩壊するし、知的生産をAIが担うようになれば経済成長をひたすら目指す資本主義に従う必要もなくなるかもしれない。こうしたことはだいぶ前から議論されていたが、思ったよりその日は近いのかもしれない。個人でできることはあまりないように思うが、今まで当たり前すぎるぐらい当たり前だったことに疑問を持ったりする良い機会だと思っている。
	最近の生成AIの興隆は、これまでの新しいソフトウェア技術の登場よりも、直感では非常に大きなインパクトを持っているように感じている。今この瞬間できることはまだまだといえばそうだが、研究者やエンジニアでない一般の人も実際に使えるようになり、認知が一気に拡大した。そうすると、お金と人材の二次的・三次的な流動があり、新しい技術やプロダクトの登場がより加速していく。

	このような状況に対して、様々な考えをもつことができる。例えば次のようなものが挙げられる。

	1. 近年中にAGIが誕生し、シンギュラリティが起きる。AIに労働をすべてを任せ、AIに人間社会をコントロールしてもらう。
	1. AGIは今の生成AIの延長線上にある
	2. AGIは生成AIとは根本的に異なるアーキテクチャから生まれる
	2. AGIが誕生するが、AIに強い制限をかけ、人間社会に大きな影響を与えないようにする
	3. AGIレベルには達せず、現状のChatGPTの少し賢い版のレベルにとどまるが、APIを通して広く様々な製品に浸透する。ツールとして便利に使えばいい。
	4. 倫理的・法的観点で、現状のChatGPTですら制約をかけられ、利用を大きく制限される。（実際にイタリアでは一次的に利用が禁止された）

	このいずれかの特定の考えを自分の考えとして採用し、その他の可能性を切り捨ててもよい。しかし、単に認知負荷が高くなって考えるのがめんどくさくなったが故に、単純でありそうな結論に飛びついて、防御反応（正常性バイアスなど）を示すだけになってしまうのも、自分個人としては避けたい。

	そのため、いずれの可能性もありうるとして、全ての可能性が重なり合った状態で留めておき、情報を収集したり、遊んだり、考えることをやめないようにしていこうと思った。今は、実験スクリプトの実行中とか食事中とか寝る前にキャッチアップしている。しかし、情報量が多すぎるし、プログラム書いて遊んでみたいことも山ほどあって個人の空き時間ではどうにもならんという気持ちになってきている。

	最近AIの話を研究所の同僚と話をしていて盛り上がって感情を同期できる人がいることがわかってよかった。なんで僕は生成AIに興味もってるんだっけという話になった。直近の僕の研究には直接的には関係がなく、もともと予定していたことをやるだけだ。博士号取得への焦りもあるので、直近の論文化以外のことをやる気もあまりないはず。その一方で、生成AIへの好奇心と危機感が、GPT-4のアナウンスあたりから徐々に高まってきている。

	1. 日々の作業の効率化あるいは遊び化。会議のアジェンダとかも機密情報に触れない範囲なら生成できるし、人事考課の文章も生成できそう。まだ気づいていない活用方法が山ほどありそう。
	2. ソフトウェア開発の常識がかわるかもしれない好奇心と危機感。実際に、副業先でも当たり前にChatGPTを使ったらどうなるかの議論がでてきて、機能のデモがでてきていたりする。前職でも、MLエンジニアでない人が最近MLを組み込んだ機能をリリースしていた。MLって専門的な人がやることで、普通のソフトウェアエンジニアは全く触れないか、書籍で勉強して砂場でモデルを動かすぐらいのことがほとんどだったのに、少なくともアプリケーションレイヤでの開発の常識が変わってしまった。
	3. AIOps研究者としての好奇心と危機感。言語モデルでは時系列データは扱えなさそうなことはわかったが、テキストログやトレースログは扱えるので、研究分野に近いうちに大きな影響を与えるかもしれない。またGPTの基礎技術であるTransformerは時系列データも扱えるようなので、今後の研究方針に影響を与えそうだ。
	4. AIそのものへの好奇心。AI前提で研究ビジョンを考えていたので、AI分野そのものがどう発展していくのか気になる。本当に今の延長線上のLLMだけでAGIに到達するのか、あるいはなにが足りないのかとか。 [大規模言語モデルの驚異と脅威](https://speakerdeck.com/chokkan/20230327_riken_llm)]にかかれている自然言語処理研究の近年の歴史をみると、インターフェイスが今のプロンプト形式になったのもたまたまではなく意味があることがわかっておもしろい。プロンプトであれこれするのも小手先の話に最初はみえたが、少なくともその中には過去にAI系トップ会議で論文になっているプロンプトデザインの手法もある。
	5. 社会の変化の好奇心と危機感。現状のLLMだけでもある程度の社会の変化が想像できる。しかし、それ以上に、AGIが誕生するとすると、近代の西洋的な人間主義の思想は崩壊するし、知的生産をAIが担うようになれば経済成長をひたすら目指す資本主義に従う必要もなくなるかもしれない。こうしたことはだいぶ前から議論されていたが、思ったよりその日は近いのかもしれない。個人でできることはあまりないように思うが、今まで当たり前すぎるぐらい当たり前だったことに疑問を持ったりする良い機会だと思っている。