Skip to content

Instantly share code, notes, and snippets.

@cia-rana
Last active January 3, 2021 12:52
Show Gist options
  • Star 0 You must be signed in to star a gist
  • Fork 0 You must be signed in to fork a gist
  • Save cia-rana/51836d60133d7956cd9331b1549c9d3e to your computer and use it in GitHub Desktop.
Save cia-rana/51836d60133d7956cd9331b1549c9d3e to your computer and use it in GitHub Desktop.
Pixar のレンダーファームについて

Pixar のレンダーファームについて

With every project does Pixar’s render farm just get bigger and bigger? Or do all of the farm servers/graphics cards/processors get upgraded with the demands of the project? https://twitter.com/RizzoBlake/status/1345112368083300352

プロジェクトが進むごとにPixarのレンダーファームは徐々に大きくなっていくのでしょうか?また、サーバー、GPU、CPUのすべてが、プロジェクトの需要に応じてアップグレードされるのでしょうか?

1/ Our world works quite a bit differently than VFX in two major ways: we spend a lot of man hours on optimization, and our scheduler is all about sharing.

Due to optimization, by and large we make the film fit the box, aka each film at its peak gets the same number of cores. https://twitter.com/pixprin/status/1345146328058269696

私たちのレンダーファームはVFXとは主に2つの点で大きく異なっています。最適化に多くの時間を費やしている点と、スケジューラは共有が鍵であるという点です。
最適化のために大抵の場合、私たちは映画を箱に合わせます。言い換えると、ピーク時の各映画はそれぞれ同じ数だけコアを占有するのです。

2/ in terms of scheduling, some brilliant folks like Josh Grant, Eric Peden have devised a way to lend extra clock cycles to neighbor processes that are underutilizing their checked out cores.

So say process A and process B each check out 8 cores and land on the same host... https://twitter.com/pixprin/status/1345146964497760256

スケジューリングに関して、Josh GrantやEric Pedenのような優秀な方々が、未処理のプログラムをコアを十分に利用していない近隣のプロセスに処理させる方法を考えました。
プロセスAとプロセスBがそれぞれ8コアを使い、同じホストで処理されているとします。

3/ process A during scene gen gets stuck using 2/8 cores.

Meanwhile process B is brute force patbtracing, using 8/8 cores.

During that time, process B uses 14/8 cores!
https://twitter.com/pixprin/status/1345147448130297856

シーンを生成するプロセスAが8コア中2コアを使用して動かなくなります。
一方で、プロセスBは、8コア中8コアを使用してブルートフォースのパストレーシングの処理を行います。
その間に、プロセスBは(8-2)+8=14コアを使用します。

4/ this means when you look at the average utilization of checked out cores across the farm, most shows hit 80-90%. So we get a little more bang for our buck!
https://twitter.com/pixprin/status/1345147769145544705

それにより、ファーム全体のコアの平均使用率はほとんどの場合80~90%に達しています。つまり、やる価値があるのです!

5/ We buy more cores when the needs of all of the upcoming projects show we need more on a consistent basis (eg for many months).

We also lease for short term bursts of need, usually for 4-8 weeks at a time. https://twitter.com/pixprin/status/1345148363046416384

今後すべてのプロジェクトが常に(例えば数か月間)より多くのコアを必要とすれば、私たちはコアを購入します。
また、短期間(通常は4~8週間)の突発的なニーズにもリースで対応しています。

6/ while each gen of new hardware is clearly faster than their predecessor, the fixed number of cores allocated to a film hasn’t changed in some time.

A film can also choose to spend their production budget on a lease if the story and/or schedule warrants the expense. https://twitter.com/pixprin/status/1345149122429403137

ハードウェアは各世代において、それ以前のものより明らかに高速になっていますが、映画に割り当てられるコアの数は一定でしばらく変わっていません。
映画はまた、物語やスケジュールが金銭的・時間的コストを保証できる場合は、リースに制作予算を費やすこともできます。

7/ last but not least, we are truly spoiled by our systems department. We have some killer storage hardware admins that make having many high IO projects IP at the same time possible! https://twitter.com/pixprin/status/1345149835603632129

最後になりましたが、システム部門の方々には本当にお世話になっています。高頻度のIOを必要とするプロジェクトを同時にレンダリングすることを可能とする驚異的なストレージハードウェアの管理がいます!

8/ not to mention the insanity of how all of systems had Soul up and running, working from home, almost overnight! And software engineers who put a lot of rapid feature dev into remote reviews. https://twitter.com/pixprin/status/1345151978934919168

家で働きながらでも、システムが一晩でソウルフル・ワールドをレンダリングできたのは狂気の沙汰ではありません!リモートでのレビューにも関わらず迅速に対応し多くの機能開発を行ったソフトウェアエンジニアも例外ではありません。

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment