OS X の API が、シームレスに扱える例です。

NSWindowSample.pas

uses
  Macapi.ObjectiveC, 
  Macapi.CocoaTypes, 
  Macapi.Foundation, 
  Macapi.AppKit,
  FMX.Platform.Mac

procedure SetMinSize(const iForm: TForm; const iMinW, iMin: Integer);
var
  Wnd: NSWindow; // OS X 用のクラスがそのまま使えてる
  Size: NSSize;  // こっちも
begin
  Wnd := WindowHandleToPlatform(iForm.Handle).Wnd; // NSWindow を取り出す

  Size.width := iMinW;
  Size.height := iMinH;
  Wnd.setContentMinSize(Size); // そのまま呼び出せる
end;