プロジェクト間ネットワーク接続機能(ネットワークコネクタ拡張)を使って、異なるAZに配置された別プロジェクト同士を接続できますか。

できません。プロジェクト間ネットワーク接続機能では、接続するリソース(仮想ルータとポート)は、同一AZ内のリソースである必要があります。異なるAZに配置された別プロジェクト同士の場合、インターネット経由での通信であれば可能です。