当 $N$ 是偶数时，显然取全 $1$ 矩阵。

当 $N$ 是奇数时，考虑二进制第 $0$ 位，每一行每一列分别至少有一个数是 $0$，因此在二进制的更高位中，每一行每一列至少有两个 $1$。这样我们得到了答案的一个下界是 $N^2+3N$。

先构造一个 $N=5$ 的解，例如：

1 1 1 2 3
2 3 1 1 1
1 1 2 3 1
3 1 1 1 2
1 2 3 1 1

当 $N$ 变大时，只需要在一条对角线上填 $2$，另一条对角线上填 $3$，其余位置填 $1$ 即可。

当 $N=3$ 时，限制条件可以推出 $A_{2,2}=0$，所以无解。