我们首先尝试获取以下 GF 的封闭形式
$$ \sum_{i\ge 0} \sum_{j\ge 0} \binom{i+j}i^2 x^i y^j $$
可以通过对 $\frac1{(1-x-y)(1-z-w)}$ 求两次对角线得到,但是这里用另一种方法进行推导:
考虑 BGF 方程组
$$ \left\{ \begin{aligned} f(x, y) &= \frac x{1-g(x, y)} \\ g(x, y) &= \frac y{1-f(x, y)} \end{aligned} \right. $$
据此,考虑逆用多元 Lagrange 反演:
$$ \begin{aligned} \binom{n+m}n^2 &= [x^n y^m] \frac1{(1-x)^{m+1}(1-y)^{n+1}} \\ &= [x^n y^m] \frac1{(1-x-y)(1-x)^m(1-y)^n} \left|\begin{matrix}1 & -\frac x{1-x} \\ -\frac y{1-y} & 1\end{matrix}\right| \\ &= [x^n y^m] \frac1{1-f(x, y)-g(x, y)} \end{aligned} $$
同时注意到
$$ \left\{ \begin{aligned} f(x, y) &= \frac{1+x-y-\sqrt{(1+x-y)^2-4x}}2 \\ g(x, y) &= \frac{1+y-x-\sqrt{(1+x-y)^2-4x}}2 \end{aligned} \right. $$
因此
$$ \sum_{i\ge 0} \sum_{j\ge 0} \binom{i+j}i^2 x^i y^j = \frac1{\sqrt{(1+x-y)^2-4x}} $$
而我们真正要算的结果是(注意和题目中的 $n, m$ 相反)
$$ [x^n y^m] \frac1{\sqrt{(1+x^2-y^2)^2-4x^2}} \cdot \frac1{1-x-y} $$
为了统一成 $x^2, y^2$,不妨在上下同乘 $(1+x-y)(1-x+y)(1+x+y)$,分子会变成 $1 + x - x^2 - x^3 + y + 2 x y + x^2 y - y^2 + x y^2 - y^3$,同时注意到分母变成 $(1+x^2-y^2)^2-4x^2$。
因此根据 $n, m$ 的奇偶性,我们的问题可以转化为,给定 $r, s$,计算
$$ [x^r y^s] \frac1{((1+x-y)^2-4x)^{3/2}} $$
这里若再施多元 Lagrange 反演的话,结果反而并不显见。@NaCly_Fish 指出,可以考虑
$$ \begin{aligned} \frac{\partial}{\partial x} \frac1{\sqrt{(1+x-y)^2-4x}} &= \frac{1-x+y}{((1+x-y)^2-4x)^{3/2}} \\ \frac{\partial}{\partial y} \frac1{\sqrt{(1+x-y)^2-4x}} &= \frac{1-y+x}{((1+x-y)^2-4x)^{3/2}} \end{aligned} $$
因此
$$ \begin{aligned}{} [x^r y^s] \frac1{((1+x-y)^2-4x)^{3/2}} &= \frac12[x^r y^s] \left(\frac{\partial}{\partial x}+\frac{\partial}{\partial y}\right) \frac1{\sqrt{(1+x-y)^2-4x}} \\ &= \frac12 \left((r+1)\binom{r+s+1}{r+1}^2+(s+1)\binom{r+s+1}r^2\right) \\ &= \frac12\frac{(r+s+1)!(r+s+2)!}{(r+1)!(s+1)!r!s!} \end{aligned} $$
至此已经可以解决问题。加以整理亦可证明原问题的答案等于
$$ \frac{\lceil(n+m)/2\rceil!\lceil(n+m+1)/2\rceil!}{\lfloor n/2\rfloor!\lfloor m/2\rfloor!\lceil n/2\rceil!\lceil m/2\rceil!} $$