问题描述没看懂,姑且认为题主问的就是“量子纠缠的数学表达用什么算法?”
一般情况下量子力学用的数学基本上也就是微积分和线性代数,深一点的话就是复变函数和数理方程,再深一点就是张量运算和群论了。
具体到纠缠态这块儿,复合系统的态矢量其实就是子系统态矢量的张量积的线性叠加形式。算符的情况则复杂一些,需要你学过李代数的知识,有的时候可以是子系统算符的张量积(宇称),有的时候则是子系统算符的直和形式(角动量)。