(a) 항등식(x2+Ax+3a2+5a+1)(x2+Bx+a)=x4+(6a+2)x3+(11a2+10a+1)x2+(6a3+14a2+4a)x+3a3+5a2+a에서 이차항의 계수를 비교하면 a+AB+3a2+5a+1=11a2+10a+1이므로AB=(11a2+10a+1)−a−(3a2+5a+1)=8a2+4a⋯㉠이다. 삼차항의 계수를 비교하면A+B=6a+2⋯㉡이다. 따라서 ㉠과 ㉡에 의해 B(6a+2)=BA+B2=8a2+4a+B2이다. 즉,B2−(6a+2)B+8a2+4a=0이므로 B=2a 또는 B=4a+2이다. ㉡에 의해 A=2a, B=4a+2이거나 A=4a+2, B=2a인데, A=4a+2이고 B=2a인 경우에만 주어진 등식을 만족시킨다. 그러므로A=4a+2, B=2a이다.
(b) (a)에 의해 f(x)=(x2+(4a+2)x+3a2+5a+1)(x2+2ax+a)이므로p(x)=x2+(4a+2)x+3a2+5a+1, q(x)=x2+2ax+a라 하자.ma≥0이면 모든 실수 x에 대하여 f(x)≥0이므로, 모든 실수 x에 대하여 p(x)와 q(x)의 부호는 서로 같아야만 한다. 이제 두 이차방정식 p(x)=0, q(x)=0의 판별식을 각각 D1, D2라 하면 4D1=4D2=a2−a이다.(i) a2−a≤0인 경우모든 실수 x에 대하여 p(x)≥0, q(x)≥0이다. 따라서 0≤a≤1이다.(ii) a2−a>0인 경우두 방정식 p(x)=0, q(x)=0이 각각 서로 다른 두 실근을 가지므로, 두 부등식 p(x)≤0, q(x)≤0을 만족시키는 해의 범위가 같을 때에만 f(x)=p(x)q(x)≥0이다. 그런데 p(x)와 q(x)의 이차항의 계수가 모두 1이므로 p(x)=q(x), 즉 4a+2=2a와 3a2+5a+1=a이다. 따라서 a=−1이다.그러므로 (i)과 (ii)에 의해 {a∣ma≥0}={a∣a=−1 또는 0≤a≤1}이다.