バカなこと言ってたらゴメン。
ここで言うカーネルドライバってmenuconfigの

Device Drivers --->
Graphics support --->
<M> Direct Rendering Manager (XFree86 4.1.0 and higher DRI support)
<M> ATI Radeon

のこと?