'<a href='　　　　　　　　　　←これは文字列
$_SERVER['PHP_SELF']　　←これもの中身も文字列

文字列同士を結合するために . （ドット）を使われるんだよ。
正しく書くと、

print '<a href=" . $_SERVER['PHP_SELF']. "> 削除 </a>';

となる。
hrefのクォートはシングルじゃなくてダブルね。

というか、リンク先を自分と同じスクリプトにするなら $_SERVER['PHP_SELF'] すら要らんよね。
クエリ文字を付けたリンクにしたいなら↓こんな感じ。

print '<a href="?del=1"> 削除 </a>';

あと余談だけど、ダブルクォーテーションの中に変数を入れる場合は
変数を { } で囲む癖をつけておいたほうがいいよ。