マイコンの40倍速いものをFPGAに作る

この前、DDR2 SDRAMの読み書きができるようになったので、実際に画像処理を行う回路を設計することにした。

とりあえずは8近傍のフィルタを作ってみることにした。

ある点の上下左右斜め8画素を含めた3×3の各画素に係数をかけて総和を取るというフィルタですね。

係数の設定次第でシャープフィルタになったり平滑フィルタになったりする。

コンピュータ応用工学の授業でも出てきたフィルタですしね。


というわけで回路を設計する。

DDR2 SDRAMはシーケンシャルアクセスでないとその性能は生かせない。

というわけで一行ずつ一気にアクセスして、FPGA上のブロックRAMにキャッシュすることを考えた。

ブロックRAM1つで1行半ぐらい入るので、これを3つ使って、3行分持つことにした。

これを入れ替えて常に3行持ちながら効率よく処理していこうと考えた。

DDR2 SDRAMからMIG経由で読み書きするに当たっては2ワードずつセットで取り扱う。

処理するに当たっては4×3の画素のデータから2画素分の処理結果を作って2ワード分の書き込みデータを一気に作ろうと考えた。

3×3の処理ではかけ算9回・足し算8回必要だが、これを2つ並列にすることにした。


方針が決まったところでVerilogを書こうと思ったのだが、負の数の取扱について知らなかったので調べてみた。

signedというのをつければ符号を考慮して処理してくれるらしい。

ところがsignedとsignedの演算は符号を考慮するが、signedとunsignedの演算は符号を考慮しないらしい。

というわけでunsignedからsignedへの変換が必要で、これは符号ビットを補って行う。

module elem1(input [15:0] IN,input signed [7:0] K,output signed [11:0] OUTR,OUTG,OUTB);
  wire signed [4:0] INR,ING,INB;
  assign INR={1'b0,IN[11:8]};
  assign ING={1'b0,IN[7:4]};
  assign INB={1'b0,IN[3:0]};
  assign OUTR=K*INR;
  assign OUTG=K*ING;
  assign OUTB=K*INB;
endmodule

符号ビットを補うと行っても0を補うだけですけどね。

ただ、いちいちこういうことを書くのは非常にめんどくさい。

signed同士になればあとは簡単でただ計算を書くだけでいい。適当に処理してくれる。


あとは総和を取って、その結果から符号を取って完成。

module elem2(input [15:0] IN00,IN01,IN02,IN10,IN11,IN12,IN20,IN21,IN22,
             input signed [7:0] K00,K01,K02,K10,K11,K12,K20,K21,K22,
             output [15:0] OUT);
  wire signed [11:0] MOUT[8:0];
  wire signed [15:0] SUM_S;
  wire [14:0] SUM_U;
  elem1(.IN(IN00),.K(K00),.OUT(MOUT[0]));
  //略
  assign SUM_S=MOUT[0]+MOUT[1]+MOUT[2]+MOUT[3]+MOUT[4]+MOUT[5]+MOUT[6]+MOUT[7]+MOUT[8];
  assign SUM_U=SUM_S<0 ? -SUM_S : SUM_S;
  assign OUT=SUM_S[14:10]>0 ? 4'hf : SUM_S[9:6];
endmodule

入力も9つあれば係数も9つあるのでめんどくさい。ひたすら繰り返しだ。

generateとか使うべきなのかも知れんが。

総和を取ってSUM_Uに入れて、それの絶対値をSUM_Sに入れる。

そしてこれを1/64、すなわち6ビット右シフトして、4ビットに納める。4ビットを超えるなら最大値にする。

なので係数は64倍して整数で表して与えるわけね。


あとメモリの読み書きする回路とかFIFOとか作って合成してみた。

意外とすんなり合成できた。乗算器はFPGA上に20個あるが、消費量は18個なのでなんとか足りた。

ところが、1クロックに遅延が収まらないと出てくる。

乗算して総和というのが無茶だったのかも知れない。

そう考え、乗算結果をFFに入れて、次のクロックで総和を取ることにした。

ところがこれでも遅延が収まらないと出てくる。総和の方が問題らしい。

RTL回路図を表示してみたら、MOUT[0]+MOUT[1]の結果とMOUT[2]を足すなどと言う図が出てきた。

多分これをそのまま合成してるから、MOUT[0]からSUM_Sの間があまりに長くなって遅延が収まらないと言っているのだと考えた。

そこでこれをこう書き換えてみた。

  assign SUM_S=((MOUT[0]+MOUT[1])+(MOUT[2]+MOUT[3]))+((MOUT[4]+MOUT[5])+(MOUT[6]+MOUT[7]))+MOUT[8];

誰でもこういうことは思いつきそうなもんですが。論理合成ツールもあほじゃないからこれぐらい考えるだろうと思った。

しかし、こんな書き換えでこの問題は解決した。こういうことってあるんだな。

かくして2クロックでフィルタの演算を2画素分行う回路が合成・配線できた。

もしかしたら1クロックでも済むのかも知れないけど、総和を取ってる時には次の乗算ができるから実質1クロックで済むのでこのままで行こうと思う。


さて、これはマイコンに比べてどれぐらい早いのか。SuperHと比較してみた。

SuperHには積和演算を行うMAC命令がある。(Rn)×(Rm)+MAC→MACという演算を1命令で行える。

信号処理に便利そうですね。まぁそれを意図して作った命令なのは明らかですが。

SuperHはほとんどの命令を1クロックで処理するのが特徴だが、このMAC命令は2クロックかかる。

今回作った回路では実質1クロックで9回の積和演算を行う回路を2つ作ったので18回の積和演算を行う。

これはSuperHでは36クロックかかることだ。

実際にはSuperHで同じことをやろうとすると、アドレスを変更したりとかそういう命令もいるだろうから40クロック分ぐらいに相当しそうだ。

この回路は50MHzで動いているから、同じぐらいのスピードでSuperHで処理するためにはクロック周波数を2GHzにしないといけない計算になる。

SuperHの最上位モデルでも600MHzとかだから、マイコンの世界では考えられないスピードで処理できることがわかる。


乗算器を18個作ったり、9つの総和を1クロックで取ったりすることができたからこそこのスピードはあるわけですね。

ただ、FPGAにより実現できる回路の規模というのはもちろん限りがある。

なので、今回みたいに1クロックで所定の処理ができるのかといわれるとそうとは限らない。

けどうまくやればマイコンよりよっぽど速い動作はできると思いますよ。


ただ、その一方で問題なのがパラメータの変更がめんどくさいこと。

ちょっとでもパラメータを変えたら論理合成からやり直しなのだが、これ10分ぐらいかかる。

やはり回路を作るというのは簡単なことではない。

そこでマイコンとの組み合わせという案が出てくる。

マイコンのプログラムは簡単に変更できる。そしてFPGA上にマイコンを作ることが出来る。

これから今回のフィルタなら係数を変えられるようにすれば回路を作り直すことなくパラメータを変更できる。

XilinxのFPGAの上に載せるマイコンと言えばMicroBlazeか。たしかライセンスがあるはずだから回路完成したら挑戦してみようと思う。