[Grant Application]: SuperScalar - Taiko Prover Optimization

[JasonStarlight]

Project Description

SuperScalar is a company specializing in cutting-edge computing acceleration solutions. Our focus areas include zero-knowledge proof and related algorithm optimization, FPGA development, and ASIC design.
We have been working on Taiko's ZKP acceleration and halo2 plonk since 2022, including GPU, FPGA design. And, we are
familiar with zkEVM, Halo2 and Plonk algorithm.

This project has following targets:

1. Deliver GPU acceleration baseline solution to Taiko community, including MSM,NTT, Evaluator and so on.
2. Launch a FPGA based prover for Taiko community.
3. Design a ZKP proving benchmark tool including test-cases, log analysis and hardware platform for Taiko.

Category

Zero-Knowledge Proofs (ZKP)

Timeline

1. 30, Sep, 2023: Deliver GPU acceleration baseline solution.
2. 30, Oct, 2023: Finish the ZKP proving benchmark tool.
3. 30, Dec, 2023: Launch FPGA prover.

Project Plan

A. GPU Accelerator Baseline
As there are many provers who have GPU device, if there is a baseline GPU version, they may join to Taiko proving system. 
Thus, the overall performance can be accelerated. We could deliver and open-source our GPU acceleration into Taiko codes.

The innovation here includes:

• A HAL (hardware abastration layer) for GPU (to be compatible with FPGA & ASIC) will be proposed.
• To reduce data copy between CPU& GPU, a shared memory management will be developed that will be used in varaious acceleration modules.
• Some fusion in MSM&NTT to accelerate together.

B. An independent Taiko FPGA Prover designed for individual members of the community.
The superscalar team has a lot of experience in cryptography's FPGA acceleration. 
We have been developing zkEVM FPGA accelerators for several months. And it will be launched soon.
Compared with GPU, the FPGA platform can have a smaller size with multiple chips, and it has lower power.
In order to promote the decentralization of Taiko, we have developed a high-performance FPGA prover. This allows individual members of the community to participate using such a prover. Although it's much more compact in size compared to GPU machines, it still maintains high performance.
To support zkEVM proving system, Taiko FPGA prover has below innovative design:

• Support large DDR. Each FPGA has at most 384GB memory.
• Support inter-connection in a board or cross-boards with high bandwidth.
• Multiple provers can also be connected with each other to comprise of a ZKP proving cloud.

The computation board



The design of ZKP proving cloud with multiple FPGA prover



The circuit board



The chassis


C. Taiko Proving Benchmark Tool
It's important to have a benchmark tool when we optimize the computation,and we can see CPU/GPU/FPGA performance data 
for each submission in master branch and compare the performance in different platform.
The Taiko proving benchmark system includes both hardware and software. It can run latest committed codes and output key 
metrics of ZKP proving.The hardware includes CPU/GPU/FPGA platform. The software includes:

• Several standard tests cases under different degrees: MSM, NTT, plonk example, a typical block's proving. 
• Key logs to output and displayed some metrics a excel document. The metrics include proving time (with detailed split 
  among each key steps), CPU and memory usage.

Project Impact

1. Improve the performance of Taiko ZKP prover, and reduce the total cost of proving.
2. Make the ZKP GPU/FPGA prover accessible to the whole Taiko community to promote the decentralization.
3. The benchmark can compare different acceleration solutions, including CPU, GPU & FPGA and make sure the codes sub-
   mission won't break the performance and push the Taiko ZKP accelerators' performance to the limit.

Team Information

Lee/CEO

• Previously cofounder of CPU & GPU startup
• Technical Expert in High performance CPU & Crypto mining chips architecture
• Master & Bachelor of USTC

CX/ASIC Design Director

• Previously ASIC Design director of startups
• 15 years+ AISC design experience.
• Master of Illinois Institute of Technology 

Jason/Software Director

• Previously AI software lead in semiconductor company
• 10 years+ in algorithm and AI software, compiler design
• Master of USTC

Point of Contact

development@superscalar.io

Previous Work

We have been working on Taiko's ZKP acceleration since 2022, including GPU, FPGA design. 

• We partnered with ZKPool team to delivery GPU accelerator for Taiko A3&A4 project. It achieves the 12 seconds proving time
   in A3, which is the fastest prover.
• We already developed Aleo FPGA prover, which is based on ZKP & KZG, and the performance is better than GPU RTX 3090 
  card.
• We have launched several POW miner machines in past years, including blake, SHA hash algorithm and so on.
• We have much experience in RISCV CPU design also, which will be used to design a RISCV based ZKP chip.
• We are one of top FPGA customers of Intel&AMD in Asia-Pacific Region.

Additional Information

We also compared our FPGA performance under ZPrize 2022 MSM competition criteria:

• ZPrize GPU Rank 1st: 2.52s @ GPU RTX 3090/batch=4
• ZPrize FPGA Rank 1st: 5.86s @ single FPGA @280MHz
• Our result: 0.7s @ single FPGA @600MHz

Agreement

• I agree to comply with the terms and conditions of the grants program