Pallatom 논문 리뷰
들어가며
Protein design pipeline은 오랫동안 단계적으로 구성되어 왔습니다. Backbone을 먼저 만들고, 그 backbone에 맞는 sequence를 ProteinMPNN 같은 inverse folding model로 붙입니다. Sidechain packing이나 all-atom geometry는 다시 별도 단계에서 다룹니다. 이 방식은 실용적이지만, sequence와 sidechain chemistry가 generation 과정 안에서 직접 함께 움직이지 않는다는 한계가 있습니다.
Pallatom은 이 문제를 정면으로 다룹니다. 2025년 bioRxiv preprint “P(all-atom) Is Unlocking New Path For Protein Design”은 residue마다 14개 heavy-atom slot을 두는 atom14 representation을 사용해, sequence와 all-atom coordinates를 함께 생성하려는 모델입니다. Fudan University와 LEVINTHAL Biotechnology 관련 저자들이 발표했고, GitHub repository도 공개되어 있습니다.
이 논문의 질문은 단순합니다. Backbone만 만들고 sequence를 나중에 붙이는 대신, 처음부터 all-atom coordinate distribution을 생성하면 sequence도 그 geometry에서 함께 읽어낼 수 있을까. Pallatom은 atom14 virtual atom padding과 dual-track atom/residue decoder로 이 문제에 접근합니다.
Backbone-first design의 chicken-and-egg 문제
기존 protein design은 자주 두 조건부 문제로 나뉩니다. Structure prediction은 `P(structure | sequence)`를 풀고, fixed-backbone sequence design은 `P(sequence | backbone)`을 풉니다. Backbone generator는 `P(backbone)`을 sample한 뒤 sequence design model을 붙입니다. 이 step-wise approach는 강력하지만, sequence와 sidechain atom set이 서로 얽힌 문제를 generation 중에 직접 풀지는 않습니다.
All-atom generation에서는 chicken-and-egg 문제가 더 분명해집니다. Amino acid identity가 정해져야 sidechain atom set이 정해집니다. 하지만 de novo generation의 시작점에서는 sequence도 structure도 모릅니다. 가능한 모든 amino acid sidechain state를 들고 가면 representation이 커지고, sequence uncertainty와 atom cardinality 문제가 생깁니다.
Pallatom의 아이디어는 fixed-size atom slot입니다. 모든 residue를 `N × 14 × 3` point cloud로 표현합니다. 실제 heavy atom 수가 14보다 적은 amino acid는 남는 slot을 Cα 위치의 virtual atoms로 채웁니다. 예를 들어 cysteine은 N, Cα, C, O, Cβ, Sγ에 8개 virtual atoms를 더해 14 slots를 만듭니다. 이렇게 하면 sequence가 아직 unknown이어도 residue마다 같은 크기의 all-atom representation을 둘 수 있습니다.
Atom14: sequence를 geometry에서 읽기
Pallatom은 Protpardelle-style superposition과 다른 길을 택합니다. Protpardelle은 가능한 amino acid sidechain states를 넓게 들고 있다가 sequence에 따라 collapse하는 방식에 가깝습니다. Pallatom은 atom14 slot 자체를 denoise하고, 마지막에 SeqHead가 atomic embedding을 aggregate해 20 amino-acid distribution을 예측합니다.
즉 Pallatom은 “sequence를 먼저 정하고 sidechain을 놓는다”가 아니라, “all-atom geometry를 만들고 그 geometry에서 sequence를 읽는다”에 가깝습니다. 논문은 all-atom coordinates가 hydrophobicity, polarity, hydrogen bonding, salt bridge 같은 sidechain property를 충분히 encode할 수 있다고 가정합니다.
이 가정은 흥미롭지만 강합니다. Generated atom14 geometry가 amino-acid identity를 안정적으로 결정할 만큼 충분한 chemical signal을 담고 있어야 하기 때문입니다. Pallatom의 benchmark는 이 가정이 ESMFold self-consistency 기준에서는 꽤 잘 작동한다는 점을 보여줍니다. 다만 실험적 folding이나 function까지 보여주는 것은 아닙니다.
Dual-track architecture와 recycling
Pallatom의 architecture는 atom-level local attention과 residue-level global attention을 함께 씁니다. Feature encoder는 alanine standard conformation, residue positional encoding, noisy coordinates, diffusion timestep, relative positional encoding, self-condition template distogram 등을 feature로 만듭니다.
AtomDecoder unit에서는 residue-level representation을 atom-level로 broadcast하고, denoised coordinates에서 얻은 distance/distogram 정보를 다시 pair embedding으로 넣습니다. 이 differentiable recycling은 generated all-atom coordinates와 sequence prediction이 서로 일관되도록 돕습니다. Triangle update도 pair representation의 geometric consistency를 유지하는 데 사용됩니다.
Training은 EDM-style all-atom coordinate denoising을 따릅니다. Coordinate loss는 rigid alignment 후 MSE를 사용하고, sequence prediction에는 cross-entropy를 씁니다. 여기에 smooth LDDT loss, residue-level distogram loss, atom-level distogram loss, intermediate decoder supervision이 더해집니다. Sampling은 200-step Euler ODE solver를 사용합니다.
이 구성에서 sampler hyperparameter도 중요합니다. Step scale η와 noise scale γ0는 designability와 diversity를 크게 바꿉니다. Pallatom의 성능은 atom14 representation과 architecture만이 아니라, EDM-style sampler recipe와 loss/recycling 설계가 함께 만든 결과에 가깝습니다.
Training data: PDB와 AFDB의 조합
Pallatom은 PDB와 AFDB를 함께 사용합니다. PDB는 PISCES를 통해 resolution < 3 Å, 95% sequence identity threshold, loop content filter 등을 적용해 7,459 structures를 얻습니다. AFDB는 average pLDDT > 80, length ≤ 128 조건으로 582,652 structures를 먼저 고른 뒤, core residue content, loop content, secondary-structure segment distribution, radius of gyration, maximum loop length, Foldseek redundancy filtering 등을 적용해 최종 27,697 structures로 줄입니다.
Training target은 small monomer proteins이고 crop size는 128입니다. 논문은 이 길이 범위를 commercial oligo-pool synthesis로 비교적 쉽게 합성 가능한 small monomer로 설명합니다. 하지만 report된 결과 안에는 실제 wet-lab synthesis, expression, folding assay가 없습니다. 따라서 “합성 가능한 길이 범위”라는 점과 “실제로 합성해 검증했다”는 점은 분리해서 봐야 합니다.
AFDB-derived predicted structures를 training에 넣는 것도 해석에 영향을 줍니다. 데이터 스케일은 커지지만, model이 배우는 distribution은 자연 구조와 prediction/filtering pipeline이 섞인 결과입니다. Pallatom의 benchmark 성능을 볼 때 이 data filtering과 oracle stack도 함께 봐야 합니다.
Main benchmark: CO-DESIGN 1
Pallatom의 핵심 평가는 `CO-DESIGN 1`입니다. Length 60, 70, 80, 90, 100, 110, 120에서 각 길이 250 samples를 생성합니다. Generated sequence를 ESMFold로 접고, mean pLDDT > 80 및 all-atom RMSD(aaRMSD) < 2 Å이면 designable로 봅니다.
Table 1에서 Pallatom은 CO-DESIGN 1 기준 DES-aa 85.03%를 보고합니다. 비교 대상인 Protpardelle은 30.00%, ProteinGenerator는 43.14%, MultiFlow는 62.74%입니다. Structural diversity와 sequence diversity도 각각 291/1466으로 제시되고, NOV-str은 0.719입니다.
이 결과는 Pallatom이 sequence와 all-atom structure를 함께 생성하는 co-design benchmark에서 강하게 보인다는 뜻입니다. 특히 ESMFold가 generated sequence를 generated all-atom/backbone geometry와 잘 맞게 예측한다는 점은 sequence-structure consistency proxy로 의미가 있습니다.
하지만 DES-aa는 wet-lab foldability가 아닙니다. ESMFold self-consistency, aaRMSD, pLDDT 기준입니다. 실제 protein이 발현되고 soluble하게 접히며 안정적인 구조를 갖는지는 별도 실험에서 확인되는 문제입니다. Pallatom의 강점은 computational co-designability이고, experimental validation은 아직 없습니다.
PMPNN 1: backbone-first 비교축
Pallatom은 backbone-only generator와 나란히 보기 위해 `PMPNN 1`도 보고합니다. Generated backbone에 ProteinMPNN sequence 1개를 붙이고, ESMFold self-consistency로 DES-bb를 계산합니다. Table 1에서 Pallatom은 DES-bb 89.89%(pLDDT constraint 포함), 94.46%(without pLDDT constraint)를 보고합니다. RFdiffusion은 같은 PMPNN 1 비교에서 78.29%(84.40%)와 DIV-str 165로 제시됩니다.
이 비교는 Pallatom이 all-atom co-design 모델이면서도 backbone generation quality가 약하지 않다는 점을 보여줍니다. 다만 PMPNN 1은 Pallatom의 native co-design setting은 아닙니다. Pallatom이 만든 backbone에 외부 ProteinMPNN을 붙여 backbone-first generator처럼 평가한 것입니다.
이 두 평가를 같이 보면 Pallatom의 위치가 선명해집니다. CO-DESIGN 1은 “Pallatom이 자체 sequence와 all-atom geometry를 얼마나 일관되게 만들었는가”를 보고, PMPNN 1은 “Pallatom이 만든 backbone이 기존 inverse folding pipeline에서도 얼마나 designable한가”를 봅니다. 둘 다 in silico proxy입니다.
Length generalization과 helix bias
Pallatom은 training crop size 128을 넘는 length 150–400에서도 평가합니다. η = 3.0 setting에서 DES-aa는 length 150과 200에서 93%, 250에서 81%, 300에서 66%, 350에서 41%, 400에서 18%입니다. 150–250 residues에서는 training maximum의 두 배 가까운 길이에서도 높은 self-consistency를 유지합니다.
하지만 longer length에서는 secondary-structure bias가 강해집니다. η = 3.0일 때 all-helix-like HHH 비율은 length 150에서 53%, 250에서 70%, 300에서 77%, 350에서 85%, 400에서 92%까지 올라갑니다. 긴 구조를 만들 수 있다는 점과 다양한 fold를 잘 만든다는 점은 다릅니다.
따라서 OOD length result는 “all-atom generation이 긴 monomer까지 어느 정도 확장된다”는 evidence로는 흥미롭지만, 350–400 residue 영역에서는 designability 감소와 helix bias를 함께 봐야 합니다. Sampling hyperparameter가 quality-diversity tradeoff를 강하게 만든다는 점도 중요합니다.
Ablation: atom14와 recycling의 역할
Table 3 ablation은 Pallatom의 핵심 선택이 실제로 성능에 영향을 준다는 점을 보여줍니다. Baseline atom14는 DES-aa 87%, DES-bb 95% 수준입니다. Protpardelle-like sequence-guided `hybrid14`는 DES-aa 5%로 크게 떨어지고, DES-bb도 낮아집니다.
Recycling을 제거한 `woRC`는 DES-aa 21%로 떨어지지만 DES-bb는 93–95% 수준을 유지합니다. 이 결과는 재미있습니다. Backbone quality는 유지되지만 sequence/all-atom consistency가 크게 무너진다는 뜻입니다. 즉 differentiable recycling은 단순히 backbone을 예쁘게 만드는 장치가 아니라, all-atom coordinates와 sequence prediction을 맞추는 데 중요합니다.
이 ablation은 Pallatom의 contribution을 분명하게 합니다. Atom14 fixed slot representation은 unknown sequence 상황에서 all-atom coordinates를 다루기 위한 핵심 표현이고, recycling은 그 geometry에서 sequence prediction을 안정화하는 데 중요한 역할을 합니다.
Speed와 sampler dependency
Pallatom은 sampling speed도 비교합니다. RTX 4090 기준 200 sampling steps, 100 proteins per length에서 length 100은 약 10.2초, length 200은 18.2초, length 400은 57.5초로 보고됩니다. Protpardelle이 가장 빠르지만, Pallatom은 대부분 길이에서 second fastest이고 RFdiffusion과 ProteinGenerator보다 빠르다고 합니다.
다만 speed comparison은 implementation, hardware, JAX JIT, batch size, model optimization에 크게 영향을 받습니다. Method capability와 분리해서 보는 편이 좋습니다. 더 중요한 점은 sampler hyperparameter가 designability와 diversity를 바꾼다는 것입니다. η를 올리면 DES-aa가 올라가지만 diversity가 줄고 helix preference가 강해질 수 있습니다.
Protein generator benchmark에서 sampling recipe는 부가적인 설정이 아닙니다. Pallatom의 결과도 architecture, atom14 representation, recycling, loss, sampler가 함께 만든 결과입니다. 단순히 “all-atom model이라서 좋다”로 요약하면 중요한 tradeoff가 빠집니다.
Pallatom이 보여주는 범위
Pallatom은 all-atom protein generation에서 representation 문제를 잘 찌릅니다. Sequence가 정해지기 전에는 sidechain atom set이 모호합니다. Atom14 virtual atom slots는 이 문제를 fixed-size point cloud로 바꿉니다. SeqHead는 generated geometry에서 amino-acid distribution을 읽어냅니다. Dual-track decoder와 recycling은 residue-level global structure와 atom-level local geometry를 연결합니다.
이 범위 안에서는 결과가 강합니다. CO-DESIGN 1 DES-aa 85.03%는 Protpardelle, ProteinGenerator, MultiFlow보다 높게 제시됩니다. PMPNN 1에서도 strong backbone designability를 보입니다. OOD length에서도 250 residues까지는 높은 self-consistency를 유지합니다.
하지만 Pallatom은 practical binder/function paper가 아닙니다. Small monomer unconditional generation이 중심이고, wet-lab validation은 없습니다. Binder design, enzyme design, antibody/VHH design, multimeric interface generation, ligand/context-aware design도 중심 evidence가 아닙니다. All-atom detail이 생성된다는 것은 function을 검증했다는 뜻이 아닙니다.
평가: all-atom co-generation의 representation anchor
Pallatom의 가장 큰 의미는 atom14 representation입니다. Amino acid마다 다른 sidechain atom 수를 virtual atom padding으로 고정 크기 representation에 넣고, all-atom coordinates를 denoise한 뒤 sequence를 읽어내는 구조는 단순하면서도 강력합니다. Protpardelle류 superposition과 다른 all-atom co-generation route를 제시합니다.
또 하나의 의미는 평가 기준입니다. Pallatom은 backbone designability만 보지 않고, generated sequence와 all-atom geometry가 ESMFold에서 함께 recapitulate되는지 봅니다. aaRMSD와 pLDDT를 결합한 DES-aa는 backbone-only scRMSD보다 sidechain-aware한 proxy입니다. 물론 여전히 prediction-model-based proxy입니다.
결론은 조심스럽지만 긍정적입니다. Pallatom은 sequence-structure-sidechain co-generation의 representation 문제를 푸는 좋은 방법론 anchor입니다. 하지만 지금 단계에서는 experimental protein design milestone로 소개하기보다, all-atom generation이 backbone-first pipeline을 어떻게 넘어서려 하는지 보여주는 논문으로 보는 것이 자연스럽습니다. 실제 foldability, solubility, function, binding으로 이어지는지는 후속 wet-lab evidence에서 확인될 부분입니다.
참고
•
Qu, W. et al. “P(all-atom) Is Unlocking New Path For Protein Design”, bioRxiv preprint, 2025.
•
DOI: https://doi.org/10.1101/2024.08.16.608235
•
Code: https://github.com/levinthal/Pallatom
•
주요 비교 축: Protpardelle, ProteinGenerator, MultiFlow, RFdiffusion, Proteina-Atomistica, La-Proteina.