Protein readout study · 2026-10-28

怎麼讀取蛋白質模型的資訊,才能更貼近公布的穩定性數值?而高分又代表什麼?

同一研究的候選題目(點選切換中文說明)
  • 目前主用Content-dependent readout improves prediction of published protein-stability estimates
  • 候選Readout design and target provenance in predicting published protein-stability estimates
  • 候選A controlled comparison of protein readouts on a published stability dataset

一、要解決的問題

對許多蛋白質而言,適當結構是發揮作用的重要條件之一。研究者希望以模型協助篩選候選、再安排實驗。本研究提供方法比較與分數解讀的依據,尚未驗證能提高實驗成功率;沿著既有研究,我們在這份資料上追問兩件事。

問題一

資訊怎麼「讀出來」?

模型表示需要讀取器才能轉成預測值。我們固定同一模型,比較這份資料上的讀取方式,再匹配參數量與訓練次數,檢驗其中的元件效應。
問題二

分數高=真的準嗎?

公開資料中的答案如何產生,會影響分數的意義。最終欄位與其區間的生成規則未完全釐清時,高分首先代表與發布數值一致,不能直接認證未裁切物理自由能的預測精度。

先把三個名詞講清楚

一、公開資料長什麼樣發布表共 13,442 列

Cho 等人發布了設計蛋白的序列及實驗衍生估計。每列包含序列識別資訊、公布的數值,以及附帶的估計區間。以下是欄位說明,不是重新抽取的逐列量測:

資料來源(可直接查證):Cho、Dauparas 等人,Nature Communications,doi:10.1038/s41467-025-66526-w;本研究使用的是該文的 Supplementary Data 1(作者公開釋出的逐列表格),以及作者公開的分析程式庫 yehlincho/Joint_Model_Stability。本頁的分布統計由該表 13,442 列原始數值直接統計,未另行抽樣。

欄位用途這份研究怎麼使用
名稱與蛋白質序列識別記錄及描述胺基酸排列由序列取得固定模型的表示,作為預測輸入
deltaG作者發布的穩定性估計值訓練與評分的目標;依來源定義,較大代表較高的報告穩定性
deltaG_95CI_low / high同列附帶的估計區間上下界查核點值與區間是否一致;最終兩者如何共同生成仍未完全釐清

我們預測的是作者公布的數值,不把它直接當成已認證的未裁切物理真值。全表排除 17 筆公開模型核心重疊控制後,共 13,425 筆:訓練 9,397 筆、開發 2,014 筆、指定評估 2,014 筆。指定評估檔案歷史上稱為確認集,但早期全表品質檢查已接觸端點,且有後續複核,因此不宣稱全程盲測或歷史上只計分一次。

二、分數是什麼分數Spearman 排序相關係數

它量的是

順序對不對

把我們預測的穩定性由高到低排一排,再把公布數值由高到低排一排,看兩個順序有多接近。
它不是

答對率

不是「猜對幾題」。就算每一條的數字都估偏了,只要高低順序對,分數還是會高。
刻度

1 / 0 / −1

1=順序完全一致;0=沒有淨的單調排序關聯;不代表所有關係都不存在,也不直接等於亂猜;−1=順序完全相反。

所以 0.877 的意思是:我們預測的高低順序,和公布數值的高低順序相當接近但不完美。對照之下,八種預設做法中最好的是 0.792。高分代表排序一致,不代表每個數字都準。

三、公開模型與讀取器長什麼樣概念圖 · 省略投影、殘差及正規化細節

凍住不訓練 · ESM-2 650M 系列 輸入:一條蛋白質序列 72 個胺基酸 M K I T V T … 嵌入層74 個位置,各 1280 個數字 Transformer 層 × 33 注意力 正規化 前饋網路 正規化 每一層把整條序列的表示 再更新一次,共 33 次 輸出:74 組向量 每個位置 1280 個數字 6.5 億參數全部凍住 我們訓練的部分 · 約 118 萬參數 收到 74 組向量模型已經算好的,不再改 第一步 計算位置的聚合權重 依內容決定(比較臂) 看這個位置的向量是什麼 權重會隨序列改變 後續開發比較中的一臂 只依位置決定(對照) 只看它排在第幾個 換序列權重也不變 參數量與訓練預算相同 第二步 依權重合成一組 加權合成 經特徵投影與加權聚合,得到序列層級特徵(維度依讀取器設定) 第三步 轉成一個數字 小型前饋網路 序列層級特徵 → 1 個數字 各讀取臂單獨訓練與評分 輸出:穩定性預測值 與公布數值比對排序一致程度 分叉比較是後續開發分析 只有藍色區塊的約 118 萬參數在學;左邊完全不動。

怎麼看這張圖:左邊灰色虛線框是公開模型 ESM-2 650M 系列,有 33 層,左側內部方塊僅列運算種類,不表示精確的層內執行順序;最終保留每位置 1280 維——這整塊完全凍住。右邊藍框才是我們訓練的部分,約 118 萬參數。「依內容」對「只依位置」是後續開發分析中檢驗的元件;這個分叉在匹配元件、參數量、初始化及更新數的四臂比較中檢驗,不是原主評估的兩個臂,也不是單一模型同時走兩條路。凍住骨幹排除了它在本輪更新的影響,但要分辨讀取元件的效應,仍須匹配資料、初始化與更新預算。

二、別人做到哪裡

下列文獻交代研究來源及相近問題。本研究新增指定設定下的讀取比較、內容式權重效應與端點來源查核,不以期刊名稱或分數宣稱同等新穎性。

2021 · NeurIPS Datasets and Benchmarks
提供蛋白質預測任務與比較基準,包含以固定逐殘基表示配合一維注意力回歸。這種既有讀取策略不是本研究發明的,也不是領域唯一標準。
2024 · PLOS Computational Biology
以實測穩定性資料微調蛋白質模型。我們以作者固定模型在相同開發序列上推論比較,不是引用論文整體分數;兩者訓練資料與曝光不同,不能推成普遍優劣。
2024 · PLOS Computational Biology
比較固定表示、既有回歸器、取樣與評估方式,範圍涵蓋多個蛋白系統。這是與我們相近的研究類型;我們聚焦指定發布端點、內容式權重的受控比較及端點來源。
2024 · NeurIPS
研究突變解釋與工程,包含蛋白質與語言資訊的連接及消融。我們沿用其發布的蛋白質模型來源;Cho 主結果沒有接上語言模型。
2025 · Bioinformatics 41(1), btaf019
結合野生型與變異序列的表示差及 Transformer,預測單點/多點變異引起的穩定性變化。其目標是變化量,與本研究發布端點的任務不同;本頁未呈現與它的實測比較。
2026 卷年 · Nature Communications 17, 8(2025-12-24 線上發表)
研究設計方法與穩定性,發布我們使用的序列及量測衍生數值。這是資料來源,不是本研究新建的資料集。
本研究
新增的比較與查核
量出指定設定下的讀取方法差異、控制其他條件後的內容式權重效應,並定位發布端點的邊界/區間不一致。不主張新大模型、新架構或這些一般問題首次被提出。

三、我們怎麼做

整體流程input → output

蛋白質序列設計蛋白,公開資料 公開模型完全凍住,不訓練每位置 1280 維 依內容決定權重由輸入表示決定 key 只依位置決定權重對照組 固定平均未測試、不採用 小讀取器約 118 萬參數讀取權重也屬此模組 發布端點的預測值與公開數值比對 查核那份「公開數值」怎麼產生追作者釋出的程式與附帶估計範圍決定分數該怎麼解讀 成對比較 key 來源

圖中是兩個讀取臂分別訓練的比較,不是單一模型同時走兩條路。四臂實驗另交叉中間層激活函數,成對比較時匹配資料、參數量、初始化與訓練次數。這支持本配方內的元件效應;僅凍結骨幹本身不足以排除其他混淆,也不是原主評估的新增確認。

兩種權重的概念動畫合成例子 · 非模型輸出或研究結果

合成例子:最高權重位置
—
合成例子:標記位置權重佔比
—
本動畫切換輸入時
—

這是按展示公式產生的合成權重,百分比與位置都不是實測資料;橘色標記也不是已知關鍵殘基。它只示範「權重可以隨輸入改變」與「權重不依賴輸入」的差別,不證明模型找到生物關鍵位點。兩臂的 value 都仍包含蛋白質表示;實測效果另見下節。

四、量到了什麼

主結果同來源指定評估 · 2,014 序列/570 操作群

1.00.50 0.877固定表示+注意力讀取器 0.792八參考的最高點估計 差 +0.085;95% 區間 [0.071, 0.099] 差值尺度00.060.12

這個數字是什麼:排序相關係數,越接近 1 表示排序越接近公開資料,不是答對率。0.792 是原始點估計中最高的 full-position Ridge;差值區間則在每次 570 操作群重抽時重新取八個參考的最高值(共 10,000 次)。區間限於既定模型與操作性分群。早期全表品質檢查已接觸公布答案,且有後續複核;不主張全程盲測或歷史上只計分一次。功效未事前認證,評分程式在代理欄位開啟後、該次目標解碼前才定版。後續讀取器比較不是這次評估的新增對照。

後續開發比較:內容式權重已曝光 DEV · 五種子集成 · 同參數量與更新數

0.900.870.84 0.8887 0.8863 0.8727 0.8708 內容式 key+GELU 激活 內容式 key+恆等激活 位置式 key+GELU 激活 位置式 key+恆等激活

相同中間層設定下,內容式相對位置式 key 的差值分別為 +0.0160、+0.0155;五對比校正的 99% 區間下界均大於零。位置式臂仍有蛋白質 value,且非固定平均權重。結果支持本設定內的權重來源效應,不解釋主評估全部改善,也不證明生物機制理解。圖軸從 0.84 起。兩因素交互作用區間含零,尚未確定,不是等效。

我們做了哪些可能推翻自己的檢查切換已保存分數 · 前三項固定模型,後兩項另訓練基準

排序相關係數
0.876
這代表
正常運作

此開發面板上,錯配表示的相關點估計接近零且略負;零表示輸出常數,相關係數無定義。這支持指定設定的表示依賴。另訓練的組成與來源類別基準為 0.637、0.419,未達讀取器分數;這不排除所有捷徑或證明生物機制理解。來源類別為映射表 method 欄,未認證為生物家族。

五、那份「答案」本身

以下重畫既有全表 13,442 筆查核中已驗證的兩個邊界計數。本輪未重新讀取原始目標值;這張圖不呈現區間內的完整分布。

兩個邊界的計數既有查核彙總 · 全表 n = 13,442

堆在下限 −1
1,530
堆在上限 6
117
落在自己區間外
1,226
其中位於兩個邊界
1,226 / 1,226
這張圖說明什麼
有 1,226 筆點值落在該列所附區間之外,全位於兩個發布邊界(−1 有 1,183 筆,6 有 43 筆),其他點值為 0 筆。作者 2024-11-22 歷史程式有未註解的裁切至 [−1, 6] 操作;但目前查閱的公開版本尚不足以確認最終 CSV 欄位與區間的完整生成規則,不能僅由該程式片段認證每列來源。

本研究衡量與發布數值的一致程度,尚未認證為對未裁切物理自由能的預測精度。相同邊界值只表示發布欄位相同,不表示潛在穩定性相等;也不能據此判定整份資料或原研究無效。

六、其他檢驗與尚未成立的主張

分開報告外部比較、其他任務與分群敏感度;區間含零不等於沒有作用,也不建立等效。

檢驗結果怎麼解讀
Megascale 外部比較
126 群、252 條序列
差 +0.156
95% 區間 [−0.020, 0.306]
優勢未建立。相對每次重抽的最高指定參考,區間含零;未達優越門檻,也沒有證明零效應或等效。
Qwen3-32B:免參數訓練的數值回答
同一開發面板
排序相關 0.117本設定低於讀取器 0.876;8 個示範對 9,397 筆監督訓練,曝光不匹配。不能推論所有語言模型路徑無效,也不能稱公平同預算比較。
另一條 PTEN 管線:成長/豐度端點分離
796 變異、66 位置群;位置等權聯合正確率
REAL−FIXED/ZERO
各差 −0.0017
97.5% 區間 [−0.019, 0.015]
兩個主要對比經 Bonferroni 校正,未建立優勢或退化,也不建立等效/零效應。是已曝光開發資料上的探索;不是 Cho 的語言消融。REAL 有 63 次端點切換、對照各 0 次,但未轉成主指標增益。
已發布參考分數的尺寸分析
217 assays、186 proteins;逐 assay 等權平均
650M 觀測平均最高
更大尺寸的均值較低
限於這套公開零樣本分數與聚合口徑,不是我們新訓練出的尺寸比較,也不是已證實的統計反轉;不推出每個任務均以 650M 最佳,規模非單調已有前作。
分群敏感度:同一開發面板50%:+0.0888
60%:+0.0903
70%:+0.0901
三個名義 95% 區間下界均大於零;新群組 sensitivity_component_id 為重抽單位,未作跨條件多重校正,不是新確認。30%/40% 僅剩 605/4,186 筆 TRAIN,低於事先訂定 5,000 筆下限,未擬合。原規則為 parent 聯集加 58/72(80.56%)相同位置,70% 不是原門檻;群組不相交未證明生物獨立性。
範圍聲明
本研究沒有主張新架構、新資料集或新評估標準,也沒有主張生物機制理解或臨床效益。它是一篇範圍明確的實證比較。
未評估資料也須揭露
MGnify 與擴大外部候選未通過來源品質審核,不能以未評估資料支持或否定模型遷移。原始資料可取得不等於逐列目標可准入。

現稿 v28 按現有 OUP 模板實排 12 頁,供老師審閱,不是 BMC 投稿版。作者與通訊作者安排待書面確認;尚未投稿。研究使用人工智慧工具協助,方法與結論仍由作者審閱並負責。既有 ZIP 驗證的 268 欄為 265 完全相同、3 在指定容差內,不是整套模型獨立重訓或全篇重現認證。

文獻連結見上方「別人做到哪」一節。實測數字對應保存的評分或來源查核彙總;概念動畫另作明顯標註。此頁是本機研究說明,不是已部署的預測服務,不構成公開發布或投稿。本頁數值與來源索引