トップの画像は、元助教の堤元佐さん（現職 自然科学研究機構 生理学研究所/生命創成探究センター 助教）が取得・画像処理を行いました。
※以下に掲載している顕微鏡画像や動画の無断使用は、禁止いたします。
一般の超解像顕微鏡の弱点は？
光学顕微鏡では約200nmという（光学的）分解能の限界があります。各種の超解像顕微鏡では、主に「光の当て方」を工夫することにより、この光学分解能以下となる構造の可視化に成功してきました。
しかし超解像顕微鏡には主に３種類のシステムがありますが、現状では「他の２つにあらゆる点で勝っているシステム」というものはなく、それぞれに以下のような長所と短所があり、「何を観たいか？」、「どのくらい細かく観たいか？」、「画像は１枚あれば十分か？それともタイムラプス観察なのか？」など、場合に応じて使い分けられておりますが、それでも思うようにいかない局面も多いのが現状です。
そもそも、「超解像顕微鏡は、蛍光顕微鏡の完全上位互換のシステム！」というわけではないのですが、このような重要な認識がまだ不十分に思われがちであるのが現状です。細胞内のオルガネラの微細な構造観察や、綿密な２種類のタンパク質（＝標識蛍光色素）の局在検討が、超解像顕微鏡で観察を行う主目的となるのですが、目的がこちらではないなど、場合によっては、共焦点顕微鏡やTIRF、あるいは一般の蛍光顕微鏡のほうが、明らかに適している場合もあります。特に蛍光強度の絶対値を比較したいーといった場合は、いずれの超解像観察方法も画像処理などを行う必要があるため、適切ではありません。
まずは、最優先すべき観察目的を考慮し、そしてそれぞれの手法の特徴を再確認することが重要です。
※こちらに記載していることは、2018年５月現在のことですので、将来的に飛躍的に改善される可能性も高いと思われます。
時空間蛍光相関解析による超解像化法：SRRF / eSRRF
“Nature Communication”誌でのSRRFの発表
2016年に、ユニバーシティ・カレッジ・ロンドンのNils Gustafsson, Ricard Henriquesらが、画像解析を基にした超解像法の論文を、“Nature Communications”誌に発表しました。これが、”Super-Resolution Radial Fluctuations：SRRF”で、日本語にすると「時空間蛍光相関解析による超解像化法」が妥当でしょうか（語句の直訳ではないことは承知しておりますが、後述する原理を最大限に踏まえているかと思います）。
ImageJへのSRRFプラグインの導入方法
上記著者のHenriques氏らによって、フリーの画像解析ソフトウエア： ImageJ-Fijiで、SRRF処理を行うプラグインが既に公開されており、ImageJのプラグイン一覧から選択してインストールすることで、誰でも無償で使用することができます。
ただしその場合、後述する[当センターのサポート]も、事前にご確認くださればと思います。
* GitHub NanoJ-SRRF
このImageJのプラグインでは、取得済み画像を処理する形式となりますが、一方でAndor社のEM-CCDカメラ：iXon-Ultraなどのオプションでは、リアルタイムでSRRFによる超解像処理・表示も可能となっているようです。
またカメラメーカーのTelegyne PhotometricsのWebサイトでも、SRRFの紹介とImageJでのプラグイン導入方法が記されておりますので、こちらもご参考としてください。
enhanced SRRF (eSRRF) の発表
2024/06/10 UPDATE!
2023年11月に、著者らはenhanced SRRF(eSRRF)を、Nature Methods誌で発表しました。
eSRRFは更に高画質となるうえ、GPU処理にも対応しているため、格段に高速処理が可能となりました。
当センターでもさっそく導入しております。
ただ2022年10月の段階では、eSRRFはまだ正式バージョンではないためなのか、先のImageJのプラグイン一覧にも載っていないため、自身でダウンロードURLを設定する必要があります。
著者らによるeSRRFの紹介は以下にまとめられており、中段付近、“Getting the eSRRF plugin on Fiji”に、最新版のeSRRFのプラグインのURLが記されており、このURLを直接、ImageJでのアップロードプラグインに登録してください。
“Add Update site”を押して、このURLを指定することで、eSRRFのプラグイン元として登録されます。
時空間蛍光相関解析による超解像化法：SRRFの原理
SRRFの原理１：空間相関による処理
そもそもカメラなどで取得される画素（ピクセル）の蛍光強度とは、「個々の蛍光色素分子が発する蛍光は、空間的に広がりをもつ。そのため各ピクセルで計測される輝度は、近隣に存在している各分子の蛍光が重なり合った総和となる。」ということを再確認しましょう。SRRFを行うにあたっては、処理を行う画像が、当然この前提を満たしている必要があります。
そして以下の流れで、オリジナル画像に基づいた更なる高解像度での画像が作成されます。
各ピクセルでは、近隣ピクセルとの蛍光輝度の差から、蛍光輝度のベクトル=勾配が発生しています。
例として、１つのピクセルを６方向から眺めると仮定すると、合計６つの輝度ベクトルが存在します。
この６つのベクトルすべてを把握することで、最も輝度が大きくなる位置=本来の蛍光源がある位置を、オリジナル画像のピクセルを更に分割したサブピクセルレベルで決定し、同様にその位置での蛍光強度の算出を行います。
この演算処理を画像のすべてのピクセルで行うことにより、本来の個々の蛍光プローブの位置が、サブピクセルレベルの位置精度で把握できることとなります。
別な比喩を用いるならば―”川を見れば、山がわかる“―といったところでしょうか。
どちらの方向から川が流れてくるか→山頂の位置, どのくらいの勢いの流れなのか→山の高さが把握できる―ということで、おおよその原理を認識してもらえるかと思います。
このSRRFの手法は、もともとSTORMなどの１分子局在化法の一環の開発の過程で考案されたようです。１分子局在化顕微鏡では、分子１個レベルで極めて綿密に位置を把握する目的上、近くにある分子からの蛍光と重なってしまうと判定が難しいため、絶対に重なり合わないよう、ごくわずかな分子のみが光っている状態とする→個々の蛍光は必然的に円になり、その中心位置をサブピクセルレベルで把握する方法であることは、上述のとおりです。
※私たちで試している限りでは、100nm/ピクセル以下で画像を取得しているならば、「１ピクセル→３×３ピクセルに分割, ６方向からの算出」で、概ね優れた画像が作成できており、これ以上の設定でも概ね大差ないように思われます。
ただし、ゆらぎやノイズの有効な除去には有意な勾配の差が必要なため、ある程度は“明るい画像”であることが重要ということも把握しております。
また、そもそも最初の前提を満たさないため、透過像については、SRRFによる分解能向上の対象となりません。
SRRFの原理２：時間相関による処理
次に、時間方向の連続画像から、その位置での蛍光の時間相関を検証し、時間方向での重なり合いや収束を含めて検討します。
…と記すと仰々しいですが、連続取得した数十枚～数百枚の各画像を通じて、以下のように同じ位置（ピクセル）の輝度の比較検討を行います。
・多くの画像の同じピクセルで、常に十分な輝度がある＝時間相関が高く、本来の蛍光である可能性が高いため、真のシグナルと考えられる。
・同じ位置で、画像ごとに輝度のばらつきがある＝時間相関が低く、ゆらぎやノイズ成分と推測されるため、デノイズを行う。
個々の画像のみではノイズ等の影響を完全には排除できないため、連続画像の比較により、画質の改善が達成できます。
以上のような演算・処理を行うことで、１分子局在化法より蛍光分子の密度が高いサンプルであっても、演算による超解像化が可能となります。このため先に記しました日本語、「時空間蛍光相関解析による超解像化法」が、おおむね妥当かと認識してもらえますならば幸いです。
原理や演算処理方法としては以上のようになりますが、まだまだ私の理解では、説明が心もとないのが実状です。やはり“Nature Communications”誌の原著論文を熟読することをお勧めいたします。
SRRFの特徴
原理を把握することにより、手法への理解が深まったと思いますが、SRRFによる超解像化の特徴として、以下の点が挙げられます。
- 「画像の輝度情報のみ」から演算処理を行うため、励起/蛍光波長や、点像分布関数（Z方向に連続取得した蛍光ビーズの画像=その顕微鏡で、点蛍光源がどのようにボケるか？）といった詳細な情報は不要である。
- このため共焦点顕微鏡、蛍光顕微鏡、CSU、TIRFなど、さまざまな顕微鏡・観察手法で取得した画像に対して適用できる。
- 一般の３種類の超解像顕微鏡は、TIRF観察が必須でガラス基板近傍のみに限定されるなど、厚みのあるサンプルの観察は困難であるが、SRRFの場合は良好な画像が取得できているならば、厚いサンプル、ガラス基板から離れている箇所であっても、超解像化に対応できる。
- 特殊な蛍光色素や蛍光タンパクでの標識は不要で、通常のサンプルを、通常の顕微鏡で、ほぼ通常どおりに観察すればよい。
- さすがに１分子局在化顕微鏡には及ばないものの、原著論文では70nm前後までXY方向の空間分解能の向上が見込まれる、と記載がある。
- 「画像取得の間に動いていない」とみなせるのならば、数千枚以上の画像が必要な１分子局在化タイプの超解像観察法とは異なり、数十枚程度の連続撮影でも、十分に空間分解能が高い画像が作成できる。
- すなわち、再構築に必要な画像の枚数が少なくて済むならば、褪色や光ダメージの大幅な軽減にもつなげられる。このため一般の超解像顕微鏡では対応が困難である、高速観察や長時間タイムラプス観察にも、適用可能である。
- 前述のように、「画像のみ」でXY方向の分解能向上にはつなげられるものの、一方でZ方向の情報は一切加味されないため、Z方向には画質改善の効果はない。この点では、一般の超解像顕微鏡に分がある。
- 「輝度差のベクトル」が重要であるため、近隣ピクセルとの間で十分な蛍光輝度の差がないと、良好な結果が得られにくい。ピクセル数が多くなるほど、隣接ピクセル間の輝度差が小さくなるため、今一つの結果となる場合は、カメラ等の解像度を再検討してもよい。
この理由より、ｃMOSカメラでは高解像度の画像取得が可能ではあるが、シグナルの増倍率が小さいため、増倍率の大きいEM-CCDカメラで観察した画像のほうが、良好な画像となる可能性もある。
このように非常に興味深い手法ですので、当センターの前任の特任助教の堤元佐さん（現在は自然科学研究機構・生理学研究所/生命創成探究センター特任助教）が中心となり、原著論文の発表直後から、SRRFによる超解像画像の作成を試み、知見とノウハウが得られてきました。各種パラメーターの適切な設定なども概ね把握でき、さまざまな画像から優れた超解像画像が作成できるようになってきましたので、当センター利用者にもサポートを行いながら、提供してゆくことといたします。
SRRFの処理例
SRRFの画像例
さっそくSRRF処理を行った実際の画像を以下に示します。
これらの画像は、いずれも当センターの一般的な蛍光顕微鏡や共焦点顕微鏡で観察した画像ですが、SRRF処理によって非常に明瞭かつ高精細となったことが確認できるかと思われます。
ただしSRRF処理により、画像の解像度も分解能も向上しますが、一方でファイルサイズも大幅に上昇しますため、Webサイトの紹介では解像度を下げていることはご容赦ください。
例１. 固定細胞のアクチン 固定細胞のアクチンの、一般的な落射蛍光画像から作成。上：SRRF処理前, 下：SRRF処理後 -
例２. 固定細胞の細胞核. 固定細胞の細胞核の、一般的な落射蛍光画像から作成。左：SRRF処理前, 右：SRRF処理後. -
例３. 生細胞のアクチン. 生きている細胞のアクチンの落射蛍光画像から作成。左：SRRF処理前, 右：SRRF処理後. -
例４. 生細胞の微小管.
細胞の微小管（チューブリン）のライブセルイメージングから作成。一般的な落射蛍光画像から作成。左：SRRF処理前, 右：SRRF処理後. -
例５. 生細胞の微小管. 細胞の微小管（チューブリン）のライブセルイメージング。一般的な落射蛍光画像から作成（モノクロ表示を、白黒反転）。左：SRRF処理前, 右：SRRF処理後。
※ 画像例３-例４のサンプルの作成と提供：北海道大学 大学院理学研究院 生物有機化学研究室 高橋正行先生
SRRFのムービー例
更にSRRFによって超解像化された画像をまとめた動画を示します。これらの動画は、いずれも当センターの、Station-2:全反射蛍光顕微鏡（TIRF, Ti-EとImagEMから構成）/リアルタイム共焦点顕微鏡（CSU）, やStation-4：超高速共焦点顕微鏡で観察した動画から再構築を行っており、このように連続撮影する動画でも、SRRF処理で鮮明な動画となりました。
前述のように、一般の超解像顕微鏡では、明瞭な画像を１枚のみ作成することは可能なものの、数十枚を取得して動画を作成することは、褪色や光ダメージ、あるいは画像取得時間を考慮すると困難ですが、SRRFでは一般のタイムラプス観察の延長で、超解像画像の作成が可能です。
ただしこちらでも、SRRFによって解像度は上昇する一方、ファイルサイズは数百メガバイト～ギガバイトと飛躍的に大きくなりますため、ここでは解像度やビットレートを大幅に下げておりますことは、どうかご容赦ください。
動画１ 連続画像取得による高速TIRF観察の超解像化。左：通常のTIRF画像, 右：SRRF処理による超解像画像。
黄色：GFPで標識した微小管末端（ＥＢ１）
SRRFでは50msのオリジナル画像10枚から１枚の超解像画像を作成しており、５００ミリ秒で１枚の超解像画像を作成したこととなります。このように数十秒間の連続画像取り込み=高速超解像観察は、あまり例がないと思われます。
動画２ 高速TIRF観察の超解像化。左：通常のTIRF画像, 右：SRRF処理による超解像画像。
緑：GFPで標識した微小管（チューブリン）
500ms露光で５枚を連続取得したオリジナル画像から、SRRFによって超解像画像を作成しました。そのため、2.5秒間隔で微小管の移動・伸長挙動を超解像化したこととなります。
動画３ 短い時間間隔のタイムラプスTIRF観察の超解像化。左：SRRF処理前, 右：SRRF処理後。
緑：GFPで標識した微小管（チューブリン）
100ms露光で10枚を連続取得したオリジナル画像から、SRRFで１枚の超解像画像を作成しました。
１分間隔・120分の観察を行いましたため、微小管の移動挙動を高い時空間分解能で可視化できました。
※ 動画1-3のサンプルの作成と提供：北海道大学 大学院理学研究院 生物有機化学研究室 高橋正行先生
動画４ 短い時間間隔のタイムラプスTIRF観察の超解像化。左：SRRF処理前, 右：SRRF処理後。
緑：TubulinTracker-DeepRedで標識した微小管（チューブリン）
50ms露光で10枚を連続取得したオリジナル画像から、SRRFで１枚の超解像画像を作成しました。
５秒間隔・30分のタイムラプス観察となり、個々の微小管の移動挙動を非常に明瞭に観察できました。
動画５ 短い時間間隔でのタイムラプスCSU観察の超解像化。左：SRRF処理前, 右：SRRF処理後。
緑：MitoTracker-Greenで標識したミトコンドリア,
マゼンタ：TubulinTracker-DeepRedで標識した微小管（チューブリン）
それぞれ200ms露光で連続画像取得した１０枚から、SRRF処理で１枚の超解像画像を作成しました。
こちらもTIRFと同様で５秒間隔・30分のタイムラプス観察となりますが、CSUはガラス基板近隣以外でも観察できるうえ、レーザー走査型共焦点顕微鏡と比較すると、CSUは高速画像取得が可能で励起光による光ダメージを軽減でき、高速観察や短いインターバル、あるいは長時間タイムラプス観察に適しています。そのため、SRRFを前提とする画像取得に適していると推測されます。
動画６ Station-4の高速観察モードで微小管を連続取得した画像の超解像化。上：SRRF処理前, 下：SRRF処理後。
紫：TubulinTracker-DeepRedで標識した微小管（チューブリン）
250ms露光で、1024ｘ512解像度で４枚を連続取得したオリジナル画像から、SRRFで１枚の超解像画像を作成しました。このため、毎秒１枚での超解像画像取得となります。
A１のレゾナントモードも高速画像取得が行えますうえ、現在では高解像化にも対応しましたので、十分SRRFに対応できると考えられます。
動画７ 動画６の中央付近の拡大図。上：SRRF処理前, 下：SRRF処理後。
緑：TubulinTracker-DeepRedで標識した微小管（チューブリン）
細胞全体ですと、個々の微小管までは見えにくかったかもしれませんが、このように画像を拡大しますと、個々の微小管が鮮明に観えている様子が確認できると思います。
動画８ Station-4の高速観察モードで、２重蛍光標識細胞の16時間の共焦点タイムラプス観察の超解像化。上：SRRF処理前, 下：SRRF処理後。
ピンク：MitoTracker-Greenで標識したミトコンドリア,
緑：TubulinTracker-DeepRedで標識した微小管（チューブリン）
それぞれ65ms露光で10枚を連続取得したオリジナル画像（２色、1024ｘ512の解像度）から、SRRFで１枚の超解像画像を作成しました。低ダメージでの取得となりますため、共焦点顕微鏡による、５分間隔・16時間という、短いインターバルでの長時間タイムラプス観察の超解像化が達成できました。前述のように、一般の超解像顕微鏡では長時間観察は困難ですが、このようにSRRFでは概ね対応できることが確認できるかと思われます。
SRRFのまとめと、NICでのトライアルに関して
以上のように、当センターの各顕微鏡で取得した顕微鏡画像から、SRRF処理による超解像化が認識できたかと思われます。特にムービーで示しましたように、現在のSTEDや１分子局在化顕微鏡では困難である、高い時間分解能・短い時間間隔・長時間のタイムラプス観察でも、比較的容易に超解像化ができました。一般的な蛍光顕微鏡で撮影した画像でも可能ですので、皆さんの研究室の蛍光顕微鏡で撮影した画像でも、超解像化ができることになります。
※特に最初の画像や、更には堤さんが”Image of Distinction”を受賞した画像は、当センターのTE-2000という顕微鏡で取得しており、モデル名から推測できますように、かなり古いタイプの顕微鏡となるものの、それでも非常に鮮明な画像が作成できました。
当センターでは、観察・SRRF処理のノウハウが得られ、さまざまな画像で超解像化ができるようになりました。そこで今後は積極的に利用者にSRRFを提供してゆくことといたしますので、興味のある方は、ぜひご相談ください。
もちろんImageJのプラグインをご自身で導入することを希望されますなら、わざわざ当センターまで来ることなく、上記のNanoJ-SRRF Wikiから、インストールが可能です。この場合は―優れたグラフィックボード（GPU性能がよいもの）の導入をお勧めいたします。
当センターでのSRRFに関するサポートとしては、現時点では概ね以下のように考えております。
当センターの利用者の研究者：可能な限り全面的に、私たちが画像取得やSRRFでの画像処理へのアドバイスを行い、そして当センターの解析用パソコンで、いつでもSRRFを試すことができます。
当センターの利用者ではない研究者：トライアルでSRRFを試すことは可能ですが、原則として１回のみといたします。
その後は当センターの正規ユーザーになり、そして当センターの顕微鏡で取得した画像であるならば、画像取得方法も含めた全面的なサポートの対象となりますので、こちらをお勧めいたします。
特に学外の方で、SRRFによる超解像化・画質改善を、画像解析のコンサルタントを受ける形（=アドバイス料金徴収の対象）としても構いませんならば、ぜひご相談ください。当センターでは、学外研究者への研究支援も、対応可能です。
上記の形が困難な場合は、上述のようにご自身のパソコンにImageJをインストールしてSRRFを行うことができます。前述のように、SRRFはオープンな手法ですので、どなたでも直ちに実行できます。ただしその場合は、ご自身での画像解析となりますため、私たちからのアドバイスは最低限となりますことを、あらかじめご承知おきください。また、ImageJやSRRFプラグインのインストール、あるいは操作自体につきましては、一切対応いたしません。
画像取得やSRRFのパラメータ検討の最適化など、更にSRRFを追求したい場合：この場合は、以前より最適化等を進めている堤さんとディスカッションなどを行い、状況などによっては共同研究として進める形がよいかと思います。
このため、まずは堤さんまで、ご相談ください。