Nikon Imaging Center at Hokkaido university

超解像の、波に乗ろう!

*最終更新:2018/08/15 誤字を修正しました…1文字ですが。

超解像顕微鏡の弱点は?

こちらでも示しましたように、光学顕微鏡では約200nmという(光学的)分解能の限界があります。各種の超解像顕微鏡では、主に「光の当て方」を工夫することにより、分解能以下の詳細な構造の可視化に成功してきました。しかし超解像顕微鏡には主に3種類のシステムがありますが、現状では「他の2つにあらゆる点で勝っているシステム」というものはなく、それぞれに以下のような長所と短所があるため、「何を観たいか?」「どのくらい細かく観たいか?」「画像は1枚あれば十分か?それともタイムラプス観察なのか?」など、場合に応じて使い分けられておりますが、それでもなかなかすぐに思うようにいかない局面も多いです。

  • STED: 共焦点ベースのSTEDは、励起レーザービームが当たる蛍光スポットの中心部以外からは蛍光が出ないようにすることによって、"オリジナルのビームよりずっと細い光"を照射することと同様のこととなり、こうして分解能を高めることを可能とした方法です。ただしそのためには、ドーナツ状に中心部のみが抜けている光も、同時に非常に強く照射してスキャンする必要があります。このドーナツ光を強くするほど中心部は絞られて分解能も向上するものの、褪色や光ダメージの懸念が大きく、長時間のタイムラプス観察は難しいです。また、"(この場合はドーナツ状の)レーザーを当てると、蛍光が出なくなる"ことに蛍光色素が対応している必要があり、かなり色素を選びます。

  • PALM・STORMなどの1分子局在化観察法: 全反射蛍光顕微鏡(TIRF)が基本のシステムで、以前に作成した[超解像顕微鏡:デモ機について]でも詳しく記しておりますように、わずかな蛍光分子のみを光らせることによって個々の蛍光分子の中心位置を算出します。そして、たくさんの画像を取得してまとめることで、全分子の位置を網羅する方法となります。最近は、ときどき自発的に蛍光を瞬くタイプの蛍光色素も開発されましたうえ、ImageJでデーターを処理できるプラグイン(thunder-storm)も公開されているため、TIRFのシステムがあるならば自作も不可能ではなく、分解能が20nmにまでなるのは魅力的です。しかし、数百~数千分の1の分子しか光らせないようにする必要があるので、数千~1万枚以上の画像が必要になります。その間は"蛍光分子が止まっている"必要があり、したがって高速な現象のタイムラプス観察は難しいです。またTIRFベースのため、ガラス基板のすぐ上(1マイクロメートル以下の範囲)しか観察ができません。そして”一部だけ光る”蛍光分子は化学平衡に大きく依存しており、pHなどのコンディションも入念なチェックが必要です。

  • 構造化照明法のSIM: しま状の光を照射することで、「励起光が当たってる部分」と「当たらない部分」を分かれさせ、しましまに光が当たった画像を取得します。しまを少しずらし、更に励起光を当てる方向を変えて取得した10枚以上の画像を再構築することで、分解能が高くなる画像が作成されます。この方法は蛍光顕微鏡が基になっており、一般的な蛍光色素で観察が可能であるなど、上の2法と比べると制約が大きくなく、そして光ダメージも比較的弱いため長時間のタイムラプス観察も可能ですが、光学分解能は約100nmと一般の顕微鏡の半分ほどで、他の2法ほどではありません。

そもそも、「超解像顕微鏡は、蛍光顕微鏡の完全上位互換だ!」というわけではないのですが、それさえもあまり認識されていないのが現状です。目的によっては、共焦点顕微鏡、それどころか一般の蛍光顕微鏡のほうが明らかに適している場合もありますため、それぞれの手法の特徴を把握し、最優先すべき観察目的を考慮することが重要です。
※もちろん、こちらに記載していることは、2018年5月現在のことですので、将来的に改善される可能性が高い箇所も多いと思われます。

時空間蛍光相関解析による超解像化法:SRRFとは。

2016年に、ユニバーシティ・カレッジ・ロンドンのNils Gustafsson, Ricard Henriquesらが、画像解析を基にした超解像法の論文を"Nature Communications"誌に発表しました。これが、"Super-Resolution Radial Fluctuations:SRRF"で、日本語にすると「時空間蛍光相関解析による超解像化法」となりますでしょうか。もちろん読んですぐに気づくとは思いますが、明らかに単語の直訳とは異なりますものの、後述する原理を最大限に踏まえているかと思われます(自称。日本では、この名で定着させたいですが…「もっと相応しい名前を思いついたぞ!」という方は、ぜひ提案してください。ラジオ番組での曲のリクエストのように、ご所属とお名前も含めて紹介します)。このSRRFを試してみたい場合は、フリーの画像解析ソフトウエア:ImageJ-Fijiのプラグインが既に公開されておりますので、下記URLの公式Wikiからインストールすると、誰でも無償で使用することができます。それこそ、「なるほど、さっそくSRRFとやらを試したい!」という方は、こちらからインストールして試してみましょう。ただしその場合、後述の[当センターのサポート]も、事前にご確認くださればと思います。
* NanoJ-SRRF Wiki
このImageJのプラグインでは、取得済み画像を処理して…となりますが、一方でAndor社のEM-CCDカメラ:iXon-Ultraのオプションでは、リアルタイムでSRRFによる超解像処理・表示も可能となっているようです。

時空間蛍光相関解析による超解像化法:SRRFの原理

SRRFの原理1:空間相関による処理

まず蛍光の強度とは、「個々の蛍光色素分子が発する蛍光は、空間的に広がりをもっている。各ピクセル(画素)で計測される輝度は、周辺の各分子の蛍光が重なり合った総和となる」ということを再確認しておいてくださればと思います。各ピクセル(画素)では、近隣のピクセルとの蛍光輝度の差から、蛍光輝度のベクトル=勾配が発生します。例として、1つのピクセルを6方向から眺めると仮定すると、6つの輝度ベクトルが存在しますが、この6つのベクトルを把握することで、最も輝度が大きくなる位置=本来の蛍光源がある位置を、オリジナル画像のピクセルを分割したサブピクセルレベルで決定し、同様にその位置での蛍光強度も算出します。これをすべてのピクセルで行うことで、本来の個々の蛍光色素による蛍光が、サブピクセルの位置精度で把握できることとなります。
別な比喩を用いるならば―"川を見れば、山がわかる"―といったところでしょうか?どちらの方向から川が流れてくるか→山頂の位置, どのくらいの勢いの流れなのか→山の高さが把握できる―と言えば、だいたいこんなところかと思ってもらえるかな…と思っております。

この手法は、先に記した1分子局在化顕微鏡と同様と言えます(もともと、1分子局在化法の一環の開発の過程で、SRRFが考えられました)。
上記のように、1分子局在化顕微鏡では分子1個レベルで極めて綿密に位置を把握する目的上、近くにある分子からの蛍光と重なってしまうと判定が難しいため、絶対に重なり合わないよう、ごくわずかな分子のみが光る→個々の蛍光は必然的に円になり、その中心位置を把握する方法となります。

☆私たちで試している限りでは、100nm/ピクセル以下で画像を取得している場合は、「1ピクセル→3×3ピクセルに分割, 6方向からの算出」で、概ね優れた画像が作成できており、これ以上の設定としても大差ないように思われます。ただし、ゆらぎやノイズの有効な除去には有意な勾配の差が必要なため、ある程度は"明るい画像"であることが重要ということも把握しております。

SRRFの原理2:時間相関による処理

次に、時間方向の連続画像から、その位置での蛍光の時間相関を検証し、時間方向での重なり合いや収束を含めて検討します。

…と、このように記すと仰々しいですが、連続取得した数十枚~数百枚の各画像を通じて、同じ位置(ピクセル)の輝度を比較検討を行います。すなわち―。
・連続画像の同じ位置で、常に輝度が大きい=時間相関が高く、本来の蛍光である可能性が高いため、真のシグナルである。
・同じ位置で、輝度のばらつきがある=時間相関が低く、ゆらぎやノイズ成分と考えられるためデノイズを行う。
こうして、個々の画像だけでは限界があることも、連続画像を比較することで、更なる改善が可能となります。

このような演算を行うことで、1分子局在化法より蛍光分子の密度が高いサンプルであっても、演算による超解像化が可能であることになります。先に記しましたように、日本語にすると「時空間蛍光相関解析による超解像化法」が妥当かな…ということも、わかってもらえたでしょうか(なんとなく…でも、十分です)。とはいえ、これでもよくわからない…という場合は、やはり"Nature Communications"誌の原著論文を熟読することをお勧めいたします。完全に把握できているかと問われると、まだまだ私も自信はないです。

SRRFの特徴

以上の原理などから考えますと、SRRFによる超解像化の特徴として、以下の点が挙げられます。

  • 「画像のみ」から作成するため、励起/蛍光波長や、点像分布関数(Z方向に連続取得した蛍光ビーズの画像=その顕微鏡で、点蛍光源がどのようにボケるか?)の情報は不要。
  • そのため、共焦点顕微鏡、蛍光顕微鏡、CSU、TIRF…など、さまざまな顕微鏡・観察手法で取得した画像で適用が可能である。
  • ただし、言い換えるとZ方向の情報は一切加味されないため、Zには画質改善の効果はないことは留意する必要がある。
  • 特殊な蛍光色素や蛍光タンパクでの標識は不要で、いつものサンプルを、いつもの顕微鏡で、ほぼいつもと同様に画像取得を行えばよい。
  • さすがに1分子局在化顕微鏡ほどではないものの、原著論文では70nm前後まで空間分解能の向上が見込まれる、と記載がある。
  • 「画像取得の間に動いていない」とみなせるのならば、数千枚以上の画像が必要な1分子局在化タイプの超解像観察法とは異なり、数十枚程度の連続撮影でも、十分に空間分解能が高い画像が作成できる。このため、比較的高速の観察・長時間タイムラプス観察にも、適用可能である。

このように、非常に興味深い手法ですので、平成29年度の下半期より当センターで検討を行ってきました。その結果、各種パラメーターの適切な設定なども概ね把握でき、さまざまな画像から優れた超解像画像が作成できるようになってきましたので、当センター利用者にもサポートを行いながら、提供してゆくことといたします。

SRRFの画像例: 一般的な蛍光顕微鏡の画像でも、作れます。

概要を説明したところで、さっそく実際の画像を以下に示します。以下ではサムネイル画像をクリックすると拡大画像が表示されます。
この3つは、いずれも当センターの、ごく普通の蛍光顕微鏡で観察した画像ですが、SRRF処理によって非常に鮮明なものとなっていることが一目瞭然かと思います。ただしSRRF処理により、XY解像度は3倍以上に上がりますものの、スマートフォンなども含めたWebサイトでの表示とネットワーク接続との関係上、あまり大きなサイズとしても申し訳ないですので、かなり解像度を下げていることはご容赦ください。オリジナル画像が観たい場合は、当センターまでお越しください。また当センタートップページの上部に、ときどき青い蛍光画像が見えるかと思いますが、そちらもSRRF処理後の画像(かなり拡大)となります。
*もし以下の画像が重なってしまっているなどのときは、[F5]キーを押すなどにより、再読み込みを行ってください。

例1. 固定細胞のアクチン
例2. 固定細胞の細胞核
例3. 生細胞のアクチン
例4. 生細胞の微小管
例5. 生細胞の微小管

SRRFのムービー例: 超解像の動画が作れます。

そして、SRRFによって超解像化された画像をまとめた動画を以下に示します。以下では画像をクリックすると、MP4形式ファイルの動画が表示されます。この4つは、いずれも当センターの、ごく普通の全反射蛍光観察(TIRF, Ti-EとImagEM)で観察した動画になりますが、連続撮影する動画でも、SRRF処理で鮮明な画像とすることができました。前記のように、一般の超解像顕微鏡では、1枚のきれいな画像を作成することは可能ではありますものの、数十枚を取得して動画を作成することは難しいところですが、SRRFを用いますと一般のタイムラプス観察+αで容易に作成が可能です(今回の画像取得では、実は最大のネックはパソコンのメモリー容量でした…)。
こちらもSRRF処理で解像度は上昇しますものの、動画では数百メガバイトとなるほどにファイルサイズが大きくなりますため、かなり解像度やビットレートを下げていることはご容赦ください(オリジナルデーターが表示できないことを最も残念に思っているのは、私です…)。

動画1 連続画像取得による高速TIRF観察の超解像化。左:通常のTIRF画像, 右:SRRF処理による超解像画像 (*ファイルサイズ:2M)
黄色:GFPで標識した微小管末端(EB1)
通常のTIRFでは500msごとに、SRRFは50msのオリジナル画像10枚から1枚の超解像画像を作成しております(*こちらに関しては取得方法上、左右の画像は別々に撮ったものです。そのため一時停止した同じフレームであっても同刻の画像ではなく、厳密な比較はできませんので、ご了承ください)。数十秒間の連続画像取り込み=高速超解像観察は、ほとんど例がないと思われます。ただこのときは、20秒以上の撮影は、パソコン(のメモリー)がゆるしてくれませんでしたうえ、ファイルサイズ低減に伴ってSRRFの画像が少し見えにくいことは、どうかご容赦ください。

動画2 (やや)高速TIRF観察の超解像化。左:通常のTIRF画像, 右:SRRF処理による超解像画像 (*ファイルサイズ:4M)
:GFPで標識した微小管(チューブリン)
TIRFで500msごと取得し、そしてSRRFでは画像5枚から1枚の超解像画像を作成しております。そのため、2.5秒間隔で微小管の移動・伸長挙動を超解像化してみたことになります。

動画3 短い時間間隔のタイムラプスTIRF観察の超解像化。左:SRRF処理前, 右:SRRF処理後  (*ファイルサイズ:12M)
:GFPで標識した微小管(チューブリン)
100msごとに画像取得し、そしてSRRF処理では10枚のオリジナル画像から1枚の超解像画像を作成しております。1分間隔で120分の観察を行いましたため、微小管の移動挙動を高い時空間分解能で可視化できました。

動画4 長時間のタイムラプスTIRF観察の超解像化。 左:SRRF処理前, 右:SRRF処理後   (*ファイルサイズ:13M)
:GFPで標識した微小管(チューブリン)
動画3と同様に、100msごとに画像取得し、そしてSRRF処理では10枚のオリジナル画像から1枚の超解像画像を作成しております。5分間隔で16時間の画像取得を行いましたため、長時間観察の場合でも全く同様に超解像化ができたことを示します。ただ必然的な疑問が生じるかと思われますが、「なぜ16時間?24時間じゃないの?」への回答は、細胞が視野の外に逃げたので中止に…などではなく、このときの顕微鏡の空き状況では、これがせいぜいでした…。画期的な画像取得でも、やはり正規ユーザーの通常利用のほうが重要です…。

※ すべての動画と、画像3-5のサンプルの作成と提供:北海道大学 大学院理学研究院 生物有機化学研究室 高橋正行先生

SRRFのまとめ/SRRFをNICで試すには

このように、当センターの各顕微鏡で取得した顕微鏡画像から、SRRF処理による超解像化が行えることが認識できたかと思われます。特にムービーで示したTIRFの結果から、現在のSTEDや1分子局在化顕微鏡では難しいと推測される、高い時間分解能・短い時間間隔・長時間のタイムラプス観察でも、比較的容易に超解像化ができました。一般的な蛍光顕微鏡で撮影した画像でも可能ですので、皆さんの研究室の蛍光顕微鏡で撮影した画像でも、超解像化ができることになります。ちなみに画像1は、当センターのTE-2000という顕微鏡で取得しており、モデル名から推測できますように、かなり古いタイプの顕微鏡となるものの、それでも非常に鮮明な画像が作成できております。

このように、ある程度は当センターで観察・SRRF処理のノウハウが得られて、さまざまな画像で超解像化ができるようになりましたので、今後は積極的に利用者にSRRFを提供してゆくことといたします。興味のある方は、ぜひご相談ください。また、自分の顕微鏡の画像で試したいものの、わざわざ当センターまで来るのは面倒という場合は、上記のNanoJ-SRRF Wikiから、インストールが可能です。その場合は…優れたグラフィックボード(GPU性能がよいもの)は処理速度も速くなるため、導入をお勧めいたします。数万円程度のものでも、劇的に向上できます。

当センターでのSRRFに関するサポートとしては、現時点では概ね以下のように考えております。

  • 当センターの一般ユーザー: 可能な限り全面的に、私たちが画像取得・SRRF処理へのアドバイスを行い、そして当センターの解析用パソコンで、いつでもSRRFを試すことができます。
  • 当センターのユーザーではない方: トライアルでSRRFを試すことは可能ですが、原則として1回のみといたします。その後は当センターの正規ユーザーになり、そして当センターの顕微鏡で画像を撮りますと、全面的なサポートができますのでお勧めしたいところです。それはどうしても難しい場合は、自分のパソコンにインストールすれば、SRRFを行うことができます。ただしその場合、私たちからのSRRFのアドバイスは最低限…となりますことをご了承ください。また、「ImageJのインストールがうまくできないんだけど/ImageJの使い方がわからないんだけど、なんとかして!」…などといった問い合わせには、ざんねんながら私は対応できません(他の画像解析ソフトウエアがあるのが災いし?、私はImageJはほとんど使い方がわかりません。そんな基礎的なこともわからないって、まさか本気で言ってるの!?と、全力で突っ込まれそうなほどです)。
    特に学外の方で、SRRFによる超解像化・画質改善を委託分析としても構いませんならば、改めて検討しますのでご相談ください。

また私たちといたしましては、常にその瞬間に実際に当センターを利用している研究者へのサポートを最優先させたいところです。
そのためSRRFの件に限らず、当センターの正規のユーザーの方以外からの問い合わせは、可能な限り―この場合は、時間に余裕があれば―対応する、といったところとなってしまいますので、あらかじめご認識のうえでご相談ください。必ずしも即座に、そして適切な対応ができない可能性もあり、その場合は私たちもざんねんです…。

トップに戻る