機械学習のためのスペクトル臓器指紋

Scientific Reports volume 12、記事番号: 11028 (2022) この記事を引用

1978 年のアクセス数

6 引用

14 オルトメトリック

メトリクスの詳細

さまざまな組織が人間の目と同じように見えるため、手術中の組織の視覚的識別は困難な場合があります。ハイパースペクトルイメージング (HSI) は、各ピクセルを高次元のスペクトル情報に関連付けることにより、この制限を取り除きます。これまでの研究では、組織を識別する一般的な可能性が示されていましたが、この方法には現在のところ堅牢性と汎用性が欠けているため、臨床への応用は限られていました。具体的には、科学界には包括的なスペクトル組織アトラスが不足しており、分光反射率の変動が、記録された個別または特定の取得条件ではなく、主に組織の種類によって説明されるかどうかは不明です。この研究の貢献は 3 つあります: (1) 注釈付きの医療 HSI データセット (46 頭のブタからの 9059 画像) に基づいて、20 の異なるブタの臓器および組織タイプのスペクトル指紋を特徴とする組織アトラスを提示します。 (2) 混合モデル解析の原理を使用して、HSI 画像に関連する変動の最大の原因は観察中の臓器であることを示します。 (3) ディープニューラルネットワークを使用した HSI ベースの 20 臓器クラスの全自動組織分化が高精度 (> 95%) で可能であることを示します。私たちは研究の結果、HSIデータに基づく自動組織識別が実現可能であり、したがって術中の意思決定を支援し、状況を認識したコンピュータ支援手術システムや自律型ロボット工学への道を開く可能性があると結論付けています。

さまざまな体組織が人間の目に似ているという事実を考慮すると、手術中に組織の状態、病理、および重要な構造を周囲の健康な組織から区別することは困難な場合があります。従来の術中イメージングは人間の目を模倣することで制限されていましたが、ハイパースペクトルイメージング (HSI) では、赤、緑、青 (RGB) の色のみを記録するという恣意的な制限がなくなりました。 HSI は、従来の 2 次元デジタル画像の各ピクセルに 3 次元のスペクトル情報を割り当てることで機能します。スペクトル情報には、各ピクセルの波長固有の反射率強度が含まれます。これにより、2 つの空間次元 (x、y) と 3 番目のスペクトル次元 (λ) を持つ 3 次元データキューブが生成されます。 HSI は、地質学や海事研究、農業、食品産業、自動廃棄物分別 1,2 などのさまざまな分野で応用されており、最近では NASA の火星宇宙ミッションでも使用されました。

ここ数年にわたり、HSI テクノロジーを医療分野に導入する広範な取り組みが行われてきました。将来の臨床応用の例としては、組織の酸素化と血液灌流 3,4、炎症と敗血症 5、浮腫 6 または悪性腫瘍 7 の定量的評価、コンピューター支援による意思決定や自動臓器識別 8 などが挙げられます。これらは、術中認知支援システムやロボット手術の自動化などの将来の開発をサポートする可能性があります。有望な研究にもかかわらず、HSI に基づく自動組織分化の臨床応用はまだ達成されていません。これは、臨床応用にとって最も重要な要件である堅牢性と汎用性が現時点で欠如していることに起因すると考えられます。この点に関して、いくつかの未解決の研究課題が残っています。具体的には、HSI 測定値のばらつきは、観察中の複数の組織タイプ間の固有の違い (望ましい効果) から生じる可能性がありますが、被験者間のばらつきや画像取得条件のばらつき (両方とも望ましくない) からも生じる可能性があります。私たちは、この重要なテーマを系統的に調査した先行研究を知りません。最終的には、ハイパースペクトル臓器データを徹底的に理解し、HSI ベースの分析の可能性を示し、さらなる研究の基礎となる確かなベースラインデータを提示することを目指しています。

HSI データに基づく自動組織特性評価では、次の 2 つの特性が非常に望ましいです。まず、異なる臓器に対応するスペクトルは互いに実質的に異なる必要があります。そして第二に、同じ臓器のスペクトルは、画像取得条件や個人を問わず比較的一定である必要があります。これを念頭に置き、上記のセクションで指摘した文献のギャップを考慮すると、この研究の貢献は 3 つあります。

スペクトル指紋: 我々は、ブタモデルにおける広範囲の生理学的器官および組織タイプのスペクトル組織特性の包括的な分析を初めて提示します。 46 頭のブタの 9059 枚の画像と 17,777 件の注釈に基づいて、合計 20 臓器の特定のスペクトル指紋を生成します。

分散分析: スペクトル分散の大部分が器官の違いによって説明できることを示します。

HSI による機械学習ベースの臓器および組織分類: ニューラルネットワークが臓器クラスを高精度 (> 95%) で区別できることを実証し、HSI が術中の臓器および組織の識別に高い可能性を秘めていることを示唆しています。

このプロジェクトでは、46 頭のブタの合計 9059 枚の画像から 20 個のブタ臓器の分光反射率に関する洞察が得られます (図 1)。私たちのデータは、さまざまな臓器が特徴的なスペクトルを特徴としており、したがって臓器の「指紋」と呼ばれることを示しています。図 1 の灰色のブタ特有の反射率曲線に見られるように、スペクトル測定値の変動は臓器だけでなく、個体および/または特定の測定条件からも生じる可能性があります。したがって、この研究の主な目的は、変動のさまざまな原因の影響を定量化することでした。

20 の臓器と特定の組織タイプのスペクトル指紋で構成される組織アトラス。胃 (A = 39; n = 849)、空腸 (A = 44; n = 1546)、結腸 (A = 39; n = 1330)、肝臓 (A = 41; n = 1454)、胆嚢 (A = 28; n = 1546) n = 526)、膵臓 (A = 31; n = 530)、腎臓 (A = 42; n = 568)、脾臓 (A = 41; n = 1353)、膀胱 (A = 32; n = 779)、大網(A = 23; n = 570)、肺 (A = 19; n = 652)、心臓 (A = 19; n = 629)、軟骨 (A = 15; n = 586)、骨 (A = 14; n = 537)、皮膚 (A = 43; n = 2158)、筋肉 (A = 15; n = 560)、腹膜 (A = 28; n = 2042)、大静脈 (A = 15; n = 353)、腎臓ゲロタ筋膜 (A = 18; n = 393)、胆汁液 (A = 13; n = 362)。 Aは動物の数を示します。 n は合計の測定数を示します。グラフは、個々のブタの平均反射率 (ピクセルレベルで正規化されたℓ1) (灰色) および全体の平均 (青色) ± 1 標準偏差 (SD) (黒色) を、X 軸に 500 ～ 1000 nm の波長で示しています。 y 軸上の任意の単位での反射率。

個人および測定条件に起因する HSI の変動を示すために、t 分布確率的近傍埋め込み (t-SNE)9 を ℓ1 正規化データに適用しました (図 2)。これは、脾臓や肝臓などの特定の組織タイプが高度に分離されたクラスターを形成しているのに対し、胃、膵臓、空腸などの他の臓器は重複する傾向があり、区別性が低いことを示しています。

ℓ1 正規化データに対する非線形次元削減ツールとしての t 分布確率的近傍埋め込み (t-SNE) によるスペクトル類似性の視覚化。 1 つの点は、1 頭のブタの 1 つの画像内の 1 つの臓器の 1 つの関心領域 (ROI) 内のスペクトルの中央値を表します。脾臓や肝臓などの臓器が孤立したクラスターを形成しているのに対し、空腸などの他の臓器が他の臓器と重なっていることがわかります。

さまざまな変動源の影響を定量化するために、11頭のブタから得られた高度に標準化されたデータのサブセット（補足図1に示すP36〜P46）に線形混合モデルを適用しました。分析は最初にすべての臓器について実行され（図 3）、その後臓器ごとに層別化されました（図 4）。すべての器官の分析では、各波長で観察された反射率の説明された変動10の割合が「器官」、「豚」、「角度」、「画像」、および「繰り返し」の構成要素に分解されました。ここで、「角度」は割合を表します。臓器の表面とカメラの光軸の間の角度によって説明される変動の割合、「画像」は同じブタの異なる臓器の位置から得られた異なる測定値または注釈が付けられた領域の変動によって説明される変動の割合を表し、「繰り返し」は同一の測定条件下で同じ画像を複数回記録することによって説明される変動の割合。

ハイパースペクトルデータの変動のソース。線形混合モデルを使用して、各要因によって説明される反射率の変動（の割合）。要素には「器官」「豚」「角度」「イメージ」「繰り返し」などがあります。記録された波長ごとに、独立した線形混合モデルに、因子「器官」と「角度」の固定効果、および「豚」と「画像」のランダム効果を当てはめました。繰り返しにわたる変動は、残留変動によって与えられました。「器官」の変動の割合が大きいほど、より多くの反射率が器官の特徴として見られます。影付きの領域は、パラメトリックブートストラップに基づく 95% (点単位) 信頼区間を示しています。数字は波長全体の中央値を表します。

臓器ごとに階層化されたハイパースペクトルデータの変動のソース。線形混合モデルを用いた臓器別の変動解析について解説しました。各臓器および波長について、独立した線形混合モデルに「角度」の固定効果と「ブタ」と「画像」のランダム効果を当てはめました。繰り返しにわたる変動は、残差の説明された標準偏差によって与えられます。影付きの領域は、パラメトリックブートストラップに基づく 95% (点単位) 信頼区間を示しています。各サブプロットの数値は、波長全体の中央値を表します。

分析は、ℓ1 正規化された中央値スペクトルに対して実行されました。我々の結果は、HSI データの波長間の変動に主に影響を与える要因は「器官」要因であり、説明された変動の平均割合は 83.4% であることを示唆しています。要因「画像」は変動の平均 13.8% を説明しましたが、他の要因は「豚」で 2.3%、「角度」で 0.1%、「繰り返し」で 0.2% と無視できる変動しか説明しませんでした。これは、HSI データが観察対象や他の影響因子よりも臓器の特徴であることを示唆しています。反射率の分散が成分によって説明されるパーセンテージは、記録された電磁スペクトルの異なる部分によってわずかに変化しました。器官によって説明される変動は、900未満の波長では減少しましたが、ブタと画像の役割が増大しました。

器官ごとに階層化する場合、反射率の分散は「器官」を除く同じ成分に分解されました。図4によれば、「角度」と「繰り返し」は、一部の波長で角度の説明された変動が観察できる脾臓を除いて、すべての臓器における変動の無視できる部分を説明します。「豚」と「像」では臓器による違いが存在します。すべてのラインが比較的ゼロに近い臓器 (胃など) では、異なる画像とブタの間で反射率の不均一性がほとんどないため、これらの臓器は最も顕著な臓器特有のスペクトルシグネチャを示します。一方、構成要素「ブタ」と「画像」の説明分散のレベルがより大きい臓器（胆嚢など）は、結果的に臓器特有のスペクトルシグネチャが少なくなります。「臓器」以外の要因によって説明される分散曲線の累積レベルが最も高く、したがって観察全体で臓器の特徴が最も少ないスペクトルシグネチャーを持つ臓器クラスは、脾臓と胆嚢でした（補足テキスト3および補足表1）。

心臓などの一部の臓器では、反射率はブタ間で大きく異なりますが (「ブタ」の値は比較的高い)、ブタ内では比較的わずかでした (「画像」の値は比較的低い)。したがって、心臓について測定された反射率は、個々のブタ間で不均一でした。一方、他の臓器では、ブタ内（つまり、同じブタの画像間）の不均一性は、ブタ間（「ブタ」の値が低い）よりもいくらか大きかった（「画像」の値が高い）（「ブタ」の値が低い）。たとえば、ゲロタ筋膜を備えた腎臓。したがって、ゲロタ筋膜を備えた腎臓について測定された反射率は、個々の豚間で均一になる傾向がありますが、ゲロタ筋膜を備えた腎臓の 1 つの画像は、1 頭の豚内で不均一性があるため信頼できない可能性があります。

深層学習ベースのアプローチを使用して、ホールドアウトテストセットの豚全体で 95.4% ± 3.6% の平均精度で、上記のスペクトルから 20 の臓器クラスのアノテーションを分類しました。誤分類は、正しい器官クラスに割り当てられず、他の 19 クラスのいずれかに割り当てられた器官アノテーションであり、テストセット内の 9895 個のアノテーションのうち 486 個でのみ発生しました (図 5)。 20 の臓器クラスのうち 16 は、すべての試験豚全体で 90% 以上の平均感度で分類されましたが、試験豚全体で最小の平均感度が得られた臓器クラスは胆嚢 (74.0%) と心臓 (73.9%) でした。豚全体の平均では、それぞれ膀胱と腎臓と混同されることが最も多いです。すべての臓器クラスにわたって、平均感度は 93.0% ± 6.3%、平均特異度は 99.8% ± 0.2%、平均 F1 スコアは 92.3% ± 6.5% でした。

ディープラーニングベースの臓器分類の結果。 (a) トレーニングデータの一部ではなかった 8 頭のブタの 5293 枚の画像からの 9895 個の注釈を含むホールドアウトテストセットに対して生成された混同行列。混同行列を計算し、（誤って）分類されたアノテーションの絶対数に基づいてブタごとに列ごとに正規化（つまり、列の合計で除算）しました。これらの正規化された混同行列は、存在しないエントリ (たとえば、1 頭のブタの臓器欠損による) を無視しながら、ブタ全体で平均化されました。したがって、行列内の各値は、列クラスとしてラベル付けされ、行クラスとして予測された注釈の平均割合を表します。括弧内の数字は、豚全体の標準偏差を表します。視認性を向上させるために、混同行列にはゼロ値が表示されません。複数の臓器が同じ画像に表示される可能性があるため、注釈の数は画像の数を超えます。 (b) 専門家による複数の臓器の注釈が付けられた画像の例。 (c) 深層学習によって分類された臓器。

さまざまな組織や体の構造が人間の目には似ていることが多いため、生物学的組織の視覚的な識別と評価は簡単ではありません。手術中の従来の光学イメージングは、人間の視覚を模倣して赤、緑、青を区別するだけであるため、術中の利点が制限される場合があります。 HSI はこの制限を受けず、より多くの情報を網羅するため、組織の特定と評価に大きな可能性を秘めた例外的な画像診断モダリティです。現在、医療におけるその使用は増加の一途をたどっていますが、この画像診断モダリティの可能性は最大限に活用されていません。これは、HSI データの堅牢性と一般化可能性に関する未解決の研究課題に起因すると考えられます。

組織の構造特性はスペクトル特性の違いを引き起こし、これは適切な臓器の分化やその他の臨床応用で使用するのに十分重要である可能性があります。しかし、スペクトル測定に関する既存の文献は、主にヘモグロビン、ポルフィリン、メラニンなどの特定の生物学的色素に焦点を当てており 11,12 、さまざまな組織や器官にわたるスペクトル特性の複雑さについてはほとんど扱っていません。それでも、臓器のスペクトル特性に関する出版物は数多くあり、それらは間違いなく、外科におけるHSIの現在の応用の基礎を形成しました。しかし、現在の文献には、より低い波長分解能13、14、体外物質15を使用した測定、または異なる研究間の比較ができない互換性のない比較不可能な技術を使用した測定を特徴とする制限があります。他の出版物は非常に詳細ですが、反射率や吸光度ではなく光学散乱に焦点を当てた直感的ではないデータを提供しています16。このような文献情報源が私たちのコミュニティにもたらした多大な恩恵にもかかわらず 16、今日に至るまで、ヒトでも動物でも、より大きなコホートにおけるさまざまな生理学的器官の反射率スペクトルの体系的なデータベースや調査は存在しません。

参照作業として機能するこのようなスペクトル医療 HSI データベースのカテゴリ要件は、測定デバイスの精度、均一性、比較可能性であり、これは過去数年間 HSI コミュニティによって要求されてきました 17。過去数十年間、HSI は医療現場で発見されることはありませんでしたが、ここ数年間、この技術を医療現場に導入する広範な取り組みが行われてきました。しかし、最初に開発された HSI システムのほとんどは、世界中のさまざまな機関からの自作のプロトタイプや自作のソリューションであり、スペクトル解像度と範囲、使用される検出器と光学コンポーネントが異なりました 17,18,19,20,21,22。 23、24、25、26、27。これらの暫定ソリューションでは、さまざまな医療用途について非常に興味深い洞察が得られましたが、他の研究グループが個々の部品を入手してこれらの測定装置を独自に構築する必要があるため、標準化と比較可能性に欠けていました17。また、スペクトル範囲、照明、フィルターなどの光学コンポーネント、空間解像度などにも大きなばらつきがあります。これらの側面により、持続可能な大規模臨床試験や体系的な多施設研究が不可能になりました。スペクトル分解能、検出器、分散デバイス、および 200 nm から 2500 nm に及ぶさまざまなデバイスによってカバーされるスペクトル領域の観点から、非常に多様なデバイスを観察できました17。

このプロジェクトで使用される HSI カメラシステムは、前述の要求のほとんどを満たす初の市販の医療認定システムですが、記録できる波長範囲は限られており (500 ～ 1000 nm)、可視範囲は完全にはカバーされていません。以前の、あまり標準化されていない HSI システムは、特定の個別の研究課題の調査には効率的でしたが、市販のシステムの再現性と汎用性により、HSI に関する研究活動の増加が著しく促進されました。これらの研究努力の増加の指標は、ラット28およびブタを用いた動物研究29,30,31,32、会議論文33,34、ナラティブレビュー35,36,37およびその他の出版物38,39。この新しいシステムとその利点により、探索的性格を持つ初期臨床試験に再び特別な焦点が置かれるようになりました1,40,41,42,43,44,45,46,47,48,49,50,51,52,53。 54、55。しかし、まだ活用されていない新たな可能性もあります。これらには主に、生体組織のスペクトル特性評価と、機械学習と深層学習による大規模な医療 HSI データベースの補完が含まれます。いくつかの研究では、特定の癌実体とそれに関連する生理学的組織との違いなど、生物学的組織の単一の側面をスペクトル的に特徴付けています56。しかし、これらの研究は、ほとんどの場合、再現性のない設定で行われたり、組織灌流の知識がない状態で in vitro で行われることもあります。これは、特定の緩慢組織には許容できるかもしれませんが、典型的に十分に灌流されている臓器の大部分への適用には限界があります 57。さらに、これまでのところ既存の研究のほとんどは、特定の医学的側面に焦点を当てているだけであり、スペクトル組織特性の一般的な理解を十分に広げていません。

スペクトル組織分化の原理はすでに証明されていますが、それはまばらなマルチスペクトル情報を伴う腹腔鏡手術においてのみであり、最も重要なことに、臓器クラスが少ない場合に限られます 58,59。本研究を推進する疑問は、これらのスペクトルの違いがHSIシステムで検出できるほど強力であり、その後臓器を特徴づけて臓器の分化を可能にするのに十分な一貫性があるかどうかであった。

HSI は、(1) ブタモデルにおけるさまざまな組織タイプのスペクトル特性を系統的に特徴付けること、(2) これらのスペクトルが臓器や組織タイプによってどの程度影響を受けるかを分析することを目的として初めて適用されました。 (3) 被験者間の変動性と画像取得条件の変動として、(3) クラス数が異常に多い場合でも、自動機械学習ベースの組織分類が高精度で達成できることを実証しました。合計 20 の異なるブタ臓器が HSI で記録されました。結果として得られるデータベースは、17,777 の注釈付き臓器領域を含む 9,059 の記録で構成されます。

これらの臓器のスペクトルフィンガープリントが図 1 で抽出され、それぞれの HSI スペクトルの識別可能性を視覚的に評価するために t-SNE が選択されました (図 2)。高次元データからの 2 次元図ではユークリッド距離を慎重に解釈する必要がありますが、クラスタリングとオーバーラップは、基礎となるスペクトルの微分可能性についての良いヒントを与えます。 HSI データの一般的な有用性を決定するため、反射率の違いがどの程度臓器に起因するのか、あるいは個々のブタに起因するのか、あるいはその他の定義済みおよび未定義の要因からのノイズに起因するのかを評価することが今や不可欠でした。

線形混合モデルは、分光反射率変動の最大の割合が「豚」、「角度」、「画像」、「繰り返し」ではなく「器官」要因に起因することを示すことができます。これは、個人間の違いと画像取得条件による寄与が器官の違いによって支配されていることを示唆しています。照明などの画像取得条件は高度に標準化されていますが、実際の手術室の条件に準拠するために、人為的な過剰な標準化は意識的に避けられました。分光反射率の変動を説明する他の要因のうち、「画像」が最も関連性が高く、同じ臓器上の異なる領域にはスペクトルの違いがあることを示しています。この所見の説明としては、各臓器内の結合組織、血管、線維化の不均一な分布、組織表面の張力や蠕動運動による含まれる血液量のレベルの違いなどが考えられます。影響因子「画像」に関するこの洞察は、分析の深さに応じて、私たちが行ったように、調査中の臓器のさまざまな領域を記録する必要性を示唆しているため、実際の術中応用や臨床試験の可能性を検討する際に非常に関連性が高くなります。。

機械学習アルゴリズムは、事前にアノテーションが付けられた領域の臓器クラスを識別するための独立したテストセットで平均 95% 以上の精度を示し、この研究は HSI データに基づく機械学習による自動組織分類の確実な概念実証となっています。ただし、意味論的なシーンの自動注釈には、さらに別の課題が存在する可能性があると考えられます。さらに、1 つの記録内の 1 つの事前にアノテーションが付けられた領域のスペクトルの中央値のみを考慮したため、臓器の識別をさらに向上させる可能性があるテクスチャやコンテキスト情報は無視されました。注目すべきことに、ニューラルネットワーク入力をテクスチャ情報のない器官反射率に制限したにもかかわらず、優れた分類結果がすでに達成されている。胃や空腸などの同様の細胞構成を持つ臓器は、同様の反射スペクトルを示しましたが、それでも十分に区別することができました。誤分類は主に、膀胱と胆嚢、腎臓と心臓、または大静脈と骨の間で発生しました。

生理学的器官の調査に加えて、病理学的状態の体系的な調査も同様に重要であり、組織の虚血、うっ滞、炎症、悪性腫瘍を含める必要があります。これらの非生理的な器官の状態は、倫理的な理由から患者に意図的に誘発することができないという事実は、ヒトのような特徴と既知のスペクトル組織特性を備えた大型動物モデルの使用を必要とし、本研究にブタモデルを選択する理由を際立たせています。病理学的組織スペクトルの将来の分析のためのベースライン。

この研究の結果を適切に解釈するには、HSI テクノロジーに固有の特定の制限を考慮する必要があります。 1 つの制限は、現在の HSI システムの時間分解能が比較的低く、30 秒ごとに 1 回の記録しかなく、それぞれの記録時間は約 7 秒であることです。よりコンパクトで高速なデバイスが開発中60ですが、現時点ではこの制限により、可能な応用分野が狭められています。ただし、この研究で提示されたデータの有効性が損なわれるわけではありません。より高い時間分解能を必要とするが、必ずしも微細な波長分解能を必要とする応用分野では、マルチスペクトルイメージング (MSI) がソリューションを提供します 61,62。 MSI はほぼビデオレートのイメージングを可能にし、HSI 研究からの洞察を考慮すると、おそらく大幅に改良できる可能性があります。

HSI のもう 1 つの制限は、生体組織における光の侵入深さが一般的に短く、波長に依存することです。大網などの数ミリメートル未満の厚さの組織を測定する場合は、700 ～ 1000 nm の間で浸透深さが増加することを考慮する必要がありました。したがって、目視検査によって、大網が十分な厚さの部位でのみ測定されていることを確認した。光音響トモグラフィーは、生体組織により深く浸透できる技術であり、HSI63 と補完的に使用すると、追加の情報を得るのに役立つ可能性があります。

空間解像度が 680 × 480 ピクセル (幅 × 高さ) しかないため、さらに制限が生じます。胆嚢などの表面積が小さい臓器は、利用できるピクセルが少ないため、他の臓器よりも注釈を付けるのが困難でした。技術的な制限に加えて、提示された組織識別は、事前に注釈が付けられた関心領域 (ROI) に依存していました。意味的器官セグメンテーションについては、将来の研究で対処する必要があります。

この研究は、器官クラスと個人の大きなコホート内の器官のスペクトル特性と関係を系統的に調査した最初の研究です。高度に標準化されたアプローチを使用することで、各臓器のスペクトルフィンガープリントを抽出し、スペクトル特性に影響を与える要因を調査することができました。私たちは、個々の動物や記録条件ではなく、組織の種類が反射率スペクトルに最も影響を与える要因であるという証拠を提供することができました。反射率スペクトルは、医療用途での HSI の可能な値を評価しようとする場合に最も重要です。この研究は、生理学的組織のスペクトル特性の正確な知識を必要とする、さらなるスペクトル臓器評価 (例えば、病理学的組織状態) への道を開く参考研究とみなすことができます。これらの結果に基づいた将来の応用としては、コンピューター支援による意思決定の強化、術中の認知支援システム、さらにはロボット手術の自動化などが考えられます。臓器依存の反射率パターンに関する我々の主な発見は、人間のデータでも確認されることが期待できます。 HSI を臨床医学にしっかりと確立するには、この研究をヒトのデータに変換することが不可欠です。

この動物実験は、ドイツ、カールスルーエのバーデン・ヴュルテンベルク州地域評議会の動物実験委員会（G-161/18およびG-262/19）によって承認されました。実験室で使用されたすべての動物は、ドイツの動物の使用と管理に関する法律、および欧州共同体評議会の指令 (2010/63/EU) および ARRIVE ガイドラインに従って管理されました64。平均体重 35 kg の通常のブタ (Sus scrofadomesticus) がモデル生物として選ばれました 4,65,66,67,68。 46 頭のブタからのデータが分析に含まれました。

施設の基準およびプロトコールに従って、ブタは手術の24時間前に絶食させ、水を自由に摂取させた。体重に適応した薬理学的計算は、40 kg の豚に対して一般化されています。初期鎮静は、ストレスを軽減するためのさらなる操作の15分前に、神経弛緩薬アザペロン（Elanco®製のStresnil® 40 mg/ml）を体重に合わせて6 mg/kg（約6 ml = 240 mg）で筋肉内注射して実施しました。次に、短時間作用型ベンゾジアゼピンミダゾラム (ハーメルンファーマプラス gmbh® 製ミダゾラムハーメルン® 5 mg/ml) と 0.75 mg/kg (約 6 ml = 30 mg) およびケタミンの組み合わせを体重に合わせて筋肉内注射することによって、鎮痛作用を確立しました。 (Heinrich Fromme® の Ketamin 10%®) 10 mg/kg (約 4 ml = 400 mg)。

実験手術室に移送した後、２本の１８Ｇｉ．ｖ．カテーテルを耳静脈に設置し、３００ｍｌ／ｈのクリスタロイド注入（Ｂ．Ｂｒａｕｎ（登録商標）によるＳｔｅｒｏｆｕｎｄｉｎＩＳＯ（登録商標））で凝固を防止した。挿管は従来どおりに、または喉頭の視界が低下した場合には気管切開によって行われました。過剰な喀痰が発生した場合に挿管中に使用される薬剤、または一般的なバックアップ薬剤には、静脈内アトロピンおよびプロポフォール 1% が含まれていました。挿管後、圧力制御換気が確立され、セボフルラン® の下で最小肺胞濃度 1.0 が達成されました。術中麻酔は、セボフルラン®と静脈内 0.2 mg/kg/h ミダゾラム (約 1.5 ml/h = 7.5 mg/h) および 8.75 mg/kg/h ケタミン (約 3.5 ml/h = 350) の組み合わせによるバランスのとれたナルコーシスによって達成されました。 mg/h) 5 ml/h の速度で。弛緩剤は適用されませんでした。

モニタリングには、循環障害による誤ったデータの測定を防ぐために、パルスオキシメトリー、カプノメトリー、および大腿動脈を介した観血的血圧測定が含まれていました。体温は電気的に制御されたヒートブランケットで監視および維持されました。

腹腔にアクセスするために正中開腹術が行われました。肝臓周囲の靱帯および肝胃靱帯を解剖し、慎重に血管を温存しながら腎臓の被覆部分を除去するなど、内臓を動員した。ハサミ、電気焼灼器、および双極血管密閉装置が使用されました。恥骨上カテーテルを膀胱に挿入した。手術後、50mlの塩化カリウム溶液を迅速に静脈内投与してブタを安楽死させた。呼気終末CO2分圧が8 mmHg未満になると死亡が宣告された。

ハイパースペクトルデータキューブは、TIVITA® Tissue システム (Diaspective Vision GmbH、Pepelow、ドイツ) を使用して取得されました。これは、押しほうきスキャンイメージングシステムであり、医療用として初めて市販されているハイパースペクトルカメラです。 500 ～ 995 nm の可視および近赤外 (NIR) 範囲で 5 nm ステップで高いスペクトル分解能を提供し、100 のスペクトルバンドを実現します。その視野には 640 × 480 ピクセルが含まれ、空間解像度は約 0.45 mm/ピクセルです (図 6)。カメラから標本までの距離は、赤と緑の光照準システムによって約 50 cm に制御されます。カメラシステムに直接統合された 6 つのハロゲンランプが均一な照明を提供します。録音には約 7 秒かかります。

ハイパースペクトルカメラシステム。 (a) 空間次元として x と y、ハイパースペクトル次元として z を使用した 3 次元ハイパースペクトルデータキューブの視覚化。記録された 1 つのピクセルの反射率情報内容を例として視覚化します。 (b) TIVITA® 組織カメラシステム。

画像は、カメラと臓器の間の距離を 50 ± 5 cm として記録しました。迷光による測定された反射率スペクトルの歪みを防ぐために、組織の記録は手術室の照明を消し、カーテンを閉めた状態で行われました。ブタの記録の大部分は、術中の現実を正確に表すために一般的なアプローチで行われましたが、混合モデル分析の記録は、11 頭のブタ（臓器ごとに 8 ～ 9 頭）のサブセットに対して高度に標準化されたプロトコルで行われました（P36 の間）補足テキスト 1) に示されているように、P46 を参照してください。この標準化されたプロトコルには、3 つの異なる角度 (「角度」効果) からのまったく同じ手術シーンの 3 回の繰り返し (「繰り返し」効果) の記録が含まれます (組織表面に垂直、片側から 25 °、反対側から 25 °)。 4 つの異なる臓器の位置/位置/状況 (「画像」効果) について、合計 11 頭のブタで 20 の臓器ごとに合計 36 回の記録 (各臓器あたり 8 ～ 9 頭のブタ) が得られます。胆汁液の記録は、背景からの影響がないことを確認しながら、胆汁液を 5 枚重ねた外科用湿布に浸すことによって実行されました。データセットのより広範な概要と、標準化されたサブセットの概略記録プロトコルについては、補足図 1 および補足図 2 を参照してください。

9,059 枚の記録された画像すべてに 20 の異なる器官クラスの注釈が手動で付けられ、結果として 17,777 個の器官の注釈が付けられました (1 つの画像内に複数の器官が含まれる可能性があるため)。注釈戦略の詳細については、補足テキスト 4 を参照してください。注釈は 1 人の医療専門家によって行われ、その後、他の 2 人の医療専門家によって検証されました。注釈が不適切な場合は、その特定の記録に対して一括して注釈がやり直されました。

分析前に、スペクトル情報は均一性を高めるためにピクセルレベルで ℓ1 正規化されました。すべての分析は、注釈に含まれるすべてのピクセルにわたって計算された中央値スペクトルに基づいていました。

Python 3 は、データの編成、注釈、情報の抽出、分析に使用されています。数値データはExcelで保存しています。統計テストと視覚化には、GraphPad Prism 8.4.1 と Python が使用されています。フィギュアのデザインにはAffinity Designer 1.10.5を使用しています。

t 分布確率的近傍埋め込み (t-SNE)9 は、高次元データの次元数を削減するために一般的に使用される機械学習手法であり、ブタの各臓器の特徴的な反射率スペクトルを視覚化するために使用されました。この非線形次元削減ツールは、HSI および質量分析データの分析に有用であることがすでに証明されており 69、過去に生体サンプルに対して特に有望であることが示されているため、視覚化に選択されました 70,71。このアルゴリズムは、高次元データの多様体をモデル化することを目的としており、高次元多様体の局所近傍構造を保存するために最適化された低次元の埋め込みを生成します9。 PCA72 や LDA73 のような線形手法と比較して、t-SNE は非線形特徴を持つデータセットのより関連性の高い構造を保存します。これらの理由から、次元削減には t-SNE が使用されました。

t-SNE のパラメータを最適化する前に、46 頭のブタで構成されるデータセット全体 (17,777 個の注釈を含む 9059 個の画像) を次の方法で準備しました。(以前はピクセル上で)注釈内のすべてのピクセルのレベル ℓ1 正規化) スペクトル。したがって、各データ点は、1 頭のブタの 1 つの画像内の 1 つの臓器の反射率を表します。完全なデータセットの反射率スペクトルの 2 次元視覚化は、次のパラメーターのランダム検索を実行することによって最適化されました。

パラメータ 1: 初期の誇張。元の空間の自然クラスターが埋め込み空間内でどれだけ緊密であるか、およびそれらの間の空間がどれくらいかを制御します。 50 個のランダムな整数値が範囲 [5; 100]。

パラメータ 2: 最適化プロセスで使用される学習率。 100 個のランダムな整数値が範囲 [10; 1000]。

パラメーター 3: パープレキシティ。最適化で考慮される各データポイントの最近傍の数に関連します。 50 個の等距離の整数値が範囲 [2; 100]。

初期の誇張は、データセットの 2 次元表現の視覚的検査によって最適化された最初のパラメーターでした。次に、初期の誇張を一定に保ちながら、同じ方法で学習率を最適化しました。その後、他の 2 つのパラメーターを一定に保つことで、パープレキシティが最適化されました。各パラメータの最適値は、初期誇張の場合は 34、学習率の場合は 92、複雑さの場合は 30 でした。

スペクトルの変化に対する影響因子の影響を評価するために、独立した線形混合モデルを説明変動解析に使用しました。説明された分散（の割合）は、混合モデルの分散成分形式での説明された変動の経験的分解を使用して取得されました10。

最初のアプローチでは、波長ごとに、独立した線形混合モデルに「器官」と「角度」の固定効果、および「豚」と「画像」のランダム効果を当てはめました。より正確には、各波長に対して次のモデルが適合されました (波長インデックスは抑制されています)。

繰り返しの場合、画像 j = 1,…,ni の画像 j = 1,…,ni = 1,…, 11 (ni は 84 から 228 の範囲の豚 i の画像の数、および \(\sum\nolimits_{ i = 1}^{11} {n_{i} } = 1944\))。 \(\alpha\) は切片、\(organ_{ijk}^{T}\) は観察臓器 ijk (任意の参照カテゴリ「胃」を持つ) を示す長さ 19 の行ベクトル、および \(\beta\ ) は、対応する固定器官効果のベクトルです。同様に、\(\theta\) は角度の固定効果です (参照カテゴリ「組織表面に垂直」の場合は「片側から 25°」および「反対側から 25°」)。 \(\delta_{i} \sim N(0,\sigma_{\delta }^{2} )\) および \(\gamma_{ij} \sim N(0,\sigma_{\gamma }^{2} )\) は、それぞれランダムな豚効果と画像効果であり、豚の変化 \(\sigma_{\delta }^{2}\) と画像の変化 \(\sigma_{\gamma }^{ 2} .\) 残差 \(\varepsilon_{ijk} \sim N(0,\sigma_{\varepsilon }^{2} )\) は、同じ画像の繰り返し記録間の変動をキャプチャします。

各要因によって説明される反射率の変動の割合は次のように導出されます10。「繰り返し」は残余の変動を表しており、ここでは画像内 (すなわち、複製間) の変動を表します。 500 回の反復によるパラメトリックブートストラップに基づく 95% 点ごとの信頼区間は、推定値の不確実性を示します。

器官による層別化による 2 番目のアプローチでは、「角度」の固定効果と「ブタ」と「画像」のランダム効果を使用して、独立した線形混合モデルを各器官と波長に適合させました。つまり、各器官と波長は同じです上記のモデルは、共変量「器官」を除いて当てはめられました。各因子の説明された標準偏差が示されました10。「繰り返し」は、残りの説明された標準偏差を示します。これは、ここでは画像内 (つまり、繰り返し間) の変動です。 500 回の反復によるパラメトリックブートストラップに基づく 95% 点ごとの信頼区間は、推定値の不確実性を示します。すべての線形混合モデル解析は、1 つの注釈内のすべてのピクセルスペクトルの中央値スペクトルを計算することによって取得された、画像ごとの器官固有の中央値反射率スペクトルに基づいていました。

深層学習ネットワークをトレーニングする前に、46 匹のブタ (17,777 個のアノテーションを持つ 9,059 個の画像) で構成されるデータセットを、38 個のブタ (7,882 個のアノテーションを持つ 3,766 個の画像) で構成されるトレーニングデータセットと 8 個のブタ (5,293 個の画像) で構成される素のテストセットに系統的に分割しました。補足図1に示すように、これら8頭のテストブタは、すべての臓器クラスがテストでも少なくとも1頭の標準化ブタによって表されるという唯一の基準で、11頭の標準化ブタ（P36〜P46）からランダムに選択されました。トレーニングデータセットと同様です。 8 頭以上の標準化された豚を選択すると、この基準を満たすことができなくなりました。

ホールドアウトテストセットは、ネットワークアーキテクチャとすべてのハイパーパラメータが修正された後にのみ使用されました。トレーニングデータセットに対して 1 つのブタを除外する相互検証を実行し、検証の精度を得るために、38 のフォールドすべて (46 マイナス 8) について除外されたブタの予測を集計しました。ニューラルネットワークのハイパーパラメータは、検証精度が最大化されるように広範なグリッド検索で最適化されました。最適なハイパーパラメータが決定されたら、平均ロジットベクトル (ソフトマックス関数への入力値、以下を参照) を計算することで 38 のネットワークすべて (各フォールドに 1 つ) からの予測をアンサンブルすることにより、ホールドアウトテストセットでの分類パフォーマンスを評価しました。 ) に続いて argmax 操作を実行して、各注釈の最終ラベルを取得します。

深層学習ベースの分類は、アノテーションマスク内のすべてのピクセルの l1 正規化スペクトルから計算された中央値スペクトルに対して実行され、100 次元の入力特徴ベクトルが生成されました。深層学習アーキテクチャは、3 つの畳み込み層 (最初の層に 64 個のフィルター、2 番目の層に 32 個のフィルター、および 3 番目の層に 16 個のフィルター) と、それに続く 2 つの全結合層 (最初の層に 100 個のニューロン、第 2 層に 50 個のニューロン) で構成されていました。 5 つの層すべての活性化がバッチ正規化され、最後の線形層を使用してクラスロジットが計算されました。各畳み込み層は、カーネルサイズ 5 のスペクトルドメインを畳み込み、その後にカーネルサイズ 2 の平均プーリング層が続きました。完全に接続された 2 つの層は、\(p\) のドロップアウト確率で活性化をゼロにしました。すべての非線形層は、活性化関数として指数線形単位 (ELU)74 を使用しました。

スペクトル情報を分析するためのシンプルかつ効果的な方法を提供するため、このアーキテクチャを選択しました。畳み込み演算はスペクトルの局所構造に作用し、比較的小さなカーネルサイズと 3 層の積層を使用して、計算効率を高めながら受容野を増加させました 75。完全に接続された 2 つの層は、グローバルコンテキストに基づいて最終的な決定を行います。このアプローチの利点は、ネットワーク全体で 34,300 個のトレーニング可能な重みのみを使用するため、計算効率を維持しながら、ローカルとグローバルの情報集約を組み合わせられることです。

各クラスの事後確率を提供するために、ソフトマックス関数が使用されました。指数関数的な学習率減衰 (\(\gamma\) の減衰率と \(\eta\) の初期学習率) およびマルチクラスクロスエントロピー損失を備えた Adam オプティマイザー (β1 = 0.9, β2 = 0.999)76 を使用しました。関数。クラスの不均衡に対処するために、クラスごとのトレーニング画像の数に応じた損失関数のオプションの重みを含め、バッチのインスタンスをランダムまたはオーバーサンプリングして、各器官クラスが同じ確率でサンプリングされるようにしました。どちらの設計選択もハイパーパラメータグリッド検索で調査されました。

バッチサイズ N で 10 エポックにわたって、エポックあたり 10,000,000 個のサンプルをトレーニングしました。大規模なグリッド検索で、最もパフォーマンスの高いハイパーパラメータを決定しました: ドロップアウト確率 \(p* = 0.2(p \in \{ 0.1,0.2\} ) \)、学習率 \(\eta * = 0.0001\;(\eta \in \{ 0.001, \;0.0001\} )\)、減衰率 \(\gamma * = 0.9(\gamma \in \{ 0.75, 0.9, 1.0\} )\)、バッチサイズ \(N* = 20,000\;(N \in \{ 20,000, \;40,000\} )\)、加重損失関数、オーバーサンプリングなし。

次のメトリック値を計算することによって機械学習モデルのパフォーマンスを評価しました。精度については、すべてのアノテーションが取得されたメトリック値に等しく寄与するマイクロ平均が計算されました。臓器クラス間の記録数の不均衡を均衡させるために（補足図 1 を参照）、マクロ平均メトリック値が追加で報告されました。より具体的には、平均感度、特異度、および F1 スコアの計算では、まず指標値が臓器クラスごとに独立して計算され、次に平均化されました。

この研究の結果を裏付けるデータとコードは、合理的な要求に応じて対応する著者から入手できます。

ハイパースペクトルイメージング

マルチスペクトルイメージング

航空宇宙局

関心領域

標準偏差

T 分布確率的隣接埋め込み

マスカーニ、P. et al. 新しい術中画像技術: 手術の精度に対する外科医の目を革新します。Ｊ．Ｓｕｒｇ．オンコル。 118、265–282。 https://doi.org/10.1002/jso.25148 (2018)。

論文 PubMed Google Scholar

Prasad, S. & Chanussot, J. ハイパースペクトル画像解析: 機械学習と信号処理の進歩 (Springer、2020)。

Google Scholar を予約する

バルベリオ、M. et al. 腸虚血を評価するための定量的蛍光血管造影とハイパースペクトルイメージング: リアリティを高めた比較研究。手術 https://doi.org/10.1016/j.surg.2020.02.008 (2020)。

論文 PubMed Google Scholar

ディートリッヒ、M. et al. 出血性ショックにおける微小循環組織の酸素化と灌流の質を評価するためのハイパースペクトルイメージング: ブタの研究。生物医学 9、1829 (2021)。

記事 CAS Google Scholar

ディートリッヒ、M. et al. 自動敗血症診断のためのハイパースペクトル画像の機械学習ベースの分析。 https://arxiv.org/abs/2106.08445v1 (2021)。

ディートリッヒ、M. et al. 膵臓手術における微小循環組織の酸素化と組織水分含有量の周術期モニタリングのためのハイパースペクトルイメージング: 観察臨床パイロット研究。ペリオーパー。医学。 (ロンドン) 10、42。https://doi.org/10.1186/s13741-021-00211-6 (2021)。

記事 Google Scholar

ウー、ＩＣら。ハイパースペクトル内視鏡画像による食道扁平上皮腫瘍の早期特定。科学。議員 8、13797。https://doi.org/10.1038/s41598-018-32139-1 (2018)。

論文 ADS CAS PubMed PubMed Central Google Scholar

Clancy, NT、Jones, G.、Maier-Hein, L.、Elson, DS & Stoyanov, D. 外科用スペクトルイメージング。医学。アナル画像。 63、101699。https://doi.org/10.1016/j.media.2020.101699 (2020)。

記事 PubMed PubMed Central Google Scholar

van der Maaten, LJP & Hinton, GE t-SNE を使用した高次元データの視覚化。 J.マッハ。学ぶ。解像度 9、2579–2605 (2008)。

数学 Google Scholar

Schreck, N. & Wiesenfarth, M. 線形混合モデルにおける説明された変動の分解。 bioRxiv、2019.2012.2028.890061。 https://doi.org/10.1101/2019.12.28.890061 (2022)。

Thunell、S. ポルフィリン、ポルフィリン代謝およびポルフィリン症 I. アップデート。スキャン。Ｊ．クリン．研究室投資する。 60、509–540。 https://doi.org/10.1080/003655100448310 (2000)。

論文 CAS PubMed Google Scholar

ウィルソン、MT およびリーダー、BJ 酸素結合ヘムタンパク質。経験値生理。 93、128–132。 https://doi.org/10.1113/expphysiol.2007.039735 (2008)。

論文 CAS PubMed Google Scholar

Leavesley、SJ et al. 結腸がん検出のためのハイパースペクトルイメージング蛍光励起スキャン。Ｊ．Ｂｉｏｍｅｄ．オプション。 21、104003。https://doi.org/10.1117/1.JBO.21.10.104003 (2016)。

論文 ADS PubMed PubMed Central Google Scholar

Zheng, W.、Wang, C.、Chang, S.、Zhang, S. & Xu, RX 子宮頸部上皮内腫瘍の in vivo 検出のためのハイパースペクトルワイドギャップ二次微分解析。Ｊ．Ｂｉｏｍｅｄ．オプション。 20、121303。https://doi.org/10.1117/1.Jbo.20.12.121303 (2015)。

論文 ADS PubMed Google Scholar

Hu, B.、Du, J.、Zhang, Z.、Wang, Q. マイクロハイパースペクトル技術と深層学習に基づく腫瘍組織分類。バイオメッド。オプション。エクスプレス 10、6370 ～ 6389。 https://doi.org/10.1364/boe.10.006370 (2019)。

記事 PubMed PubMed Central Google Scholar

Jacques, SL 生物組織の光学的特性: レビュー。物理学。医学。バイオル。 58、R37～R61。 https://doi.org/10.1088/0031-9155/58/11/r37 (2013)。

論文 ADS PubMed Google Scholar

Lu, G. & Fei, B. 医療用ハイパースペクトルイメージング: レビュー。Ｊ．Ｂｉｏｍｅｄ．オプション。 19、010901 (2014)。

記事 ADS Google Scholar

マサチューセッツ州アフロモウィッツ、JB カリス、DM ハイムバッハ、ルイジアナ州デソート、MK ノートン熱傷のマルチスペクトルイメージング: 熱傷の深さを評価するための新しい臨床機器。 IEEEトランス。バイオメッド。工学 35、842–850。 https://doi.org/10.1109/10.7291 (1988)。

論文 CAS PubMed Google Scholar

フェリス、DG 他。子宮頸部腫瘍の非侵襲的診断のためのマルチモーダルハイパースペクトルイメージング。 J. ローワージェニット。トラクトディス。 5、65–72。 https://doi.org/10.1046/j.1526-0976.2001.005002065.x (2001)。

記事 CAS Google Scholar

シャー、SA et al. ハイパースペクトルイメージングを使用した皮膚創傷分析。バイオテクニック 34、408–413。 https://doi.org/10.2144/03342pf01 (2003)。

論文 CAS PubMed Google Scholar

Bambery, KR、Wood, BR、Quinn, MA & McNaughton, D. フーリエ変換赤外線イメージングと教師なし階層クラスタリングを子宮頸部生検に適用。 8月。Ｊ．Ｃｈｅｍ． 57、1139–1143。 https://doi.org/10.1071/CH04137 (2004)。

記事 CAS Google Scholar

Akbari, H.、Koすぎ、Y.、Kojima, K.、Tanaka, N. 可視および不可視のハイパースペクトルイメージングを使用した腸虚血の検出と分析。 IEEEトランス。バイオメッド。工学 57、2011 ～ 2017 年。 https://doi.org/10.1109/TBME.2010.2049110 (2010)。

論文 PubMed Google Scholar

アクバリ、H.ら。前立腺がん検出のためのハイパースペクトルイメージングと定量分析。Ｊ．Ｂｉｏｍｅｄ．オプション。 17、076005 (2012)。

記事 ADS Google Scholar

Mitra, K. et al. 胆嚢摘出術における胆管イメージング用のインドシアニングリーン充填マイクロバルーン。Ｊ．Ｂｉｏｍｅｄ．オプション。 17、116025 (2012)。

記事 ADS Google Scholar

Rosas, JG & Blanco, M. ハイパースペクトル画像の均一性分布を評価するための基準。パート 2: 均一性指数の固形医薬品剤形への適用。Ｊ．Ｐｈａｒｍ．バイオメッド。アナル。 70、691–699。 https://doi.org/10.1016/j.jpba.2012.06.037 (2012)。

論文 CAS PubMed Google Scholar

Li, Q.、Wang, Y.、Liu, H.、Chen, Z.、IEEE International Conference on Computer Science and Automation Engineering (CSAE) 15–17 (2012)。

Kumar, S.、Desmedt, C.、Larsimont, D.、Sotiriou, C.、Goormaghtigh, E. FTIR イメージングによって研究された乳がんの微小環境の変化。アナリスト 138、4058–4065。 https://doi.org/10.1039/c3an00241a (2013)。

論文 ADS CAS PubMed Google Scholar

グランボウ、E. et al. ラット後肢の微小血管吻合時の灌流不全をモニタリングするためのハイパースペクトルイメージング。微小血管。解像度 116、64-70。 https://doi.org/10.1016/j.mvr.2017.10.005 (2018)。

論文 PubMed Google Scholar

バルベリオ、M. et al. HYPerspectral Enhanced Reality (HYPER): 生理学に基づいた手術ガイダンスツール。外科。エンドスク。 34、1736 ～ 1744 年。 https://doi.org/10.1007/s00464-019-06959-9 (2020)。

論文 PubMed Google Scholar

Felli, E.、Urade, T.、Barberio, M.、Felli, E. & Diana, M. ブタ肝虚血のハイパースペクトルイメージング: 概念実証。 https://www.airitilibrary.com/Publication/alDetailedMesh?docid=15610497-201912-201912180004-201912180004-117-121 (2019)。

テシュケ、F. et al. 正常温腎灌流中の酸素飽和レベルをモニタリングするためのハイパースペクトルイメージング。 J. Sens. Sens. Syst. 5、313–318。 https://doi.org/10.5194/jsss-5-313-2016 (2016)。

記事 ADS Google Scholar

ニッケル、F.ら。低侵襲食道切除術の実験モデルにおけるハイパースペクトルイメージングによる吻合術と胃導管灌流の最適化。バイオRxiv。 https://doi.org/10.1101/2021.10.03.462901 (2021)。

Holmer, A.、Kaemmerer, P.、Kulcke, A.、Marotz, J. & Wahl, P.、『AUTOMED』。

ランドロ医学博士ら。 IEEE Engineering in Medicine and Biology Society (EMBC) の第 41 回年次国際会議で受賞。 1851 ～ 1854 年 (2019)。

ゴッケル、I. et al. 内臓外科におけるハイパースペクトルイメージングの可能性と展望。外科医 91、150–159。 https://doi.org/10.1007/s00104-019-01016-6 (2020)。

論文 CAS PubMed Google Scholar

Goetze, E.、Thiem, DGE、Gielisch, M.、Al-Nawas, B. & Kämmerer, PW 微小血管再建顔面手術におけるデジタル化と人工知能のアプローチ。外科医 91、216–221。 https://doi.org/10.1007/s00104-019-01103-8 (2020)。

論文 CAS PubMed Google Scholar

Maier-Hein、L. et al. 術中の画像化と視覚化。腫瘍学者 26、31–43。 https://doi.org/10.1007/s00761-019-00695-4 (2020)。

記事 Google Scholar

ホルマー、A.ら。皮膚や臓器の化学ベースの組織分析のためのハイパースペクトルカメラシステムによる酸素供給と灌流のモニタリング。生理。測定。 37、2064 ～ 2078 年。 https://doi.org/10.1088/0967-3334/37/11/2064 (2016)。

論文 PubMed Google Scholar

Markgraf, W.、Feistel, P.、Thiele, C. & Malberg, H. ハイパースペクトルイメージングを使用した、正常温機械灌流中の腎臓組織の酸素化をマッピングするためのアルゴリズム。バイオメッド。工学バイオメッド。技術。 63, 557。https://doi.org/10.1515/bmt-2017-0216 (2018)。

記事 CAS Google Scholar

バルベリオ、M. et al. 手術中の甲状腺と副甲状腺のハイパースペクトルに基づく識別。カー。監督バイオメッド。工学 4、399。 https://doi.org/10.1515/cdbme-2018-0095 (2018)。

記事 Google Scholar

Daeschlein、G. et al. 創傷の微小循環における新しい診断ツールとしてのハイパースペクトルイメージング。クリン。ヘモルヘオール。マイクロサークル。 67、467–474。 https://doi.org/10.3233/ch-179228 (2017)。

論文 CAS PubMed Google Scholar

グランボウ、E. et al. TIVITA(R) 組織ハイパースペクトルイメージングカメラシステムによる末梢動脈疾患の評価。クリン。ヘモルヘオール。マイクロサークル。 73、3-17。 https://doi.org/10.3233/ch-199215 (2019)。

論文 PubMed Google Scholar

Herrmann, BH & Hornberger, C. 医療用ハイパースペクトルイメージングアプリケーションにおける光組織相互作用のモンテカルロシミュレーション。カー。監督バイオメッド。工学 4、275–278。 https://doi.org/10.1515/cdbme-2018-0067 (2018)。

記事 Google Scholar

Jansen-Winkeln, B.、Holfert, N.、Köhler, H.、Chalopin, C.、Gockel, I. ハイパースペクトルイメージングによる理想的な吻合位置の決定。 Z. 胃腸ロール。 57、93。 https://doi.org/10.1055/s-0039-1695193 (2019)。

記事 Google Scholar

Jansen-Winkeln、B. et al. ハイパースペクトルイメージング (HSI) を使用した結腸直腸切除中の離断縁の決定。内部。 J.結腸直腸疾患。 34、731–739。 https://doi.org/10.1007/s00384-019-03250-0 (2019)。

論文 PubMed Google Scholar

Jansen-Winkeln、B. et al. 手縫い V. ステープルで留めた吻合 – 灌流のハイパースペクトル観察。 Z. 胃腸ロール。 57、91。https://doi.org/10.1055/s-0039-1695191 (2019)。

記事 Google Scholar

Köhler, H.、Jansen-Winkeln, B.、Chalopin, C.、Gockel, I. 胃導管灌流測定のための新しい光学的方法としてのハイパースペクトルイメージング。ディス。食道 32、1。 https://doi.org/10.1093/dote/doz046 (2019)。

論文 PubMed Google Scholar

ケーラー、H.ら。食道切除術中の胃導管の虚血コンディショニング効果を測定するためのハイパースペクトルイメージング (HSI) の評価。外科。エンドスク。 33、3775–3782。 https://doi.org/10.1007/s00464-019-06675-4 (2019)。

論文 PubMed Google Scholar

ラングナー、I. et al. ハイパースペクトルイメージングは、デュピュイトラン病患者における術後作業療法の微小循環への影響を示しています。手の外科、顕微手術、形成外科: 手の外科のためのドイツ語を話す作業グループの機関: 末梢神経および血管の顕微手術のためのドイツ語を話す作業グループの機関 51、171-176。 https://doi.org/10.1055/a-0916-8635 (2019)。

記事 Google Scholar

マクタビ、M.ら。ハイパースペクトルデータに基づく腫瘍性食道切除物の組織分類。内部。Ｊ．Ｃｏｍｐｕｔ．支援する。ラジオル。外科。 14、1651 ～ 1661 年。 https://doi.org/10.1007/s11548-019-02016-x (2019)。

論文 PubMed Google Scholar

マロッツ、J. et al. 医療におけるベッドサイド診断のためのハイパースペクトル画像データからの拡張灌流パラメータ推定。分子 24、4164。https://doi.org/10.3390/molecules24224164 (2019)。

論文 CAS PubMed Central Google Scholar

Marotz, J.、Siafliakis, A.、Holmer, A.、Kulcke, A.、Siemers, F. 化学ベースの創傷分析のための新しいハイパースペクトルカメラシステムの最初の結果。創傷治療。 10〜11、17〜22。 https://doi.org/10.1016/j.wndm.2015.11.003 (2015)。

記事 Google Scholar

Mohammed, RAA、Schäle, D.、Hornberger, C. & Emmert, S. 創傷のハイパースペクトル画像データにおけるシグネチャの検出: 自己組織化マップと最小二乗フィッティングの複合モデル。カー。監督バイオメッド。工学 4、419–422。 https://doi.org/10.1515/cdbme-2018-0100 (2018)。

記事 Google Scholar

スーチャー、R. et al. 解剖学的左肝臓切除術におけるハイパースペクトルイメージング (HSI)。内部。Ｊ．Ｓｕｒｇ．判例番号 62、108 ～ 111。 https://doi.org/10.1016/j.ijscr.2019.08.025 (2019)。

記事 PubMed PubMed Central Google Scholar

Zimmermann, P.、Scheibe, A.、Marotz, J.、Wollina, U. マルチスペクトルカメラとハイパースペクトルプローブの組み合わせによる慢性脚潰瘍における組織酸素化の分析。グルジアの医学。ニュース 270、75–81 (2017)。

Google スカラー

マクタビ、M.ら。ハイパースペクトルデータに基づく腫瘍性食道切除物の組織分類。内部。Ｊ．Ｃｏｍｐｕｔ．支援する。ラジオル。外科。 https://doi.org/10.1007/s11548-019-02016-x (2019)。

論文 PubMed Google Scholar

Filatova, S.、Shcherbakov, I. & Tsvetkov, V. 350 ～ 2600 nm の波長範囲における動物組織の光学特性。Ｊ．Ｂｉｏｍｅｄ．オプション。 22、035009 (2017)。

記事 ADS Google Scholar

Zhang、Y.ら。マルチスペクトルテクスチャ分析に基づいた腹腔鏡画像理解のための組織分類。 J.Med. イメージング (ベリンガム) 4、015001。https://doi.org/10.1117/1.JMI.4.1.015001 (2017)。

記事 Google Scholar

モッシア、S.ら。腹腔鏡検査における外科データサイエンス用途のための不確実性を認識した臓器分類。 IEEEトランス。バイオメッド。工学 65、2649–2659。 https://doi.org/10.1109/TBME.2018.2813015 (2018)。

論文 PubMed Google Scholar

アヤラ、L.ら。腹腔鏡手術におけるビデオレートのマルチスペクトルイメージング: 人類初の応用。 https://arxiv.org/abs/2105.13901 (2021)。

Wirkert、SJ et al. 134–141 (スプリンガー)。

Wirkert、SJ et al. 逆モンテカルロ法とランダムフォレスト回帰を使用した、メガピクセルのマルチスペクトル画像からの生理学的パラメータの堅牢なほぼリアルタイム推定。内部。Ｊ．Ｃｏｍｐｕｔ．支援する。ラジオル。外科。 11, 909–917。 https://doi.org/10.1007/s11548-016-1376-5 (2016)。

記事 PubMed PubMed Central Google Scholar

グロール、J. et al. 深層学習を使用したマルチスペクトル光音響画像のセマンティックセグメンテーション。 https://arxiv.org/abs/2105.09624 (2021)。

Kilkenny, C.、Browne, W.、Cuthill, IC、Emerson, M. & Altman, DG 動物研究: in vivo 実験の報告: ARRIVE ガイドライン。 Br. Ｊ．Ｐｈａｒｍａｃｏｌ． 160、1577 ～ 1579 年。 https://doi.org/10.1111/j.1476-5381.2010.00872.x (2010)。

論文 CAS PubMed PubMed Central Google Scholar

Kenngott、HG et al. 肝臓切除用の生きたブタモデルにおける肝臓容積に対する腹腔鏡検査、開腹術、および呼吸相の影響。外科。エンドスク。 35、7049–7057。 https://doi.org/10.1007/s00464-020-08220-0 (2021)。

記事 PubMed PubMed Central Google Scholar

ニッケル、F.ら。ナビゲート型低侵襲食道切除術のブタモデルにおける呼吸と術中の気腹によって引き起こされる臓器の動きのコンピューター断層撮影分析。外科。エンドスク。 32、4216–4227。 https://doi.org/10.1007/s00464-018-6168-2 (2018)。

論文 PubMed Google Scholar

ニッケル、F.ら。低侵襲食道切除術のためのナビゲーションシステム: ブタモデルでの実験研究。外科。エンドスク。 27、3663–3670。 https://doi.org/10.1007/s00464-013-2941-4 (2013)。

論文 PubMed Google Scholar

Gehrig, T. et al. 膵臓遠位切除術におけるさまざまな手術法の比較: ブタモデルでの実験的研究。外科。イノヴ。 18、329–337。 https://doi.org/10.1177/1553350610395032 (2011)。

論文 PubMed Google Scholar

Gardner, W.、Cutts, SM、Phillips, DR、Pigram, PJ 質量分析画像の理解: 機械学習による複雑さから明瞭さへ。生体高分子 112、e23400。 https://doi.org/10.1002/bip.23400 (2020)。

論文 CAS PubMed Google Scholar

Kobak, D. & Berens, P. 単一細胞トランスクリプトミクスに t-SNE を使用する技術。ナット。共通。 10、5416。https://doi.org/10.1038/s41467-019-13056-x (2019)。

論文 ADS CAS PubMed PubMed Central Google Scholar

Cieslak, MC、Castelfranco, AM、Roncalli, V.、Lenz, PH & Hartline, DK t-分散確率的近傍埋め込み (t-SNE): 生態生理学的トランスクリプトーム解析のためのツール。 Mar. Genomics 51、100723。https://doi.org/10.1016/j.margen.2019.100723 (2020)。

論文 PubMed Google Scholar

ティッピング、ME およびビショップ、CM 確率主成分分析。 JR駅社会サー。 B (統計手法) 61、611–622。 https://doi.org/10.1111/1467-9868.00196 (1999)。

記事 MathSciNet MATH Google Scholar

Hastie , T. 、Tibshirani , R. & Friedman , J. The Elements of Statistical Learning 2nd edn. （スプリンガー、2008）。

数学 Google Scholar

Clvert, D.-A.、Unterthiner, T. & Hochreiter, S. 指数線形ユニット (ELU) による高速かつ正確なディープネットワーク学習。 http://arxiv.org/abs/1511.07289 (2016)。

Szegedy, C.、Vanhoucke, V.、Ioffe, S.、Shlens, J.、Wojna, Z. がコンピュータービジョンとパターン認識 (CVPR) に関する IEEE 会議に参加。 2818 ～ 2826 年 (2016 年)。

Kingma, DP & Ba, J. Adam: 確率的最適化の手法。 https://arxiv.org/abs/1412.6980 (2014)。

リファレンスをダウンロードする

著者らは、原稿の校正をしてくれた Minu Tizabi (IMSY、DKFZ) に感謝し、バーデンヴュルテンベルク科学研究芸術省 (MWK) とドイツ研究財団 (DFG) が支援するデータストレージサービス SDS@hd に感謝の意を表します。 INST 35/1314-1 FUGG および INST 35/1503-1 FUGG を付与します。この貢献は、共同研究学校 HIDSS4Health (ヘルムホルツ情報およびデータサイエンススクールフォーヘルス) のもとでヘルムホルツ協会によって支援されています。このプロジェクトは、欧州連合の Horizon 2020 研究革新プログラム (NEURAL SPICING、助成契約番号 [101002198]) に基づく欧州研究評議会 (ERC) から、またウィリロバートピッツァー財団、ハイデルベルク外科財団から資金提供を受けました。およびドイツ学術交換局 (DAAD) による RISE プログラムによるものです。図中の描写は作者が描いたものです。 TIVITA® ティッシュシステムの画像は、Diaspective Vision からの承諾を得て公開されています。

Projekt DEAL によって実現および組織されたオープンアクセスの資金調達。

ハイデルベルク大学病院一般外科、内臓外科、および移植外科、Im Neuenheimer Feld 420、69120、ハイデルベルク、ドイツ

アレクサンダー・スタディエ＝フィッシャー、ベルキン・オズデミール、ヤン・オーデンタール、サミュエル・ノードラー、カエラン・マックス・ヘイニー、ガブリエル・アレクサンダー・ザルク、ハンネス・ゲッツ・ケンゴット、ビート・ピーター・ミュラー＝シュティッヒ、フェリックス・ニッケル

ドイツがん研究センター (DKFZ)、インテリジェント医療システム部門、ハイデルベルク、ドイツ

シルヴィア・ザイドリッツ、ヤン・セルナー、レオナルド・アヤラ、ティム・ジュリアン・アドラー、クラウス・マイヤー・ハイン、レナ・マイヤー・ハイン

HIDSS4Health – ヘルムホルツ情報およびデータサイエンス保健学校、カールスルーエ、ハイデルベルク、ドイツ

シルヴィア・ザイドリッツ、ヤン・セルナー、クラウス・マイヤー＝ハイン、レナ・マイヤー＝ハイン、フェリックス・ニッケル

医療画像コンピューティング部門、ドイツがん研究センター (DKFZ)、ハイデルベルク、ドイツ

ヤン・セルナー、クラウス・マイヤー＝ハイン、レナ・マイヤー＝ハイン

生物統計部門、ドイツがん研究センター (DKFZ)、ハイデルベルク、ドイツ

マヌエル・ヴィーゼンファート、ニコラス・シュレック、アネット・コップ＝シュナイダー

ハイデルベルク大学マンハイム医学部泌尿器科、マンハイム、ドイツ

カール・フリードリヒ・コワレフスキー

カリフォルニア工科大学、米国パサデナの生物学および生物工学部門

イザベラ・カンプリソン

ハイデルベルク大学病院麻酔科、ハイデルベルク、ドイツ

マクシミリアン・ディートリッヒ

エッセン大学病院、麻酔科および集中治療科、エッセン、ドイツ

カルステン・シュミット

ハイデルベルク大学数学およびコンピュータサイエンス学部、ハイデルベルク、ドイツ

ティム・ジュリアン・アドラー & レナ・マイヤー＝ハイン

PubMed Google Scholar でこの著者を検索することもできます

ASF、FN、BPMS がこのプロジェクトの最初のアイデアを持っていました。 ASF と FN がプロジェクトを開始しました。 ASF、FN、CMH は既存の文献の初期レビューと計画を実施しました。 ASF、CMH、KFK、B.Ö.、MD、BPMS、FN が手術を行いました。 ASF、IC、B.Ö. JO は、データ編成と注釈用の Python コードを開発しました。 ASF、GAS、および SK アノテーション付きデータ。 ASF、GAS、B.Ö.、JO、SK、KFK、SS、LA、JS、LMH、TA、および MW がデータを分析および解釈しました。 LMH、TA、LA、SS、JS、MW、NS、AKS、ASF は、統計および機械学習ベースのデータ分析戦略を開発し、実装しました。 LA は t-SNE 分析と関連する原稿の一節を提供しました。 MW、NS、AKS は、混合モデル分析、構造化モデル、および関連する原稿の一節を提供しました。 SS と JS は、機械学習ベースの分類と関連する原稿の一節を提供しました。 FN、LMH、HGK、KMH、KS、BPMS は、プロジェクト全体を通じて専門知識を提供しました。 ASF、B.Ö。そしてFNが原稿を書きました。 SS、JS、LA、MW、BPMS、HGK、KMH、LMH が原稿を改訂しました。著者全員が最終原稿を読んで承認しました。

フェリックス・ニッケルへの通信。

著者らは競合する利害関係を宣言していません。

シュプリンガーネイチャーは、発行された地図および所属機関における管轄権の主張に関して中立を保ちます。

オープンアクセスこの記事はクリエイティブコモンズ表示 4.0 国際ライセンスに基づいてライセンスされており、元の著者と情報源に適切なクレジットを表示する限り、あらゆる媒体または形式での使用、共有、翻案、配布、複製が許可されます。クリエイティブコモンズライセンスへのリンクを提供し、変更が加えられたかどうかを示します。この記事内の画像またはその他のサードパーティ素材は、素材のクレジットラインに別段の記載がない限り、記事のクリエイティブコモンズライセンスに含まれています。素材が記事のクリエイティブコモンズライセンスに含まれておらず、意図した使用が法的規制で許可されていない場合、または許可されている使用を超えている場合は、著作権所有者から直接許可を得る必要があります。このライセンスのコピーを表示するには、http://creativecommons.org/licenses/by/4.0/ にアクセスしてください。

転載と許可

Studier-Fischer, A.、Sedlitz, S.、Sellner, J. 他ブタモデルにおけるハイパースペクトルイメージングによる機械学習ベースの術中組織分類のためのスペクトル臓器指紋。 Sci Rep 12、11028 (2022)。 https://doi.org/10.1038/s41598-022-15040-w

引用をダウンロード

受信日: 2022 年 2 月 4 日

受理日: 2022 年 6 月 16 日

公開日: 2022 年 6 月 30 日

DOI: https://doi.org/10.1038/s41598-022-15040-w

次のリンクを共有すると、誰でもこのコンテンツを読むことができます。

申し訳ございませんが、現在この記事の共有リンクは利用できません。

Springer Nature SharedIt コンテンツ共有イニシアチブによって提供

外科内視鏡検査 (2023)

スカンジナビアの外傷、蘇生および救急医学ジャーナル (2022)

外科内視鏡検査 (2022)

コメントを送信すると、利用規約とコミュニティガイドラインに従うことに同意したことになります。虐待的なもの、または当社の規約やガイドラインに準拠していないものを見つけた場合は、不適切としてフラグを立ててください。

ブログ

機械学習のためのスペクトル臓器指紋