NYC는 의료 알고리즘에서 편견과 '인종 규범화'를 종식시키기 위해 연합을 만듭니다.

이러한 알고리즘은 뉴욕시의 흑인 및 라틴계 거주자가 받는 치료에 부정적인 영향을 미치는 것으로 입증되었습니다.

뉴욕시는 최근 시 병원에서 사용하는 임상 알고리즘의 인종 조정을 종식시키려는 노력을 발표했습니다. 전문가들은 이러한 조정이 의료 분야에서 인종 차별적 가정을 영속화하고 소수 민족에 대한 수준 이하의 치료로 이어질 수 있다고 말합니다. 

의료 시설에서는 임상 알고리즘을 사용하여 환자에게 의료 서비스를 제공하는 방법을 결정하고, 많은 병원에서는 인종 조정이라고도 하는 "인종 규범화"라는 프로세스를 사용합니다. 이는 도시의 흑인과 라틴계 거주자가 받는 치료에 부정적인 영향을 미치는 것으로 입증되었습니다. 

이 발표에는 신장 기능과 관련하여 흑인 환자에 대한 "조정" 요소를 포함하여 도시 주민들에게 영향을 미치는 실제 상황의 예가 포함되어 있습니다. 조정 계수는 동일한 측정 결과에 대해 흑인 환자보다 더 건강하다고 흑인 신장 기능 수준을 계산합니다. 이로 인해 흑인 환자의 치료가 지연되었습니다. 

산모 돌봄에서 인종 규범화는 흑인과 라틴계가 "백인 여성과 같은 나이, 건강 상태, 과거 출산 이력"을 가지고 있음에도 불구하고 불필요한 제왕절개를 할 가능성이 더 높아지도록 이끌었다.이러한 알고리즘은 일반적으로 출산하는 흑인과 라틴계에게 "덜 유리한 결과"로 이어졌다. 기존의 모성 및 건강 불평등을 악화시킵니다.

이러한 문제를 해결하기 위해 뉴욕시 보건국은 임상 알고리즘에 인종 조정을 포함하는 것을 종식시키기 위한 연합을 구성했습니다. 

"임상 알고리즘 인종 차별 종식 연합(CERCA)은 더 건강하고 평등한 도시를 만드는 데 도움이 될 것입니다"라고 보건 국장 Dave Chokshi 박사는 말했습니다. 

부국장 겸 최고 의료 책임자인 미셸 모스(Michelle Morse) 박사는 "임상 알고리즘에서 문제가 되는 인종 조정 개념과 관행에 대한 인식을 높이는 것은 흑인, 원주민 및 유색인종(BIPOC)으로 식별되는 사람들에게 보다 공평한 의료 결과와 경험을 제공할 수 있는 잠재력이 있다"고 덧붙였습니다.

NYC Health + Hospitals 사장 겸 CEO인 Mitchell Katz는 시의 공중 보건 시스템이 보건부 및 기타 의료 시스템과 협력하기를 기대하고 있다고 말했습니다. 

"이 연합은 인종 기반 알고리즘의 현상 유지에 도전하는 것을 목표로 하는 우리 시스템의 기존 '의료 인종주의(Medical Eracism)' 이니셔티브의 작업과 영향을 더욱 가속화할 수 있는 힘을 가지고 있습니다. 수십 년 동안 우리 분야에서 널리 받아들여져 왔습니다"라고 Katz는 말했습니다. 

CERCA 관련 기관에는 NYC Health + Hospitals, Maimonides Medical Center, MountSinai Health System, New-York Presbyterian, Northwell Health, NYU Langone Hospitals, One Brooklyn Health, SBH Health System, SUNY Downstate, Wyckoff Heights Medical Center 및 Cortelyou Medical Associates가 있습니다. 

각각은 "적어도 하나의 임상 알고리즘에서 인종 조정을 끝내고 인종 불평등과 환자 참여에 대한 평가를 위한 계획을 수립할 것"이라고 밝혔다.또한 2년 동안 격월로 만날 계획이며 연례 보고서를 작성할 예정이며, 그 첫 번째 보고서는 2022년 6월에 나올 예정이다. 

흑인 의료 전문가들은 병원이 치료를 위해 배치하는 알고리즘에 사용되는 인종 조정 이면의 인종 차별을 오랫동안 강조해 왔습니다. 펜실베이니아 대학의 아프리카나 연구, 법학, 사회학 교수인 도로시 로버츠 박사는 의학계의 인종 조정은 "인간 생물학에 대한 잘못된 인종 차별적 신념에 기초하고 있을 뿐만 아니라 흑인 환자에게 해를 끼치는 것으로 나타났다"고 말했다. 

기술 옹호 단체 '파이트 포 더 퓨처(Fight for the Future)'의 캠페인 디렉터 케이틀린 실리 조지(Caitlin Seeley George)는 인종 조정은 "인종차별적 신념에 기초한 극도로 개탄스러운 의료 행위"일 뿐만 아니라 인공 지능이 이러한 인종차별적 신념을 어떻게 증폭시키는지를 보여주는 대표적인 사례라고 말했다. 

"인종에 따른 생물학적 차이의 개념은 AI가 등장하기 훨씬 전부터 존재했지만, 이 기술은 이러한 인종 차별적 관행을 악화시키기 위해 무기화되었습니다. 너무나 많은 알고리즘이 존재하며, 대부분 그들이 결정을 내리는 방식에 대한 투명성이 거의 또는 전혀 없는 블랙박스에서 작동합니다. 우리 사회 전반의 인종차별적 구조를 무너뜨리기 위해서는 이러한 알고리즘을 개방하여 다른 인종차별적 신념이 계산의 일부인지 찾아야 한다"고 실리 조지는 말했다.  

"우리는 이 일을 하기 위해 모든 의료 시스템이 필요하고, 유해한 알고리즘이 채택되는 것을 막는 법안이 필요하며, 뉴욕시에서는 하나의 임상 알고리즘(현재 범위)을 넘어서야 합니다. 그리고 이러한 노력에는 이러한 알고리즘으로 인해 피해를 입은 실제 사람들뿐만 아니라 이러한 알고리즘이 실제 사람들에게 미치는 피해에 대한 비판적 통찰력을 제공할 수 있는 인권 단체 및 전문가도 포함되어야 합니다."

NYU Tandon School of Engineering의 조교수이자 이 대학의 기술, 문화 및 사회의 과학 기술 연구 부서 책임자인 Danya Glabau 박사는 의학의 맥락에서 "알고리즘"은 위원회가 개혁하고자 하는 컴퓨터 시스템보다 훨씬 더 오랜 역사를 가지고 있다고 말했다. 

Glabau에 따르면 의료 알고리즘은 본질적으로 의사가 치료 결정을 내리는 데 사용하는 모든 종류의 의사 결정이며, 컴퓨터화되지 않은 의료 알고리즘을 사용하는 것은 수십 년 동안 증거 기반 의학의 초석이었습니다. 

그러나 자동화된 알고리즘은 컴퓨터가 결정을 내리기 때문에 치료 결정에서 의사의 판단을 어느 정도 빼앗는다. 디지털 알고리즘이 출시되었을 때, 인간을 제거하면 인간의 인종차별이 제거될 것이라고 생각했다고 글라바우는 설명했다.

"그러나 자동화된 알고리즘의 결정은 과거 인간의 결정에서 얻은 데이터를 기반으로 하기 때문에 인종 차별 및 계급 차별과 같은 인간의 편견이 여전히 이러한 도구에 영향을 미칩니다. 그래서 그들은 의학의 역사가 인종차별적이기 때문에 그들 스스로 인종차별 문제를 해결하지 못한다"고 글라바우는 말했다. 

"디지털 알고리즘이 얼마나 널리 퍼져 있는지, 그리고 그 중 얼마나 많은 알고리즘이 특히 인종을 바라보고 있는지 정확히 말하기는 어렵습니다. 그러나 대부분의 제공자는 매일 여러 개를 사용할 가능성이 있으며 이를 인식하거나 인식하지 못할 수도 있습니다." 

에이미 모란-토마스(Amy Moran-Thomas)와 같은 연구자들은 맥박 산소 측정기와 같은 간단한 장치조차도 인종 차별적 결과를 초래할 수 있음을 보여주었습니다. 

"이 경우, 디자이너들은 피부색이 광학 센서에 의해 제공되는 판독값에 어떤 영향을 미칠지 고려하지 않았습니다. 우리는 또한 스케줄링 소프트웨어가 인종과 아무 관련이 없는 것처럼 보일지라도 스케줄링 소프트웨어가 인종 차별적 결과를 초래할 수 있다는 것을 알고 있습니다. 그러나 특히 흑인 환자들은 통제할 수 없는 요인으로 인해 제시간에 예약에 도착하는 데 어려움을 겪었기 때문에 두 배 또는 세 배로 예약되었습니다"라고 Glabau는 말했습니다. 

"이 사례들은 알고리즘과 다른 디지털 시스템이 어떻게 인종차별적 결과를 낳을지 예측하는 것이 얼마나 까다로운지를 보여준다. COVID가 BIPOC 커뮤니티에 큰 타격을 입히고 우편번호가 소득 및 인종 분리와 상관관계가 있는 뉴욕과 같은 도시에서는 평범해 보이는 이러한 기술이 건강에 심각한 결과를 초래할 수 있습니다."

그러나 위원회가 성공할 수 있는 유일한 방법은 알고리즘을 생산하는 회사로부터 병원 시스템 운영, 소프트웨어 및 기술 문서에 대한 완전한 액세스 권한을 부여하는 것이라고 Glabau는 덧붙였습니다. 시의회는 또한 시 전역에서 시행할 수 있는 구속력 있는 지침을 만들 수 있는 권한을 부여받아야 합니다. 

"이 위원회가 이빨을 얻지 못한다면, 충격적인 정보를 찾거나 좋은 의도의 권고를 할 수 있겠지만, 환자를 위해 아무것도 바꾸거나 인종차별 반대 의무를 완수하지 못할 것이다"라고 글라바우는 설명했다. 

Glabau 는 일상적인 기술이 건강 결과에 얼마나 큰 영향을 미칠 수 있는지에 대해 광범위하게 저술했습니다.