KOSMOS II on

FMI #1 FMI 파일명 변경

Thu, 09 Apr 2026 00:00:00 +0000

FMI #1 FMI 파일명 변경 #

#2026-04-09

# 모듈 저장 위치 확인 (해당 위치에 rename.py) 모듈 저장되어 있어야 함.
import os
os.getcwd()

'C:/Users/User/Documents'

# FMI 파일명 변경
# 주소 변경 필요한 변수: save_path

import shutil
import pandas as pd

# summary에서 대상자 id 가져오기
summary_path = "X:/암빅데이터센터/160.[로슈]정밀 의료 생태계 구축 사업/04. (로슈)공유 자료/5. FMI file(PDF, XML)"
file_name = 'FMI summary.xlsx'

summary2 = pd.read_excel(summary_path + '/' + file_name, header=1, usecols=['확인일', '대상자 아이디', '파일명', '파일 확장자'])
summary2['파일명 수정'] = summary2['파일명'] + '.' + summary2['파일 확장자']

save_path = 'X:/암빅데이터센터/160.[로슈]정밀 의료 생태계 구축 사업/04. (로슈)공유 자료/5. FMI file(PDF, XML)/20251001_FMI file' # 원본 파일 저장 위치
change_path = save_path + '_파일명변경' # 사본 폴더 생성(변경 파일 저장 위치)

summary2 = summary2.loc[summary2.확인일.isin([save_path[71:79][0:4] + '-' + save_path[71:79][6:8]])] # 마지막 확인일에 해당하는 파일 리스트만 추출

shutil.copytree(save_path, change_path)
file_names = os.listdir(change_path) # 사본 폴더에 있는 항목들의 이름을 달고 있는 리스트를 반환
len(file_names) # 4

summary2 = summary2.loc[summary2.파일명_수정.isin(file_names),['대상자 아이디', '파일명_수정']].reset_index() # 해당 월 파일의 대상자 아이디만 summary에서 추출
len(summary) # 이번달 summary에 작성된 파일 개수 출력 # 4

# 파일 이름 변경 함수 적용
from rename import F_change
blank_plus = F_change(file_names, summary2)

# 변경된 파일 이름으로 파일 재저장
for i in range(len(file_names)):
 os.renames(change_path + '/' + file_names[i], change_path + '/' + blank_plus[i])

# 파일명 변경 정보(AS-IS, TO-BE)
rename_file_names = pd.DataFrame({"AS-IS": file_names, "TO-BE": blank_plus})
rename_file_names.to_excel(change_path + "/rename_file_names.xlsx") # 저장할 위치 및 파일명 지정

#

FMI #2 VAF 데이터 추출

Thu, 09 Apr 2026 00:00:00 +0000

FMI #2 VAF 데이터 추출 #

#2026-04-09

import xml.etree.ElementTree as et
xtree = et.parse("C:/Users/User/Desktop/XML파일_230428/20230316_FMI file/ORD-1489645-01/ORD_1489645_01.xml")
xroot = xtree.getroot()

import os
import pandas as pd

# 키값
object = xroot[1][0]
dataframe_list = []

for item in object.findall('PMI'):
 a = item.find('MRN').text
 b = item.find('FirstName').text
 c = item.find('LastName').text

 dataframe = pd.DataFrame({
 'MEDICAL RECORD' : [a],
 'FIRST NAME' : [b],
 'LAST NAME' : [c]
 })

dataframe_list.append(dataframe)

# VAF값
object = xroot[1][1][2]
df_cols=["GENE","ALTERATION","TRANSCRIP_ID","CODING_SEQUENCE_EFFECT","VARIANT_CHROMOSOMAL_POSITION","VARIANT_ALLELE_FREQUENCY_(%VAF)"]
row=[]

for node in object:
 s_gene=node.attrib.get("gene")
 s_protein_effect=node.attrib.get("protein-effect")
 s_transcript=node.attrib.get("transcript")
 s_cds_effect=node.attrib.get("cds-effect")
 s_position=node.attrib.get("position")
 s_percent_reads=node.attrib.get("percent-reads")

 row.append({"GENE":s_gene,"ALTERATION":s_protein_effect,"TRANSCRIP_ID":s_transcript,"CODING_SEQUENCE_EFFECT":s_cds_effect, "VARIANT_CHROMOSOMAL_POSITION":s_position,"VARIANT_ALLELE_FREQUENCY_(%VAF)":s_percent_reads})

out_df = pd.DataFrame(row, columns=df_cols)

# 키값을 VAF값 앞에 추가
MEDICAL_RECORD=pd.DataFrame(dataframe_list,columns=['MEDICAL RECORD','FIRST NAME','LAST NAME'])
out_df.insert(0,'MEDICAL RECORD', MEDICAL_RECORD.to_string(header=False, index=False))

dataframe_list[0:2]

# VAF_FIND함수 생성

def VAF_FIND(address):

 import xml.etree.ElementTree as et
 import pandas as pd

 xtree = et.parse(address)
 xroot = xtree.getroot()

 object = xroot[1][0]
 dataframe_list = []

 for item in object.findall('PMI'):
 a = item.find('MRN').text
 b = item.find('FirstName').text
 c = item.find('LastName').text

 dataframe = pd.DataFrame({
 'MEDICAL RECORD' : [a],
 'FIRST NAME' : [b],
 'LAST NAME' : [c]
 })

 dataframe_list.append(dataframe)

 object = xroot[1][1][2]
 df_cols2=["GENE","ALTERATION","TRANSCRIP_ID","CODING_SEQUENCE_EFFECT","VARIANT_CHROMOSOMAL_POSITION","VARIANT_ALLELE_FREQUENCY_(%VAF)"]
 row=[]

 for node in object:
 s_gene=node.attrib.get("gene")
 s_protein_effect=node.attrib.get("protein-effect")
 s_transcript=node.attrib.get("transcript")
 s_cds_effect=node.attrib.get("cds-effect")
 s_position=node.attrib.get("position")
 s_percent_reads=node.attrib.get("percent-reads")

 row.append({"GENE":s_gene,"ALTERATION":s_protein_effect,"TRANSCRIP_ID":s_transcript,"CODING_SEQUENCE_EFFECT":s_cds_effect, "VARIANT_CHROMOSOMAL_POSITION":s_position,"VARIANT_ALLELE_FREQUENCY_(%VAF)":s_percent_reads})

 out_df2 = pd.DataFrame(row, columns=df_cols2)

 MEDICAL_RECORD=pd.DataFrame(dataframe_list[0:2],columns=['MEDICAL RECORD','FIRST NAME','LAST NAME'])
 out_df2.insert(0,'MEDICAL RECORD', MEDICAL_RECORD.to_string(header=False, index=False))
 #out_df = out_df1.append(out_df2)

 return(out_df2)

# 오류 찾기

def VAF_FIND(address):

 import xml.etree.ElementTree as et
 import pandas as pd

 xtree = et.parse(address)
 xroot = xtree.getroot()

 object = xroot[1][0]
 dataframe_list1 = []

 for item in object.findall('PMI'):
 a = item.find('MRN').text
 b = item.find('FirstName').text
 c = item.find('LastName').text

 dataframe = pd.DataFrame({
 'MEDICAL RECORD' : [a],
 'FIRST NAME' : [b],
 'LAST NAME' : [c]
 })

 dataframe_list1.append(dataframe)

 object = xroot[1][1][2]
 df_cols2=["GENE","ALTERATION","TRANSCRIP_ID","CODING_SEQUENCE_EFFECT","VARIANT_CHROMOSOMAL_POSITION","VARIANT_ALLELE_FREQUENCY_(%VAF)"]
 row=[]

 for node in object:
 s_gene=node.attrib.get("gene")
 s_protein_effect=node.attrib.get("protein-effect")
 s_transcript=node.attrib.get("transcript")
 s_cds_effect=node.attrib.get("cds-effect")
 s_position=node.attrib.get("position")
 s_percent_reads=node.attrib.get("percent-reads")

 row.append({"GENE":s_gene,"ALTERATION":s_protein_effect,"TRANSCRIP_ID":s_transcript,"CODING_SEQUENCE_EFFECT":s_cds_effect, "VARIANT_CHROMOSOMAL_POSITION":s_position,"VARIANT_ALLELE_FREQUENCY_(%VAF)":s_percent_reads})

 out_df2 = pd.DataFrame(row, columns=df_cols2)

 MEDICAL_RECORD=pd.DataFrame(dataframe_list1,columns=['MEDICAL RECORD','FIRST NAME','LAST NAME'])
 out_df2.insert(0,'MEDICAL RECORD', MEDICAL_RECORD.to_string(header=False, index=False))
 #out_df = out_df1.append(out_df2)

 return(out_df2)

#for문으로 xml파일이름 출력

import os
path = "C:/Users/User/Desktop/XML파일_230428/20230316_FMI file/for문"

dataframe_list = []
file_list = os.listdir(path)
file_list_py = [file for file in file_list if file.endswith('xml')]

for i in range(len(file_list_py)):
 data = '"{}/{}"'.format(path, file_list_py[i])
 file_address=data.replace("\\","/")
 print(file_address)

# VAF함수 생성(사용하지 않는 함수(참고용))
def VAF(file_address):

 import xml.etree.ElementTree as et
 import os
 import ast

 path = file_address
 file_dataframe_list = []
 file_list = os.listdir(path)
 file_list_py = [file for file in file_list if file.endswith('xml')]
 df_final = pd.DataFrame()

 #\\를 /로 변형한 파일 주소들이 들어있는 리스트 생성

 for i in range(len(file_list_py)):
 data = '{}/{}'.format(path, file_list_py[i])
 file_address=data.replace("\\","/")
 file_dataframe_list.append(file_address)

 #리스트를 불러와서 VAF함수에 집어넣기
 for i in range(len(file_dataframe_list)):
 a = file_dataframe_list[i]
 #데이터프레임에 하나로 저장
 df_final = df_final.append(VAF_FIND(a), ignore_index=True)
 print(df_final)
 #df_final.to_excel('VAF_data.xlsx')
 #각각 엑셀 파일로 저장
 #VAF_FIND(a).to_excel('{}_VAF.xlsx'.format(a))

# ↓ 아래 코드 돌리면 VAF 데이터 생성
path = "C:/Users/User/Desktop/XML파일_230428/20230316_FMI file/for문"
dataframe_list = []

file_list = os.listdir(path)
file_list_py = [file for file in file_list if file.endswith('xml')]

df_final = pd.DataFrame()
for i in range(len(file_list_py)):
 data = '{}/{}'.format(path, file_list_py[i])
 file_address=data.replace("\\","/")
 df_final=df_final.append(VAF_FIND(file_address))
 #print(str(file_address))

FMI #3 XML 파일 불러오기 (VAF,VAF_FIND)

Thu, 09 Apr 2026 00:00:00 +0000

FMI #3 XML 파일 불러오기 (VAF,VAF_FIND) #

#2026-04-09 ㄷ #

import xml.etree.ElementTree as et

xtree = et.parse("C:/Users/User/Desktop/XML파일_230428/20230316_FMI file/ORD-1489645-01/ORD_1489645_01.xml")

xroot = xtree.getroot()



import pandas as pd



#키값

object = xroot[1][0]

dataframe_list = []

for item in object.findall('PMI'):

a = item.find('MRN').text

dataframe = pd.DataFrame({

'MEDICAL RECORD' : [a],

})

dataframe_list.append(dataframe)



#VAF값

object = xroot[1][1][2]

df_cols=["GENE","ALTERATION","TRANSCRIP_ID","CODING_SEQUENCE_EFFECT","VARIANT_CHROMOSOMAL_POSITION","VARIANT_ALLELE_FREQUENCY_(%VAF)"]

row=[]



for node in object:

s_gene=node.attrib.get("gene")

s_protein_effect=node.attrib.get("protein-effect")

s_transcript=node.attrib.get("transcript")

s_cds_effect=node.attrib.get("cds-effect")

s_position=node.attrib.get("position")

s_percent_reads=node.attrib.get("percent-reads")



row.append({"GENE":s_gene,"ALTERATION":s_protein_effect,"TRANSCRIP_ID":s_transcript,"CODING_SEQUENCE_EFFECT":s_cds_effect,

"VARIANT_CHROMOSOMAL_POSITION":s_position,"VARIANT_ALLELE_FREQUENCY_(%VAF)":s_percent_reads})



out_df = pd.DataFrame(row, columns=df_cols)



#키값을 VAF값 앞에 추가

MEDICAL_RECORD=pd.DataFrame(dataframe_list[0],columns=['MEDICAL RECORD'])

out_df.insert(0,'MEDICAL RECORD', MEDICAL_RECORD.to_string(header=False, index=False))

out_df



#VAF_FIND함수 생성

def VAF_FIND(address):

import xml.etree.ElementTree as et

import pandas as pd

xtree = et.parse(address) #xtree = et.parse(address+".xml")

xroot = xtree.getroot()



object = xroot[1][0]

dataframe_list = []

for item in object.findall('PMI'):

a = item.find('MRN').text

dataframe = pd.DataFrame({

'MEDICAL RECORD' : [a],

})

dataframe_list.append(dataframe)



object = xroot[1][1][2]

df_cols=["GENE","ALTERATION","TRANSCRIP_ID","CODING_SEQUENCE_EFFECT","VARIANT_CHROMOSOMAL_POSITION","VARIANT_ALLELE_FREQUENCY_(%VAF)"]

row=[]

for node in object:

s_gene=node.attrib.get("gene")

s_protein_effect=node.attrib.get("protein-effect")

s_transcript=node.attrib.get("transcript")

s_cds_effect=node.attrib.get("cds-effect")

s_position=node.attrib.get("position")

s_percent_reads=node.attrib.get("percent-reads")



row.append({"GENE":s_gene,"ALTERATION":s_protein_effect,"TRANSCRIP_ID":s_transcript,"CODING_SEQUENCE_EFFECT":s_cds_effect,

"VARIANT_CHROMOSOMAL_POSITION":s_position,"VARIANT_ALLELE_FREQUENCY_(%VAF)":s_percent_reads})

out_df = pd.DataFrame(row, columns=df_cols)



MEDICAL_RECORD=pd.DataFrame(dataframe_list[0],columns=['MEDICAL RECORD'])

out_df.insert(0,'MEDICAL RECORD', MEDICAL_RECORD.to_string(header=False, index=False))



return(out_df)



#for문으로 xml파일이름 출력

import os

path = "C:/Users/User/Desktop/XML파일_230428/20230316_FMI file/for문"

dataframe_list = []

file_list = os.listdir(path)

file_list_py = [file for file in file_list if file.endswith('xml')]

for i in range(len(file_list_py)):

data = '"{}/{}"'.format(path, file_list_py[i])

file_address=data.replace("\\","/")

print(file_address)



#VAF함수 생성

def VAF(file_address):

import xml.etree.ElementTree as et

import os

import ast

path = file_address

file_dataframe_list = []

file_list = os.listdir(path)

file_list_py = [file for file in file_list if file.endswith('xml')]



#\\를 /로 변형한 파일 주소들이 들어있는 리스트 생성

for i in range(len(file_list_py)):

data = '{}/{}'.format(path, file_list_py[i])

file_address=data.replace("\\","/")

file_dataframe_list.append(file_address)



#리스트를 불러와서 VAF함수에 집어넣기

for j in range(len(file_dataframe_list)):

a = file_dataframe_list[j]

#각각 데이터 프레임별로 저장

globals()['data_{}'.format(j)] = VAF_FIND(a)

#각각 엑셀 파일로 저장

VAF_FIND(a).to_excel('{}_VAF.xlsx'.format(a))



# 예시

VAF() #xml파일들이 들어있는 주소 입력(\를 \\로 변경해서 입력)

VAF("C:\\Users\\User\\Desktop\\XML파일_230428\\20230316_FMI file\\for문")

data_2

Netezza DB 접속

Thu, 09 Apr 2026 00:00:00 +0000

Netezza DB 접속 #

#2026-04-09

import pandas as pd
import pandas_profiling
import pyodbc

def profiling_cnrg_table(db_name,cancer_name):

 netzza_conn = pyodbc.connect("DRIVER={NetezzaSQL};SERVER=10.32.29.203;PORT=5480;DATABASE="+str(db_name)+";UID=crdwadmin;PWD=crdwadmin;")
 tablelist_sql = 'select TABLENAME from _v_table where OBJCLASS=4905 and tablename like ?'
 #tablename_df = pd.read_sql_query(tablelist_sql, netzza_conn)
 tablename_df = pd.read_sql(tablelist_sql, netzza_conn,params={str(cancer_name)})

 for i in tablename_df.index:
 tablename = tablename_df.at[i,'TABLENAME']
 select_sql = 'select ATTNAME from _v_relation_column where OBJCLASS=4905 and ATTCOLLENG <500 and name like ?'
 select_df = pd.read_sql(select_sql, netzza_conn,params={str(tablename)})
 profile_sql = 'SELECT '+','.join(select_df['ATTNAME'].to_list())+' FROM ' +str(tablename)
 print(tablename)

 #profile_sql = 'select * from '+str(tablename)
 colname_sql = "select ATTNAME from _v_relation_column where OBJCLASS=4905 and ATTTYPID =1082 and name like ?"
 colname_df = pd.read_sql(colname_sql, netzza_conn,params={str(tablename)})
 profile = pd.read_sql_query(profile_sql, netzza_conn)
 profile[colname_df['ATTNAME'].to_list()] =profile[colname_df['ATTNAME'].to_list()].apply(pd.to_datetime,format = '%Y/%m/%d',errors='coerce')
 profile.profile_report(minimal=True).to_file('D:/source/crdw/'+str(tablename)+'.html')

 del [[profile,colname_df]]

profiling_cnrg_table('CNRG','KDNY%')

netzza_conn = pyodbc.connect("DRIVER={NetezzaSQL};SERVER=10.32.29.203;PORT=5480;DATABASE="+str("CNRG")+";UID=crdwadmin;PWD=crdwadmin;")
tablelist_sql = 'select TABLENAME from _v_table where OBJCLASS=4905 and tablename like ?'
#tablename_df = pd.read_sql_query(tablelist_sql, netzza_conn)
pd.read_sql(tablelist_sql, netzza_conn,params={str("BRST%")})

NGS 파일명 변경

Thu, 09 Apr 2026 00:00:00 +0000

NGS 파일명 변경 #

#2026-04-09

import os
import pandas as pd

path = "X:/암빅데이터센터/160.[로슈]정밀 의료 생태계 구축 사업/11. my trial 자료/3. NGS report/20231207_11월분" # 주소 입력

dataframe_list = []
file_list = os.listdir(path)
file_list_py = [file for file in file_list]

for i in range(len(file_list_py)):
 data = file_list_py[i]
 dataframe_list.append(data)
 a = pd.DataFrame(dataframe_list)

a.to_excel("D:/NGS_파일명_11월분.xlsx") # 저장할 위치 및 파일명 지정

#

# cf) 코드 정리된 버전
import os
import pandas as pd

path = "X:/암빅데이터센터/160.[로슈]정밀 의료 생태계 구축 사업/11. my trial 자료/3. NGS report/20231207_11월분"
os.chdir(path)

file_list = os.listdir()
df = pd.DataFrame(file_list, columns=["파일명"])
df.to_excel("D:/NGS_파일명_11월분.xlsx", index=False)

KOSMOS 인수인계

Wed, 08 Apr 2026 00:00:00 +0000

KOSMOS 인수인계 #

#2026-04-08

오늘 KOSMOS 프젝의 인수인계를 받았는데 주로

회의자료 및 회의록 작성
eCRF에 업로드된 파일 기반의 VCF, WGS summary 파일 작성

정도인것같고 관련 코드들이랑 인수인계 파일을 정리해볼려구한다

#

VCF 회의

레포트 추출을 eCRF에 올리는데 한달에 한번씩 다른 병원이 올린 정보를 확인해서 전달하는 회의.
160>1 회의록
160>2 회의자료
회의 날짜는 한달에 한번, 달에 두번째주 월요일인데 이번에는 5월 11일로 진행
ncdc 공동계정으로 줌링크를 회의자료랑 같이 송부. 회의 끝나면 바로 메일.

#

VCF 회의자료 생성

160>2 회의자료 에서 ‘날짜_회의자료.hwp’를 만들면됨
panel.seq VCF 파일 업로드 현황 / WGS(VCF) 파일 업로드 현황 / VCF 파일 수집 및 이슈 현황을 작성
회의자료 완성하면 이니셜 넣어서 지영쌤께 수정다했다고 말씀드리기 회의자료 완성된걸로 줌링크랑 같이 메일 송부.
160>14 에서 하는법 확인하기.

#

VCF summary 작성

160>11>1에 한달치 vcf를 넣어둔다.
eCRF에서 DataTool을 다운받고 CRF_INSDT, CRF_UPDDT 컬럼을 확인해서 이번달 신규/수정 파일을 확인한다.
eCRF에서 신규 VCF를 다운받고 파일명변경 후 신규 디렉토리에 넣어준다.
160>14>vcf 구축메뉴얼 보고 하기.
- 한달치를 자료추출해서 다운받을수잇고
- 기관별 summary에 crp_upddt 보고 list 시트에 신규 적어주기. f 컬럼 사용해서 드래그해주면 함수로 자동으로 들어간다. vcf 파일이름은 ngs file 이름을 넣기. 신규 아니고 변경이면 b 컬럼에 변경 적고 노란색으로 대상자 id 마킹
- vcf 구축메뉴얼. p8처럼 피벗 테이블로 대상자수 파악. 새 시트 → location / name을 행 값에 넣어준다.
- 기관별 summary에 시트 새로 만들어서 넣어준다 오름차순 아니고 sub id 순으로
- 20260331 summary → 파일명 → 파일명 없음.
- 업로드 파일 수에다가 대상다 아이디를 쭉 넣어준다.
- 11p- pdf 파일로 준 경우 확장자 변경 재요청한다.
eCRF 자료추출 하는법
- data tools → 자료 추출. 자료추출 추가 > 데이터셋 생성
- 대상자등록현황도 똑같이 추출.
- vcf 는 ecrf에 들어가서 대상자 id 기관 치면 뜬다. nts 보면 vcf 파일.
공지사항 작성
- 17p 공지사항 작성 > 내 파트만 변경. 160>10>3 > 공지사항 pdf 보면 거기에 vcf 만 붙여주면된다. vcf 파일 재송부 필요 등등 쓰기.

#

WGS VCF

wgs vcf는 메일로 zip으로 오니까 다운받기. 160>10>12 에 넣기. 6월에 받는다.
wgs 구출메뉴얼. 박주영 선생님께 요청을 드리면 되고 다운받은게 018_wgs에 들어잇다.
반출 목록 파일 만들때 코드 돌린다. 파일명 변경한 뒤에 summary 시트에 변경된 파일명 붇이기.
wgs 구축메뉴얼에 10p는 무시
160>10>12>날짜 wgs> 파일을 코어가 들어오면 옮겨준다.
160>11>1>날짜>vcf 이상여부확인 리스트가 파이썬 돌리면 그냥 나온다.