본문 바로가기

머신러닝 읽어주는 남자

tensorflow example, tfrecord

반응형

tf 2.0 기준

 

tf.example은 스트링화 된 tf.train.Feature를 기본으로한다.

 

순서를 그려보자면

 

데이터

    |

tf.train.BytesList

tf.train.FloatList

tf.train.Int64List

    |

tf.train.Feature를 통한 피쳐화

   |

딕셔너리 화  

   |

tf.train.Feature를 통한 피쳐화

   |

tf.train.Example를 통한 시리얼라이즈

   |

example.SerializeToString()를 통한 텍스트화

 (결과)

b'\nR\n\x11\n\x08feature0\x12\x05\x1a\x03\n\x01\x00

 

와 같은 최종적으로 string과 같은 bytes 출력이 나온다.

이러한 일련의 과정을 거쳐서 최종적으로 시리얼라이즈 된다.

 

tf.train.Example.FromString를 통해서 다시 구조화된 example 결과를 볼 수 있다.

 

이러한 텍스트를 tfrecord에 작성을 하게 되고

이후에 데이터 전체를 읽은 이후

해당 파일의 포멧을 알려주는 proto 파일을 줘서 변환을 하게 되면

어레이형태의 출력이 나오게 된다.

 

 

 

반응형

'머신러닝 읽어주는 남자' 카테고리의 다른 글

tf.data.dataset  (0) 2020.03.19
인공지능(딥러닝) 입문 추천  (0) 2020.03.15
음악생성(raw audio file)  (0) 2020.03.05
AutoRegressive model  (0) 2020.03.02
음악생성  (0) 2020.03.02