머신러닝 읽어주는 남자

tensorflow example, tfrecord

단딴단 2020. 3. 13. 20:56
반응형

tf 2.0 기준

 

tf.example은 스트링화 된 tf.train.Feature를 기본으로한다.

 

순서를 그려보자면

 

데이터

    |

tf.train.BytesList

tf.train.FloatList

tf.train.Int64List

    |

tf.train.Feature를 통한 피쳐화

   |

딕셔너리 화  

   |

tf.train.Feature를 통한 피쳐화

   |

tf.train.Example를 통한 시리얼라이즈

   |

example.SerializeToString()를 통한 텍스트화

 (결과)

b'\nR\n\x11\n\x08feature0\x12\x05\x1a\x03\n\x01\x00

 

와 같은 최종적으로 string과 같은 bytes 출력이 나온다.

이러한 일련의 과정을 거쳐서 최종적으로 시리얼라이즈 된다.

 

tf.train.Example.FromString를 통해서 다시 구조화된 example 결과를 볼 수 있다.

 

이러한 텍스트를 tfrecord에 작성을 하게 되고

이후에 데이터 전체를 읽은 이후

해당 파일의 포멧을 알려주는 proto 파일을 줘서 변환을 하게 되면

어레이형태의 출력이 나오게 된다.

 

 

 

반응형