Logo lv.boatexistence.com

Vai parketa vīlei ir shēma?

Satura rādītājs:

Vai parketa vīlei ir shēma?
Vai parketa vīlei ir shēma?

Video: Vai parketa vīlei ir shēma?

Video: Vai parketa vīlei ir shēma?
Video: What is Apache Parquet file? 2024, Maijs
Anonim

Parketa fails ir hdfs fails, kurā ir jāietver faila metadati. Tas ļauj sadalīt kolonnas vairākos failos, kā arī izveidot vienu metadatu failu, kas atsaucas uz vairākiem parketa failiem. Metadatos ir ietverta shēma failā saglabātajiem datiem.

Kā izveidot shēmu parketa failam?

Lai ģenerētu parketa paraugu datu shēmu, rīkojieties šādi:

  1. Piesakieties lodziņā Haddop/Hive.
  2. Tas ģenerē shēmu standarta programmā šādi: --------------- [~] parketa rīku shēma abc.parquet. ziņojums hive_schema { …
  3. Kopēt šo shēmu failā ar. parkets/. par paplašinājumu.

Vai parkets atbalsta shēmas attīstību?

Shēmu sapludināšana

Tāpat kā protokola buferis, Avro un Thrift, Parkets atbalsta arī shēmas attīstību Lietotāji var sākt ar vienkāršu shēmu un pakāpeniski pievienot papildu kolonnas shēmu pēc vajadzības. Tādā veidā lietotāji var iegūt vairākus parketa failus ar atšķirīgām, bet savstarpēji saderīgām shēmām.

Vai parketa failiem ir datu tipi?

Parketa failu datu tipi ir saistīti ar transformācijas datu tipiem, ko datu integrācijas pakalpojums izmanto datu pārvietošanai starp platformām. Parketa shēmai, kuru norādāt, lai lasītu vai rakstītu Parquet failu, ir jābūt maziem burtiem.

Kāda ir parketa vīles struktūra?

Parketa faili sastāv no rindu grupām, galvenes un kājenes Katra rindu grupa satur datus no tām pašām kolonnām. Katrā rindu grupā tiek glabātas vienas un tās pašas kolonnas: šī struktūra ir labi optimizēta gan ātrai vaicājumu veiktspējai, gan zemam I/O (skenēto datu apjoma samazināšanai).

Ieteicams: