Sử dụng Python thật hiện thâm độ học tập mô hình: Đồ tượng ngữ nghĩa phân cát dữ đối tượng kiểm trắc

Dẫn ngôn

Đồ tượng ngữ nghĩa phân cát hòa đối tượng kiểm trắc thị kế toán cơ thị giác trung đích lưỡng cá trọng yếu nhậm vụ. Ngữ nghĩa phân cát thị tương đồ tượng trung đích mỗi cá tượng tố phân loại đáo đặc định đích loại biệt, nhi đối tượng kiểm trắc thị thức biệt đồ tượng trung đích mục tiêu tịnh xác định kỳ vị trí. Bổn văn tương giới thiệu như hà sử dụng Python hòa TensorFlow thật hiện giá lưỡng cá nhậm vụ, tịnh đề cung tường tế đích đại mã kỳ lệ.

Sở nhu công cụ

• Python 3.x
• TensorFlow
• OpenCV ( dụng vu đồ tượng xử lý )
• Matplotlib ( dụng vu đồ tượng triển kỳ )

Bộ sậu nhất: An trang sở nhu khố

Thủ tiên, ngã môn nhu yếu an trang sở nhu đích Python khố. Khả dĩ sử dụng dĩ hạ mệnh lệnh an trang:

pipinstalltensorflow opencv-python matplotlib

Bộ sậu nhị: Chuẩn bị sổ cư

Ngã môn tương sử dụng COCO sổ cư tập tiến hành đối tượng kiểm trắc, tịnh sử dụng Pascal VOC sổ cư tập tiến hành ngữ nghĩa phân cát. Dĩ hạ thị gia tái hòa dự xử lý sổ cư đích đại mã:

importtensorflowastf
importtensorflow_datasetsastfds

# gia tái COCO sổ cư tập
coco_dataset,coco_info=tfds.load('coco/2017',with_info=True,split='train')

# gia tái Pascal VOC sổ cư tập
voc_dataset,voc_info=tfds.load('voc/2012',with_info=True,split='train')

# sổ cư dự xử lý hàm sổ
defpreprocess_image(image,label):
image=tf.image.resize(image,(128,128))
image=image/255.0
returnimage,label

coco_dataset=coco_dataset.map(preprocess_image)
voc_dataset=voc_dataset.map(preprocess_image)

Bộ sậu tam: Cấu kiến đối tượng kiểm trắc mô hình

Ngã môn tương sử dụng dự huấn luyện đích SSD ( Single Shot MultiBox Detector ) mô hình tiến hành đối tượng kiểm trắc. Dĩ hạ thị mô hình định nghĩa đích đại mã:

importtensorflow_hubashub

# gia tái dự huấn luyện đích SSD mô hình
ssd_model=hub.load("https://tfhub.dev/tensorflow/ssd_mobilenet_v2/2")

# đối tượng kiểm trắc hàm sổ
defdetect_objects(image):
image=tf.image.resize(image,(320,320))
image=image/255.0
image=tf.expand_dims(image,axis=0)

result=ssd_model(image)
returnresult

# trắc thí đối tượng kiểm trắc
forimage,labelincoco_dataset.take(1):
result=detect_objects(image)
print(result)

Bộ sậu tứ: Cấu kiến ngữ nghĩa phân cát mô hình

Ngã môn tương sử dụng dự huấn luyện đích DeepLabV3 mô hình tiến hành ngữ nghĩa phân cát. Dĩ hạ thị mô hình định nghĩa đích đại mã:

# gia tái dự huấn luyện đích DeepLabV3 mô hình
deeplab_model=hub.load("https://tfhub.dev/tensorflow/deeplabv3/1")

# ngữ nghĩa phân cát hàm sổ
defsegment_image(image):
image=tf.image.resize(image,(513,513))
image=image/255.0
image=tf.expand_dims(image,axis=0)

result=deeplab_model(image)
returnresult

# trắc thí ngữ nghĩa phân cát
forimage,labelinvoc_dataset.take(1):
result=segment_image(image)
print(result)

Bộ sậu ngũ: Khả thị hóa kết quả

Ngã môn tương sử dụng Matplotlib triển kỳ đối tượng kiểm trắc hòa ngữ nghĩa phân cát đích kết quả. Dĩ hạ thị khả thị hóa đích đại mã:

importmatplotlib.pyplotasplt
importcv2

# khả thị hóa đối tượng kiểm trắc kết quả
defvisualize_detection(image,result):
image=image.numpy()
boxes=result['detection_boxes'][0].numpy()
scores=result['detection_scores'][0].numpy()
classes=result['detection_classes'][0].numpy().astype(int)

foriinrange(len(boxes)):
ifscores[i]>0.5:
box=boxes[i]
start_point=(int(box[1]*image.shape[1]),int(box[0]*image.shape[0]))
end_point=(int(box[3]*image.shape[1]),int(box[2]*image.shape[0]))
cv2.rectangle(image,start_point,end_point,(0,255,0),2)

plt.imshow(image)
plt.show()

# khả thị hóa ngữ nghĩa phân cát kết quả
defvisualize_segmentation(image,result):
image=image.numpy()
segmentation_map=result['semantic_pred'][0].numpy()

plt.subplot(1,2,1)
plt.imshow(image)
plt.title('Original Image')

plt.subplot(1,2,2)
plt.imshow(segmentation_map)
plt.title('Segmentation Map')
plt.show()

# trắc thí khả thị hóa
forimage,labelincoco_dataset.take(1):
result=detect_objects(image)
visualize_detection(image,result)

forimage,labelinvoc_dataset.take(1):
result=segment_image(image)
visualize_segmentation(image,result)

Kết luận

Thông quá dĩ thượng bộ sậu, ngã môn thật hiện liễu nhất cá giản đan đích đồ tượng ngữ nghĩa phân cát dữ đối tượng kiểm trắc mô hình. Giá cá mô hình khả dĩ thức biệt đồ tượng trung đích mục tiêu tịnh xác định kỳ vị trí, đồng thời đối đồ tượng tiến hành ngữ nghĩa phân cát. Hi vọng giá thiên giáo trình đối nhĩ hữu sở bang trợ!